Создание экземпляра сервиса^Beta

Вы можете создать экземпляр сервиса Cloud Airflow в одной из двух конфигураций:

Single: экземпляр сервиса, развернутый на одном сервере. Решение подходит для разработки и тестирования, снижает расходы на развертывание тестовой инфраструктуры. Не обеспечивает отказоустойчивость: сбой узла приводит к остановке всей работы.
Кластер: отказоустойчивая конфигурация из нескольких узлов (сбой одного узла не приводит к остановке инстанса Cloud Airflow). Решение обеспечивает высокую производительность и подходит для хранения баз данных, в том числе для высоконагруженных проектов со строгими требованиями к сохранности данных.

Создание экземпляра сервиса в конфигурации Single

Личный кабинет

Перейдите в личный кабинет VK Cloud.
Выберите проект, где нужно создать экземпляр сервиса.
Перейдите в раздел Data Platform → Экземпляры сервисов.
Нажмите кнопку Добавить инстанс или Создать экземпляр.
На шаге Конфигурация:
1. Выберите тип сервиса Cloud Airflow.
2. Выберите нужную версию сервиса.
3. Выберите конфигурацию Single.
4. Нажмите кнопку Следующий шаг.
На шаге Параметры:
1. Задайте для экземпляра название и описание.
2. Выберите кластер Kubernetes. В этот кластер Cloud Containers будет добавлен worker-узел для размещения экземпляра сервиса Cloud Airflow.
  
  Если нужного кластера нет в списке:
  1. Выберите пункт Создать новый кластер.
  2. Выберите сеть и подсеть для кластера из выпадающего списка Сеть.
    
    Если нужной сети нет в списке:
    1. Выберите пункт Создать новую сеть.
    2. Выберите нужную SDN: Neutron или Sprut.
    3. Задайте адрес подсети, например, 10.0.1.0/24.
  3. Выберите зону доступности, где будет размещен узел кластера Cloud Containers.
3. Задайте параметры в блоке Worker:
  1. Выберите тип виртуальной машины для узла из выпадающего списка.
  2. Выберите тип диска для узла из выпадающего списка.
  3. Задайте размер диска для узла.
4. Задайте параметры в блоке PostgreSQL:
  1. Выберите тип виртуальной машины, на которой будет развернута БД PostgreSQL, из выпадающего списка.
  2. Выберите тип диска из выпадающего списка.
  3. Задайте размер диска.
5. Нажмите кнопку Следующий шаг.
На шаге Хранилище DAG Airflow выберите источник подключения и укажите:
S3 Cloud
S3 External
Название бакета: имя бакета, который вы хотите подключить в качестве хранилища DAG.

Path (необязательное поле): путь до бакета.

Название бакета: имя бакета, который вы хотите подключить в качестве хранилища DAG.

Endpoint: URL-адрес вашего хранилища.

Region (необязательное поле): регион, в котором расположено ваше хранилище.

Path (необязательное поле): путь до бакета.

Access Key: идентификатор ключа доступа к хранилищу.

Secret Key: секретный ключ доступа к хранилищу.
Нажмите кнопку Следующий шаг.
На шаге Учетные данные:
1. Придумайте логин администратора для доступа к Airflow. Требования к логину:
  - Допустимы только цифры, латинские буквы и спецсимвол _.
  - Первый символ — латинская буква любого регистра или _.
  - Недопустимы имена: os_admin, root, dataplatform_moth.
2. Укажите электронную почту администратора.
3. Укажите имя администратора.
4. Укажите фамилию администратора.
5. Придумайте или сгенерируйте пароль администратора.
  
  Требования к паролю:
  - не менее 8 символов;
  - должен содержать хотя бы одну заглавную и одну строчную букву латинского алфавита, хотя бы одну цифру и один из спецсимволов: !, ", #, $, %, &, (, ), *, +, ,, ., :, ;, <, =, >, ?, @, [, ], ^, _, {, }, ~, -.
6. Нажмите кнопку Создать.

Создание экземпляра сервиса в конфигурации Кластер

Личный кабинет

Перейдите в личный кабинет VK Cloud.
Выберите проект, где нужно создать экземпляр сервиса.
Перейдите в раздел Data Platform → Экземпляры сервисов.
Нажмите кнопку Создать инстанс или Создать экземпляр.
На шаге Конфигурация:
1. Выберите тип сервиса Cloud Airflow.
2. Выберите нужную версию сервиса.
3. Выберите конфигурацию Кластер.
4. Нажмите кнопку Следующий шаг.
На шаге Параметры:
1. Задайте для экземпляра название и описание.
2. Выберите кластер Kubernetes. В этот кластер Cloud Containers будет добавлен worker-узел для размещения экземпляра Cloud Airflow.
  
  Если нужного кластера нет в списке:
  1. Выберите пункт Создать новый кластер.
  2. Выберите сеть и подсеть для кластера из выпадающего списка Сеть.
    
    Если нужной сети нет в списке:
    1. Выберите пункт Создать новую сеть.
    2. Выберите нужную SDN: Neutron или Sprut.
    3. Задайте адрес подсети, например, 10.0.1.0/24.
  3. Выберите зону доступности, где будет размещен узел кластера Cloud Containers.
3. Настройте параметры узлов кластера, выбрав одну из опций:
  Базовая
  Продвинутая
  Выберите один из готовых шаблонов с необходимым количеством CPU и RAM узлов кластера. Шаблон конфигурации и тип диска для узлов кластера уже выбраны.
  
  При выборе любого шаблона экземпляр Cloud Airflow будет состоять из трех узлов с PostgreSQL и нескольких worker-узлов.
  
  Задайте параметры в блоке Worker:
  
  Выберите тип виртуальной машины для узла из выпадающего списка.
  
  Выберите тип диска для узла из выпадающего списка.
  
  Задайте размер диска для узла.
  
  Задайте значение общего количества worker-узлов. Минимальное значение — 2.
  
  Задайте параметры в блоке PostgreSQL:
  
  Выберите тип виртуальной машины, на которой будет развернут PostgreSQL, из выпадающего списка.
  
  Выберите тип диска из выпадающего списка.
  
  Задайте размер диска.
  
  Задайте значение общего количества узлов. Минимальное значение — 3.
4. Нажмите кнопку Следующий шаг.
На шаге DAG Airflow задайте параметры для доступа к хранилищу S3:
S3 Cloud
S3 External
Название бакета: имя бакета, который вы хотите подключить в качестве хранилища DAG.

Path (необязательное поле): путь до бакета.

Название бакета: имя бакета, который вы хотите подключить в качестве хранилища DAG.

Endpoint URL-адрес вашего хранилища.

Region (необязательное поле): регион, в котором расположено ваше хранилище.

Path (необязательное поле): путь до бакета.

Access Key: идентификатор ключа доступа к хранилищу.

Secret Key: секретный ключ доступа к хранилищу.
Нажмите кнопку Следующий шаг.
На шаге Учетные данные:
1. Придумайте логин администратора для доступа к Airflow.
  
  Требования к логину:
  - Допустимы только цифры, латинские буквы и символ _.
  - Первый символ — латинская буква любого регистра или _.
  - Недопустимы имена: os_admin, root, dataplatform_moth.
2. Укажите электронную почту администратора.
3. Укажите имя администратора.
4. Укажите фамилию администратора.
5. Придумайте или сгенерируйте пароль администратора.
  
  Требования к паролю:
  - должен состоять как минимум из 8 символов;
  - должен содержать хотя бы одну заглавную и одну строчную букву латинского алфавита, хотя бы одну цифру и один из спецсимволов: !, ", #, $, %, &, (, ), *, +, ,, ., :, ;, <, =, >, ?, @, [, ], ^, _, {, }, ~, -.
6. Нажмите кнопку Создать.
  
  Дождитесь завершения операции. Создание экземпляра сервиса Cloud Airflow в конфигурации Кластер может занять около часа.

Была ли статья полезна?

Не нашли ответа?Напишите нам

Содержание
Создание экземпляра сервиса в конфигурации Single
Создание экземпляра сервиса в конфигурации Кластер
Была ли статья полезна?

Создание экземпляра сервисаBeta

Создание экземпляра сервиса в конфигурации Single

Создание экземпляра сервиса в конфигурации Кластер

Была ли статья полезна?

Была ли статья полезна?

Создание экземпляра сервиса^Beta