Создание экземпляра сервиса

Перейдите в личный кабинет VK Cloud.

Выберите проект, где нужно создать экземпляр сервиса.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите кнопку Добавить инстанс или Создать экземпляр.

На шаге Конфигурация:

1. Выберите тип сервиса: Spark.
2. Выберите нужную версию сервиса.
3. Нажмите кнопку Следующий шаг.

На шаге Параметры:

1. Задайте параметры экземпляра:

   • Название: укажите имя для экземпляра сервиса.

   • Описание: при необходимости добавьте описание.

   • Назначить внешний IP: включите опцию, чтобы экземпляр Spark был доступен через интернет.

   • Кластер Kubernetes: выберите из выпадающего списка нужный кластер или создайте новый, выбрав в списке Создать новый кластер. При создании нового кластера задайте параметры:

     • Сеть: выберите из списка подсеть, в которой будет доступен кластер, или создайте новую, выбрав в списке Создать новую сеть. При создании новой подсети укажите SDN и адрес подсети.
     • Зона доступности: выберите из списка зону доступности кластера.

2. Укажите настройки сервиса Spark Connect: количество CPU и объем RAM.

   Этот сервис позволяет удаленно подключиться к кластеру Spark и интерактивно работать с заданиями Spark.

3. Укажите параметры сервера Spark History Server: количество CPU и объем RAM.

   Этот сервер хранит логи выполнения заданий Spark.

4. Нажмите кнопку Следующий шаг.

На шаге Обслуживание:

1. Выберите дни недели и время начала технических работ с учетом указанной в блоке временной зоны.

   Длительность проведения технических работ, в том числе резервного копирования — 4 часа. В это время сервис может быть недоступен.

2. Нажмите кнопку Следующий шаг.

На шаге Настройки:

1. При необходимости измените версию Spark, которая будет использоваться при запуске ваших задач:

   1. Нажмите кнопку Редактировать.
   2. В столбце Значение выберите нужную версию из списка.

2. Нажмите кнопку Следующий шаг.

На шаге Подключения добавьте подключение PostgreSQL и одно из подключений: S3 VK Cloud или S3 внешний. Чтобы добавить подключение к источнику данных:

1. Нажмите кнопку Добавить подключение.

2. Выберите источник данных:

   • S3 внешний — подключение к внешнему объектному хранилищу S3.
   • S3 VK Cloud — подключение к хранилищу VK Object Storage в том же проекте.
   • PostgreSQL — подключение к базе данных PostgreSQL.

3. Настройте параметры подключения к источнику:

   S3 внешний

   S3 VK Cloud

   PostgreSQL

   • Имя внешнего подключения S3: задайте имя подключения. Имя должно начинаться со строчной латинской буквы и содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Регион: регион, в котором расположено ваше хранилище S3.
   • Access Key: уникальный идентификатор ключа доступа к хранилищу.
   • Secret Key: секретный ключ доступа к хранилищу.
   • S3 URL: URL-адрес вашего хранилища S3.
   • Бакет: имя бакета в хранилище S3, к которому будет подключаться экземпляр Spark.
   • Путь в бакете S3: путь к ранее созданной папке в бакете, которая будет доступна экземпляру Spark.

   • Имя внутреннего подключения S3: задайте имя подключения. Имя должно начинаться со строчной латинской буквы и содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Бакет: имя бакета VK Object Storage, к которому будет подключаться экземпляр Spark.
   • Путь в бакете S3: путь к ранее созданной папке в бакете, которая будет доступна экземпляру Spark.

   • PostgreSQL: задайте имя подключения. Имя должно начинаться со строчной латинской буквы и содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Имя базы данных: имя базы данных, к которой будет подключаться экземпляр Spark.
   • Имя хоста БД: адрес сервера для подключения.
   • Имя пользователя: имя учетной записи пользователя базы данных.
   • Пароль пользователя: пароль учетной записи пользователя базы данных.

4. Нажмите кнопку Сохранить изменения.

На шаге Учетные данные:

1. Укажите логин администратора для доступа к Spark. Требования к логину:

   • допустимы только цифры, латинские буквы и символ _;
   • первый символ — латинская буква любого регистра или _;
   • недопустимые имена: os_admin, root, dataplatform_moth.

2. Укажите пароль администратора для доступа к Spark. Чтобы задать пароль, нажмите кнопку Сгенерировать или укажите собственный.

   Требования к паролю:

   • не менее 16 символов;
   • минимум одна заглавная и одна строчная буквы латинского алфавита;
   • минимум одна цифра;
   • минимум один из символов: !, ?, %, #, /, (, ), -, +, *.

3. Нажмите кнопку Создать.