Параметры экземпляра Spark
При создании или редактировании экземпляра сервиса Cloud Spark вы можете настроить его параметры. Они определяют, как экземпляр Cloud Spark выполняет задачи и взаимодействует с другими сервисами. К ним относятся:
- Версия Apache Spark: влияет на функциональность, производительность и стабильность при выполнении задач Spark.
- Параметры подключений: определяют сервисы, к которым будет подключаться экземпляр Cloud Spark для чтения и записи информации.
Задать эти параметры можно через личный кабинет VK Cloud или через Terraform.
Параметры для настройки экземпляра Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
Версия Spark |
| Версия Spark, используемая при запуске задач |
Параметры для добавления источников данных в экземпляр Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
|
| Подключение к облачному хранилищу VK Object Storage в том же проекте |
|
| Подключение к облачному хранилищу Cloud Iceberg Metastore |
|
| Подключение к внешнему облачному S3-хранилищу |
|
| Подключение к внешнему облачному хранилищу Iceberg Metastore |
|
| Подключение к базе данных PostgreSQL |
Параметры для подключения источника данных S3 VK Cloud к экземпляру Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
Имя внутреннего подключения S3 |
| Имя подключения к VK Object Storage, отображаемое в личном кабинете |
S3 URL |
| Домен S3-хранилища. Пример: |
Регион |
| Регион расположения S3-хранилища |
Бакет |
| Уникальное имя бакета VK Object Storage |
Путь в бакете S3 |
| Логическая структура внутри бакета для организации и группировки объектов. Примеры: |
Access Key |
| Идентификатор ключа доступа к S3-хранилищу |
Secret Key |
| Секретный ключ для доступа к S3-хранилищу |
Параметры для подключения источника данных Iceberg Metastore VK Cloud к экземпляру Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
Имя внутреннего подключения Iceberg Metastore |
| Имя подключения к Cloud Iceberg Metastore, отображаемое в личном кабинете |
Имя бакета в S3 VK Cloud |
| Уникальное имя бакета VK Object Storage. Этот бакет используется только для хранения внутренних данных приложений |
Путь в бакете Iceberg Metastore S3 |
| Логическая структура внутри бакета для организации и группировки объектов. Примеры: |
Имя базы данных Iceberg |
| Имя базы данных Iceberg Metastore, к которой подключается Spark |
Имя хоста БД Iceberg |
| Хост и порт базы данных Iceberg Metastore в формате |
Имя пользователя Iceberg |
| Логин учетной записи для подключения Spark к Iceberg Metastore |
Пароль пользователя |
| Пароль учетной записи для подключения Spark к Iceberg Metastore |
Имя каталога, к которому будет подключен Spark |
| Директория для подключения по умолчанию. Используется в настройках Spark |
Параметры для подключения источника данных S3 внешний к экземпляру Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
Имя внешнего подключения S3 |
| Имя подключения к внешнему S3, отображаемое в личном кабинете |
S3 URL |
| Домен S3-хранилища |
Регион |
| Регион расположения S3-хранилища |
Бакет |
| Уникальное имя бакета |
Путь в бакете S3 |
| Логическая структура внутри бакета для организации и группировки объектов. Примеры: |
Access Key |
| Идентификатор ключа доступа к S3-хранилищу |
Secret Key |
| Секретный ключ для доступа к S3-хранилищу |
Параметры для подключения источника данных Iceberg Metastore внешний к экземпляру Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
Имя внешнего подключения к Iceberg Metastore |
| Имя подключения к внешнему Iceberg Metastore, отображаемое в личном кабинете |
S3 URL |
| Домен S3-хранилища |
Регион S3 |
| Регион расположения S3-хранилища |
Имя бакета в вашем S3 сервисе |
| Уникальное имя бакета S3 |
Путь в бакете S3 |
| Логическая структура внутри бакета для организации и группировки объектов. Примеры: |
Access Key |
| Идентификатор ключа доступа к S3-хранилищу |
Secret Key |
| Секретный ключ для доступа к S3-хранилищу |
Имя базы данных Iceberg |
| Имя базы данных Iceberg Metastore, к которой подключается Spark |
Имя хоста БД Iceberg |
| Хост и порт базы данных Iceberg Metastore в формате |
Имя пользователя Iceberg |
| Логин учетной записи для подключения Spark к Iceberg Metastore |
Пароль пользователя |
| Пароль учетной записи для подключения Spark к Iceberg Metastore |
Имя каталога, к которому будет подключен Spark |
| Директория для подключения по умолчанию. Используется в настройках Spark |
Параметры для подключения источника данных PostgreSQL к экземпляру Spark:
Параметр в личном кабинете | Параметр в Terraform | Описание |
|---|---|---|
PostgreSQL |
| Имя подключения к PostgreSQL, отображаемое в личном кабинете |
Имя хоста БД |
| Хост и порт базы данных PostgreSQL в формате |
Имя базы данных |
| Имя базы данных PostgreSQL, к которой подключается Spark |
Имя пользователя |
| Логин учетной записи для подключения Spark к PostgreSQL |
Пароль пользователя |
| Пароль учетной записи для подключения Spark к PostgreSQL |
Сертификат TLS |
| Сертификат TLS для безопасного подключения |