О сервисе^Beta

Cloud Kafka — распределенная платформа для передачи сообщений между приложениями. Каждый экземпляр сервиса представляет собой кластер Apache Kafka, развернутый в отказоустойчивой конфигурации или в конфигурации одного узла.

Сервис работает по принципу «публикация/подписка»: поставщики (producers) публикуют сообщения в топики, а потребители (consumers) опрашивают сервис для получения новых сообщений. Kafka не удаляет сообщения сразу после прочтения, а хранит их в течение заданного времени или до достижения лимита по размеру данных в партиции топика. Благодаря этому одно и то же сообщение может быть обработано различными потребителями необходимое число раз.

Возможные сценарии использования сервиса:

• шина загрузки данных, в том числе в сценариях потоковой загрузки данных;
• буфер для сбора метрик, логов и других типов сообщений из прикладных систем;
• сервис очередей для взаимодействия распределенных приложений.

Сервис Cloud Kafka автоматизирует процессы:

• развертывание инфраструктуры под экземпляр сервиса;
• эффективное распределение ресурсов кластера;
• масштабирование ресурсов экземпляра сервиса.

Также для работы с экземпляром Cloud Kafka можно развернуть инструмент Kafka UI. Его основные функции:

• Просмотр информации о топиках: количество партиций и репликаций, текущая конфигурация.
• Управление топиками: создание, изменение конфигурации, удаление.
• Просмотр и управление сообщениями: чтение, фильтрация и поиск.
• Работа с потребителями: настройка смещения и отслеживание отставаний.
• Управление схемами: просмотр деталей схемы, добавление новых схем, а также изменение или удаление существующих.
• Мониторинг производительности и состояния, а также отслеживание задержек и ошибок в работе компонентов экземпляра сервиса Cloud Kafka.