Движок таблиц AzureQueue

Этот движок предоставляет интеграцию с Azure Blob Storage, позволяя импортировать данные в потоковом режиме.

Создание таблицы

Параметры движка

Параметры AzureQueue такие же, как поддерживаемые движком таблиц AzureBlobStorage. См. раздел параметров здесь.

Аналогично движку таблиц AzureBlobStorage, пользователи могут использовать эмулятор Azurite для локальной разработки Azure Storage. Дополнительные детали здесь.

Пример

Настройки

Набор поддерживаемых настроек такой же, как для движка таблиц S3Queue, но без префикса s3queue_. См. полный список настроек. Чтобы получить список настроек, сконфигурированных для таблицы, используйте таблицу system.azure_queue_settings. Доступно с 24.10.

Описание

SELECT не особенно полезен для потокового импорта (за исключением отладки), так как каждый файл может быть импортирован только один раз. Практичнее создать потоки в реальном времени, используя материализованные представления. Для этого:

1. Используйте движок для создания таблицы для потребления из заданного пути в S3 и рассматривайте ее как поток данных.
2. Создайте таблицу с нужной структурой.
3. Создайте материализованное представление, которое преобразует данные из движка и помещает их в ранее созданную таблицу.

Когда MATERIALIZED VIEW присоединяет движок, он начинает собирать данные в фоновом режиме.

Пример:

Виртуальные колонки

• _path — Путь к файлу.
• _file — Имя файла.

Дополнительную информацию о виртуальных колонках см. здесь.

Интроспекция

Включите логирование для таблицы через настройку таблицы enable_logging_to_s3queue_log=1.

Возможности интроспекции такие же, как у движка таблиц S3Queue с несколькими отличиями:

1. Используйте system.azure_queue для состояния очереди в памяти для серверных версий >= 25.1. Для более старых версий используйте system.s3queue (это также будет содержать информацию для таблиц azure).
2. Включите system.azure_queue_log через основную конфигурацию ClickHouse, например:

Эта постоянная таблица имеет ту же информацию, что и system.s3queue, но для обработанных и неудавшихся файлов.

Таблица имеет следующую структуру:

Пример: