Внешние данные для обработки запросов

ClickHouse позволяет отправлять серверу данные, необходимые для обработки запроса, вместе с запросом SELECT. Эти данные помещаются во временную таблицу (см. раздел "Временные таблицы") и могут использоваться в запросе (например, в операторах IN).

Например, если у вас есть текстовый файл с важными идентификаторами пользователей, вы можете загрузить его на сервер вместе с запросом, который использует фильтрацию по этому списку.

Если вам нужно выполнить более одного запроса с большим объемом внешних данных, не используйте эту функцию. Лучше заранее загрузить данные в БД.

Внешние данные можно загрузить с помощью клиентского приложения командной строки (в неинтерактивном режиме) или с использованием HTTP интерфейса.

В клиенте командной строки вы можете указать раздел параметров в формате

Вы можете иметь несколько таких разделов, соответствующих количеству передаваемых таблиц.

–external – Указывает начало условия.
–file – Путь к файлу с дампом таблицы, или - , что ссылается на stdin.
Только одна таблица может быть извлечена из stdin.

Следующие параметры являются необязательными: –name– Название таблицы. Если опущено, используется _data.
–format – Формат данных в файле. Если опущено, используется TabSeparated.

Один из следующих параметров является обязательным: –types – Список разделенных запятыми типов колонок. Например: UInt64,String. Колонки будут названы _1, _2, ...
–structure– Структура таблицы в формате UserID UInt64, URL String. Определяет названия и типы колонок.

Файлы, указанные в 'file', будут разобраны по формату, указанному в 'format', с использованием типов данных, указанных в 'types' или 'structure'. Таблица будет загружена на сервер и будет доступна там как временная таблица с именем из 'name'.

Примеры:

При использовании HTTP интерфейса внешние данные передаются в формате multipart/form-data. Каждая таблица передается как отдельный файл. Название таблицы берется из имени файла. Параметры name_format, name_types, и name_structure передаются в query_string, где name – это имя таблицы, к которой относятся эти параметры. Значение параметров остается таким же, как при использовании клиентского приложения командной строки.

Пример:

Для распределенной обработки запросов временные таблицы отправляются на все удаленные серверы.