Использование табличной функции azureBlobStorage в ClickHouse для переноса данных Azure в ClickHouse

Использование табличной функции azureBlobStorage в ClickHouse

​

Использование табличной функции azureBlobStorage в ClickHouse

Это один из самых эффективных и простых способов копирования данных из Azure Blob Storage или Azure Data Lake Storage в ClickHouse. С помощью этой табличной функции можно указать ClickHouse напрямую подключаться к хранилищу Azure и читать данные по мере необходимости.

Она предоставляет интерфейс, подобный таблице, который позволяет выбирать, вставлять и фильтровать данные напрямую из источника. Функция хорошо оптимизирована и поддерживает множество широко используемых форматов файлов, включая CSV, JSON, Parquet, Arrow, TSV, ORC, Avro и другие. Полный список см. в разделе “Форматы данных”.

В этом разделе мы рассмотрим простое руководство по началу работы с переносом данных из Azure Blob Storage в ClickHouse, а также важные рекомендации по эффективному использованию этой функции. Более подробную информацию и дополнительные возможности см. в официальной документации: страница документации по табличной функции azureBlobStorage

​

Получение ключей доступа к Azure Blob Storage

Чтобы ClickHouse мог обращаться к Azure Blob Storage, вам понадобится строка подключения с ключом доступа.

1. В портале Azure перейдите к своей Storage Account.

2. В меню слева в разделе Security + networking выберите Access keys.

3. Выберите key1 или key2 и нажмите кнопку Show рядом с полем Connection string.

4. Скопируйте строку подключения — она понадобится вам как параметр для табличной функции azureBlobStorage.

​

Запрос данных из Azure Blob Storage

Откройте удобную для вас консоль запросов ClickHouse — это может быть веб-интерфейс ClickHouse Cloud, клиент ClickHouse CLI или любой другой инструмент, который вы используете для выполнения запросов. Когда у вас будут готовы и строка подключения, и консоль запросов ClickHouse, вы сможете начать запрашивать данные напрямую из Azure Blob Storage.

В следующем примере мы запрашиваем все данные, хранящиеся в JSON‑файлах, расположенных в контейнере с именем data-container:

SELECT * FROM azureBlobStorage(
    '<YOUR CONNECTION STRING>',
    'data-container',
    '*.json',
    'JSONEachRow');

Если вы хотите скопировать эти данные в локальную таблицу ClickHouse (например, my_table), можно использовать оператор INSERT INTO ... SELECT:

INSERT INTO my_table
SELECT * FROM azureBlobStorage(
    '<YOUR CONNECTION STRING>',
    'data-container',
    '*.json',
    'JSONEachRow');

Это позволяет эффективно загружать внешние данные в ClickHouse без промежуточных этапов ETL.

​

Простой пример использования набора данных Environmental Sensors

Для примера мы загрузим один файл из набора данных Environmental Sensors.

1. Загрузите пример файла из набора данных Environmental Sensors

2. В Azure Portal создайте новую учетную запись хранения, если у вас ее еще нет.

Убедитесь, что для вашей учетной записи хранения включен параметр Allow storage account key access, иначе вы не сможете использовать ключи учетной записи для доступа к данным.

3. Создайте новый контейнер в своей учетной записи хранения. В этом примере мы назовем его sensors. Вы можете пропустить этот шаг, если используете существующий контейнер.

4. Загрузите ранее скачанный файл 2019-06_bmp180.csv.zst в контейнер.

5. Выполните описанные ранее шаги, чтобы получить строку подключения к Azure Blob Storage.

Теперь, когда все настроено, вы можете выполнять запросы к данным напрямую из Azure Blob Storage:

    SELECT *
    FROM azureBlobStorage(
        '<YOUR CONNECTION STRING>', 
        'sensors',
        '2019-06_bmp180.csv.zst', 
        'CSVWithNames')
    LIMIT 10
    SETTINGS format_csv_delimiter = ';'

7. Чтобы загрузить данные в таблицу, создайте упрощенную версию схемы, используемой в исходном наборе данных:
   CREATE TABLE sensors
   (
       sensor_id UInt16,
       lat Float32,
       lon Float32,
       timestamp DateTime,
       temperature Float32
   )
   ENGINE = MergeTree
   ORDER BY (timestamp, sensor_id);
   

Дополнительные сведения о параметрах конфигурации и автоматическом определении схемы при выполнении запросов к внешним источникам, таким как Azure Blob Storage, см. в разделе Автоматическое определение схемы

8. Теперь вставьте данные из Azure Blob Storage в таблицу sensors:
   INSERT INTO sensors
   SELECT sensor_id, lat, lon, timestamp, temperature
   FROM azureBlobStorage(
       '<YOUR CONNECTION STRING>', 
       'sensors',
       '2019-06_bmp180.csv.zst', 
       'CSVWithNames')
   SETTINGS format_csv_delimiter = ';'
   

Теперь таблица sensors заполнена данными из файла 2019-06_bmp180.csv.zst, хранящегося в Azure Blob Storage.

​

Дополнительные ресурсы

Это лишь базовое введение в работу с функцией azureBlobStorage. Более расширенные возможности и подробные сведения о конфигурации см. в официальной документации:

• Табличная функция azureBlobStorage
• Форматы входных и выходных данных
• Автоматическое определение схемы