Pular para o conteúdo principal

Descrição

pg_clickhouse é uma extensão do PostgreSQL que permite executar consultas remotamente em bancos de dados ClickHouse, incluindo um foreign data wrapper. Ela é compatível com PostgreSQL 13 ou superior e ClickHouse 23 ou superior.

Primeiros passos

A forma mais simples de experimentar o pg_clickhouse é a [imagem Docker], que inclui a imagem Docker padrão do PostgreSQL com as extensões pg_clickhouse e re2:
Consulte o tutorial para começar a importar tabelas do ClickHouse e aplicar pushdown de consultas.

Uso

Política de versionamento

pg_clickhouse segue o [Versionamento Semântico] em seus lançamentos públicos.
  • A versão major é incrementada em caso de mudanças na API
  • A versão minor é incrementada em caso de mudanças de SQL compatíveis com versões anteriores
  • A versão patch é incrementada em caso de mudanças apenas no binário
Depois de instalada, o PostgreSQL rastreia duas variações da versão:
  • A versão da biblioteca (definida por PG_MODULE_MAGIC no PostgreSQL 18 e superior) inclui a versão semântica completa, visível na saída da função pgch_version() ou da função pg_get_loaded_modules() do Postgres.
  • A versão da extensão (definida no arquivo de controle) inclui apenas as versões major e minor, visíveis na tabela pg_catalog.pg_extension, na saída da função pg_available_extension_versions() e em \dx pg_clickhouse.
Na prática, isso significa que uma versão que incrementa a versão patch, por exemplo, de v0.1.0 para v0.1.1, beneficia todos os bancos de dados que carregaram v0.1 e não precisam executar ALTER EXTENSION para aproveitar a atualização. Por outro lado, uma versão que incrementa as versões minor ou major será acompanhada de scripts de atualização de SQL, e todos os bancos de dados existentes que contêm a extensão devem executar ALTER EXTENSION pg_clickhouse UPDATE para aproveitar a atualização.

Referência de SQL DDL

As expressões SQL DDL a seguir usam o pg_clickhouse.

CREATE EXTENSION

Use o CREATE EXTENSION para adicionar pg_clickhouse a um banco de dados:
Use WITH SCHEMA para instalá-la em um esquema específico (recomendado):

ALTER EXTENSION

Use ALTER EXTENSION para alterar a extensão pg_clickhouse. Exemplos:
  • Após instalar uma nova versão do pg_clickhouse, use a cláusula UPDATE:
  • Use SET SCHEMA para mover a extensão para um novo esquema:

DROP EXTENSION

Use DROP EXTENSION para remover o pg_clickhouse de um banco de dados:
Este comando falha se houver objetos que dependam de pg_clickhouse. Use a cláusula CASCADE para removê-los também:

CREATE SERVER

Use CREATE SERVER para criar um servidor externo que se conecta ao servidor ClickHouse. Exemplo:
As opções compatíveis são:
  • driver: O driver de conexão do ClickHouse a ser usado, “binary” ou “http”. Obrigatório.
  • dbname: O banco de dados do ClickHouse a ser usado na conexão. O padrão é “default”.
  • fetch_size: Tamanho aproximado do lote em bytes para HTTP streaming. Os lotes são divididos nos limites das linhas. O padrão é 50000000 (50 MB). 0 desabilita o streaming e armazena a resposta completa em buffer. Tabelas externas podem substituir esse valor.
  • host: O nome do host do servidor ClickHouse. O padrão é “localhost”;
  • port: A porta à qual se conectar no servidor ClickHouse. Os padrões são os seguintes:
    • 9440 se driver for “binary” e host for um host do ClickHouse Cloud
    • 9004 se driver for “binary” e host não for um host do ClickHouse Cloud
    • 8443 se driver for “http” e host for um host do ClickHouse Cloud
    • 8123 se driver for “http” e host não for um host do ClickHouse Cloud

ALTER SERVER

Use ALTER SERVER para modificar um servidor externo. Exemplo:
As opções são as mesmas de CREATE SERVER.

DROP SERVER

Use o DROP SERVER para remover um servidor externo:
Este comando falha se houver outros objetos que dependam do servidor. Use CASCADE para também remover essas dependências:

CREATE USER MAPPING

Use CREATE USER MAPPING para associar um usuário do PostgreSQL a um usuário do ClickHouse. Por exemplo, para associar o usuário atual do PostgreSQL ao usuário remoto do ClickHouse ao se conectar usando o servidor externo taxi_srv:
As opções compatíveis são:
  • user: O nome do usuário do ClickHouse. O valor padrão é “default”.
  • password: A senha do usuário do ClickHouse.

ALTER USER MAPPING

Use ALTER USER MAPPING para alterar a definição de um mapeamento de usuário:
As opções são as mesmas que em CREATE USER MAPPING.

DROP USER MAPPING

Use DROP USER MAPPING para excluir um mapeamento de usuário:

IMPORT FOREIGN SCHEMA

Use IMPORT FOREIGN SCHEMA para importar todas as tabelas definidas em um banco de dados do ClickHouse como tabelas externas para um esquema do PostgreSQL:
Use LIMIT TO para limitar a importação a tabelas específicas:
Use EXCEPT para excluir tabelas:
pg_clickhouse obterá uma lista de todas as tabelas do banco de dados ClickHouse especificado (“demo” nos exemplos acima), obterá as definições das colunas de cada uma e executará comandos CREATE FOREIGN TABLE para criar as tabelas externas. As colunas serão definidas usando os tipos de dados suportados e, quando isso puder ser detectado, as opções suportadas por CREATE FOREIGN TABLE.
Preservação de maiúsculas/minúsculas em identificadores importadosIMPORT FOREIGN SCHEMA executa quote_identifier() nos nomes de tabelas e colunas que importa, o que coloca aspas duplas em identificadores com caracteres maiúsculos ou espaços em branco. Assim, esses nomes de tabelas e colunas devem ser colocados entre aspas duplas em consultas do PostgreSQL. Nomes compostos apenas por letras minúsculas e sem espaços em branco n’o precisam ser colocados entre aspas.Por exemplo, dada esta tabela do ClickHouse:
IMPORT FOREIGN SCHEMA cria esta tabela externa:
Portanto, as consultas devem usar aspas corretamente, por exemplo:
Para criar objetos com nomes diferentes ou totalmente em minúsculas (e, portanto, sem diferenciar maiúsculas de minúsculas), use CREATE FOREIGN TABLE.

CREATE FOREIGN TABLE

Use CREATE FOREIGN TABLE para criar uma tabela externa capaz de consultar dados de um banco de dados ClickHouse:
As opções de tabela compatíveis são:
  • database: O nome do banco de dados remoto. O padrão é o banco de dados definido para o servidor externo.
  • fetch_size: Tamanho aproximado do lote em bytes para HTTP streaming. Substitui o fetch_size no nível do servidor. O padrão é 50000000 (50 MB). 0 desabilita o streaming e mantém a resposta completa em buffer.
  • table_name: O nome da tabela remota. O padrão é o nome especificado para a tabela externa.
  • engine: O table engine usado pela tabela do ClickHouse. Para CollapsingMergeTree() e AggregatingMergeTree(), o pg_clickhouse aplica automaticamente os parâmetros às expressões de função executadas na tabela.
Use o tipo de dado apropriado para o tipo de dado remoto do ClickHouse de cada coluna. As opções de coluna compatíveis são:
  • column_name: O nome da coluna no lado do ClickHouse, usado em vez do nome do atributo do PostgreSQL ao reconstruir consultas e inserções. Útil para mapear nomes de colunas do PostgreSQL em minúsculas e sem aspas para colunas do ClickHouse sensíveis a maiúsculas e minúsculas, por exemplo:
  • AggregateFunction: O nome da função de agregação aplicada a uma coluna do tipo AggregateFunction Type. Mapeie o tipo de dado para o tipo do ClickHouse passado à função e especifique o nome da função de agregação por meio da opção de coluna apropriada; o pg_clickhouse acrescentará automaticamente Merge à função de agregação que avalia a coluna.
  • SimpleAggregateFunction: O nome da função de agregação aplicada a uma coluna do tipo SimpleAggregateFunction Type. Mapeie o tipo de dado para o tipo do ClickHouse passado à função e especifique o nome da função de agregação por meio da opção de coluna apropriada.

ALTER FOREIGN TABLE

Use ALTER FOREIGN TABLE para alterar a definição de uma tabela externa:
As opções compatíveis de tabela e coluna são as mesmas de CREATE FOREIGN TABLE.

DROP FOREIGN TABLE

Use o DROP FOREIGN TABLE para remover uma tabela externa:
Este comando falha se houver objetos que dependam da tabela externa. Use a cláusula CASCADE para removê-los também:

Referência de SQL DML

As expressões SQL DML abaixo podem usar pg_clickhouse. Os exemplos dependem das seguintes tabelas do ClickHouse:

EXPLAIN

O comando EXPLAIN funciona como esperado, mas a opção VERBOSE faz com que a consulta “Remote SQL” do ClickHouse seja exibida:
Esta consulta é enviada ao ClickHouse por meio de um nó de plano “Foreign Scan”, o SQL remoto.

SELECT

Use a instrução SELECT para executar consultas em tabelas pg_clickhouse assim como em quaisquer outras tabelas:
pg_clickhouse busca delegar ao ClickHouse a execução da consulta o máximo possível, incluindo funções de agregação. Use EXPLAIN para determinar o grau de pushdown. Para a consulta acima, por exemplo, toda a execução é delegada ao ClickHouse
o pg_clickhouse também faz pushdown de JOINs para tabelas do mesmo servidor remoto:
Fazer JOIN com uma tabela local gerará queries menos eficientes sem um ajuste cuidadoso. Neste exemplo, fazemos uma cópia local da tabela nodes e fazemos o JOIN com ela em vez da tabela remota:
Neste caso, podemos delegar mais da agregação ao ClickHouse agrupando por node_id em vez da coluna local e, em seguida, fazer join com a tabela de referência mais tarde:
O nó “Foreign Scan” agora delega a agregação por node_id, reduzindo o número de linhas que precisam ser trazidas de volta ao Postgres de 1000 (todas elas) para apenas 8, uma para cada nó.

PREPARE, EXECUTE, DEALLOCATE

A partir da v0.1.2, o pg_clickhouse oferece suporte a consultas parametrizadas, criadas principalmente com o comando PREPARE:
Use EXECUTE, como de costume, para executar uma instrução preparada:
A execução parametrizada impede que o driver HTTP converta corretamente os fusos horários de DateTime em versões do ClickHouse anteriores à 25.8, quando o [bug subjacente] foi [corrigido]. Observe que, às vezes, o PostgreSQL usa um plano de consulta parametrizado mesmo sem usar PREPARE. Para consultas que exijam uma conversão precisa de fuso horário e para as quais atualizar para a versão 25.8 ou posterior não seja uma opção, use o driver binário.
pg_clickhouse faz o pushdown das agregações, como de costume, como pode ser visto na saída detalhada de EXPLAIN:
Observe que ele enviou os valores completos de data, não os placeholders de parâmetros. Isso vale para as cinco primeiras solicitações, conforme descrito nas [PREPARE notes] do PostgreSQL. Na sexta execução, ele envia os [query parameters] do ClickHouse no estilo {param:type}: parâmetros:
Use DEALLOCATE para liberar uma instrução preparada:

INSERT

Use o comando INSERT para inserir valores em uma tabela remota do ClickHouse:

COPY

Use o comando COPY para inserir um lote de linhas em uma tabela remota do ClickHouse:
⚠️ Limitações da API de batch O pg_clickhouse ainda não implementou suporte à API de insert em batch do PostgreSQL FDW. Assim, COPY atualmente usa instruções INSERT para inserir registros. Isso será melhorado em uma versão futura.

LOAD

Use LOAD para carregar a biblioteca compartilhada pg_clickhouse:
Normalmente, não é necessário usar LOAD, pois o Postgres carregará pg_clickhouse automaticamente na primeira vez que qualquer uma de suas funcionalidades (funções, tabelas externas etc.) for usada. A única situação em que pode ser útil usar LOAD pg_clickhouse é para SET os parâmetros do pg_clickhouse antes de executar consultas que dependem deles.

SET

Use SET para definir os parâmetros personalizados de configuração do pg_clickhouse.

pg_clickhouse.session_settings

O parâmetro pg_clickhouse.session_settings configura as configurações do ClickHouse a serem aplicadas às consultas subsequentes. Exemplo:
O padrão é join_use_nulls 1, group_by_use_nulls 1, final 1. Defina como uma string vazia para voltar às configurações do servidor do ClickHouse.
A sintaxe é uma lista de pares chave/valor delimitada por vírgulas, separados por um ou mais espaços. As chaves devem corresponder às configurações do ClickHouse. Use barra invertida para escapar espaços, vírgulas e barras invertidas nos valores:
Ou use valores entre aspas simples para evitar escapar espaços e vírgulas; considere usar [quotação com cifrão] para evitar a necessidade de usar aspas duplas:
Se a legibilidade for importante e você precisar definir muitas configurações, use várias linhas, por exemplo:
Algumas configurações serão ignoradas nos casos em que interferirem na operação do próprio pg_clickhouse. Entre elas estão:
  • date_time_output_format: o driver HTTP exige que seja “iso”
  • format_tsv_null_representation: o driver HTTP exige o valor padrão
  • output_format_tsv_crlf_end_of_line o driver HTTP exige o valor padrão
Fora isso, o pg_clickhouse não valida as configurações, mas as repassa ao ClickHouse em todas as consultas. Assim, ele oferece suporte a todas as configurações de cada versão do ClickHouse. Observe que o pg_clickhouse deve ser carregado antes de definir pg_clickhouse.session_settings; use [pré-carregamento de biblioteca compartilhada] ou simplesmente use um dos objetos da extensão para garantir que ele seja carregado.

pg_clickhouse.pushdown_regex

O parâmetro pg_clickhouse.pushdown_regex controla se o pg_clickhouse faz pushdown de funções e operadores de expressão regular. Isso ocorre por padrão; defina esse parâmetro como false para impedir esse pushdown:
Consulte Expressões regulares para ver mais detalhes.

ALTER ROLE

Use o comando SET de ALTER ROLE para pré-carregar pg_clickhouse e/ou SET seus parâmetros para roles específicos:
Use o comando RESET de ALTER ROLE para redefinir o pré-carregamento e/ou os parâmetros do pg_clickhouse:

Pré-carregamento

Se todas — ou quase todas — as conexões do Postgres precisarem usar o pg_clickhouse, considere usar o [pré-carregamento de biblioteca compartilhada] para carregá-lo automaticamente:

session_preload_libraries

Carrega a biblioteca compartilhada para cada nova conexão ao PostgreSQL:
Útil para aproveitar as atualizações sem reiniciar o servidor: basta se reconectar. Também pode ser definido para usuários ou roles específicos por meio de ALTER ROLE.

shared_preload_libraries

Carrega a biblioteca compartilhada no processo principal do PostgreSQL no momento da inicialização:
Útil para economizar memória e reduzir a sobrecarga de carregamento a cada sessão, mas exige que o cluster seja reiniciado quando a biblioteca for atualizada.

Tipos de dados

pg_clickhouse mapeia os seguintes tipos de dados do ClickHouse para tipos de dados do PostgreSQL. IMPORT FOREIGN SCHEMA usa o primeiro tipo da coluna do PostgreSQL ao importar colunas; tipos adicionais podem ser usados em instruções CREATE FOREIGN TABLE: Mais observações e detalhes a seguir.

BYTEA

O ClickHouse não oferece um equivalente ao tipo BYTEA do PostgreSQL, mas permite que quaisquer bytes sejam armazenados no tipo String. Em geral, strings do ClickHouse devem ser mapeadas para o tipo TEXT do PostgreSQL, mas ao trabalhar com dados binários, mapeie-as para BYTEA. Exemplo:
Essa consulta SELECT final produzirá:
Observe que, se houver bytes nulos nas colunas do ClickHouse, uma tabela estrangeira que utilize colunas TEXT não exibirá os valores corretos:
Saída:
Observe que as linhas dois e três contêm valores truncados. Isso ocorre porque o PostgreSQL depende de strings terminadas em nul e não suporta nuls em suas strings. Tentar inserir valores binários em colunas TEXT funcionará com sucesso e conforme esperado:
As colunas de texto estarão corretas:
Mas lê-los como BYTEA não funcionará:
Em regra, use colunas TEXT apenas para strings codificadas e colunas BYTEA apenas para dados binários, e nunca alterne entre elas.

Referência de funções e operadores

Funções

Estas funções servem como interface para consultar um banco de dados ClickHouse.

clickhouse_raw_query

Conecte-se a um serviço ClickHouse por meio da interface HTTP, execute uma única consulta e desconecte-se. O segundo argumento opcional especifica uma string de conexão cujo padrão é host=localhost port=8123. Os parâmetros de conexão compatíveis são:
  • host: O host ao qual se conectar; obrigatório.
  • port: A porta HTTP à qual se conectar; o padrão é 8123, a menos que host seja um host do ClickHouse Cloud, caso em que o padrão é 8443
  • dbname: O nome do banco de dados ao qual se conectar.
  • username: O nome de usuário com o qual se conectar; o padrão é default
  • password: A senha usada para autenticação; o padrão é não usar senha
Por padrão, nenhum role tem acesso EXECUTE a esta função; considere conceder GRANT acesso apenas a roles que realmente precisem executar consultas ad hoc no ClickHouse, por exemplo, um role de administrador dedicado do ClickHouse: Útil para consultas que não retornam registros, mas consultas que retornam valores são retornadas como um único valor de texto:

Funções de pushdown

pg_clickhouse faz pushdown de um subconjunto das funções nativas do PostgreSQL usadas em condições (cláusulas HAVING e WHERE). Esse subconjunto tem os seguintes equivalentes no ClickHouse:

Operadores de pushdown

  • Fatia de array (arr[L:U]): arraySlice
  • @> (array contém): hasAll
  • <@ (array contido em): hasAll
  • && (sobreposição entre arrays): hasAny
  • ~ (correspondência com regexp): match
  • !~ (sem correspondência com regexp): match
  • ~* (correspondência com regexp sem diferenciar maiúsculas de minúsculas): match
  • !~* (sem correspondência com regexp sem diferenciar maiúsculas de minúsculas): match
  • ->> (JSON/JSONB extrai elemento como texto): sintaxe de subcoluna
  • -> (JSON/JSONB extrai): toJSONString + sintaxe de subcoluna

Funções personalizadas

Essas funções personalizadas criadas por pg_clickhouse fornecem pushdown de consultas externas para determinadas funções do ClickHouse sem equivalentes no PostgreSQL. Se alguma dessas funções não puder passar por pushdown, ela gerará uma exceção.

Pushdown de extensões

O pg_clickhouse reconhece funções de algumas extensões principais e de terceiros e faz o pushdown delas para os equivalentes no ClickHouse.

re2

Todas as funções da extensão re2 são convertidas 1:1 para o ClickHouse:

intarray

Uma função intarray pode ser executada no ClickHouse:

fuzzystrmatch

Duas funções fuzzystrmatch são aplicadas via pushdown no ClickHouse:

Casts com pushdown

O pg_clickhouse faz pushdown de casts como CAST(x AS bigint) para tipos de dados compatíveis. Para tipos incompatíveis, o pushdown falhará; se x, neste exemplo, for um UInt64 do ClickHouse, o ClickHouse se recusará a converter o valor. Para fazer pushdown de casts para tipos de dados incompatíveis, o pg_clickhouse fornece as seguintes funções. Elas geram uma exceção no PostgreSQL se não forem executadas via pushdown.

Funções agregadas com pushdown

Estas funções de agregação do PostgreSQL têm pushdown para o ClickHouse.

Agregações personalizadas

Estas funções de agregação personalizadas criadas por pg_clickhouse fornecem pushdown de consultas externas para algumas funções de agregação do ClickHouse sem equivalentes no PostgreSQL. Se alguma dessas funções não puder ter o pushdown aplicado, será gerada uma exceção.

Agregações de conjunto ordenado com pushdown

Estas funções de agregação de conjunto ordenado são mapeadas para as funções de agregação paramétricas do ClickHouse, passando seu argumento direto como parâmetro e suas expressões ORDER BY como argumentos. Por exemplo, esta consulta PostgreSQL:
Equivale a esta consulta do ClickHouse:
Observe que os sufixos não padrão de ORDER BY, DESC e NULLS FIRST, não são compatíveis e gerarão um erro.

Funções de janela com pushdown

Estas funções de janela do PostgreSQL são submetidas a pushdown para o ClickHouse com cláusulas OVER (PARTITION BY ... ORDER BY ...), incluindo especificações de frame quando aplicável. As funções de classificação (row_number, rank, dense_rank, ntile, cume_dist, percent_rank) omitem a cláusula de frame durante o pushdown porque o ClickHouse rejeita especificações de frame nessas funções.

Observações sobre compatibilidade

Expressões regulares

Embora o pg_clickhouse faça pushdown de expressões regulares para equivalentes no ClickHouse quando pg_clickhouse.pushdown_regex é true (o padrão), e se esforce para garantir um nível básico de compatibilidade, esteja ciente das diferenças entre ambos e de como o pg_clickhouse lida com elas.
  • O PostgreSQL oferece suporte a [POSIX Regular Expressions], enquanto o ClickHouse oferece suporte a RE2 Regular Expressions. Fique atento às diferenças de comportamento: escreva RE2 quando a expressão regular for avaliada pelo ClickHouse (por exemplo, em uma cláusula WHERE) e POSIX quando ela for avaliada pelo Postgres (por exemplo, em uma cláusula SELECT).
  • O pg_clickhouse faz pushdown das [Regex flags] do Postgres, prefixando-as à expressão regular do ClickHouse dentro de (?). Por exemplo:
    Torna-se
    Observe a inclusão de -s; isso alinha o comportamento com o das expressões regulares do Postgres ao desabilitar s, que o ClickHouse habilita por padrão. O pg_clickhouse não incluirá -s se as flags na chamada da função do Postgres incluírem s. Infelizmente, esse comportamento quebra a compatibilidade de algumas expressões regulares no Postgres 24 e versões anteriores.
  • As únicas flags compatíveis com ambos e que, portanto, podem ser usadas quando avaliadas pelo ClickHouse são:
    • i: sem diferenciar maiúsculas de minúsculas
    • m: modo multilinha:
    • s: faz . corresponder a \n
    • p: correspondência parcial sensível a nova linha (tratada da mesma forma que s)
    • t: sintaxe restrita (o padrão, removida pelo pg_clickhouse)
    O RE2 oferece suporte apenas a essas flags; não use nenhuma outra [Postgres flags]
  • Quaisquer outras flags passadas para funções de expressão regular farão com que a função não seja enviada por pushdown.
  • A exceção é regexp_replace(), que também oferece suporte à flag g. Quando g está definida, o pg_clickhouse usa replaceRegexpAll() em vez de replaceRegexpOne() e remove a flag antes de prefixar as demais.
  • O argumento de substituição de regexp_replace() no Postgres aceita \& para se referir à correspondência inteira, enquanto no ClickHouse \0 representa a correspondência inteira. Certifique-se de usar \0 quando a função fizer pushdown para o ClickHouse.
Para evitar qualquer ambiguidade, considere configurar pg_clickhouse.pushdown_regex para impedir que expressões regulares do Postgres façam pushdown para o ClickHouse e usar a [re2 extension], para a qual o pg_clickhouse oferece suporte a pushdown direto de expressões regulares RE2 compatíveis com o ClickHouse.

to_char()

O to_char() do PostgreSQL para timestamp e timestamp with time zone só faz pushdown para o ClickHouse formatDateTime quando o argumento de formato é uma constante de string não NULL em que cada palavra-chave do PostgreSQL tem um equivalente byte a byte idêntico no ClickHouse. Se o formato for dinâmico (não for um Const) ou contiver qualquer palavra-chave ou modificador sem suporte, a chamada volta para a avaliação local no PostgreSQL — o pushdown nunca é tentado com uma tradução parcial, para que a saída permaneça compatível com o PG. As formas de to_char() com dois argumentos para numeric, interval e outros tipos que não sejam timestamp nunca fazem pushdown; o formatDateTime do ClickHouse apenas formata valores de data e hora.

Palavras-chave traduzidas

Texto entre aspas e literais

Texto entre "..." é passado literalmente, com qualquer % literal duplicado para %% para escapar o prefixo de especificador do ClickHouse. Um \" fora das aspas também é passado como um " literal. Dentro de "...", a barra invertida escapa apenas "; outras sequências com barra invertida são tratadas como texto literal.

Autores

David E. Wheeler Copyright (c) 2025-2026, ClickHouse
Última modificação em 10 de junho de 2026