Skip to main content

Descripción

pg_clickhouse es una extensión de PostgreSQL que permite ejecutar consultas de forma remota en bases de datos de ClickHouse, e incluye un foreign data wrapper. Es compatible con PostgreSQL 14 y versiones posteriores, y con ClickHouse 23.3 y versiones posteriores.

Primeros pasos

La forma más sencilla de probar pg_clickhouse es la [imagen de Docker], que contiene la imagen estándar de PostgreSQL para Docker con las extensiones pg_clickhouse y [re2][re2 extension]:
Consulta el tutorial para empezar a importar tablas de ClickHouse y delegar la ejecución de consultas.

Uso

Política de versionado

pg_clickhouse sigue Semantic Versioning para sus versiones públicas.
  • La versión principal se incrementa con cambios en la API
  • La versión secundaria se incrementa con cambios de SQL compatibles con versiones anteriores
  • La versión de parche se incrementa con cambios solo en el binario
Una vez instalado, PostgreSQL lleva un seguimiento de dos variantes de la versión:
  • La versión de la biblioteca (definida por PG_MODULE_MAGIC en PostgreSQL 18 y posteriores) incluye la versión semántica completa, visible en la salida de la función pgch_version() o de la función de Postgres pg_get_loaded_modules().
  • La versión de la extensión (definida en el archivo de control) incluye solo las versiones principal y secundaria, visibles en la tabla pg_catalog.pg_extension, la salida de la función pg_available_extension_versions() y \dx pg_clickhouse.
En la práctica, esto significa que una versión que incrementa la versión de parche, por ejemplo, de v0.1.0 a v0.1.1, beneficia a todas las bases de datos que han cargado v0.1 y no necesitan ejecutar ALTER EXTENSION para aprovechar la actualización. Por otro lado, una versión que incrementa las versiones secundaria o principal irá acompañada de scripts de actualización de SQL, y todas las bases de datos existentes que contengan la extensión deben ejecutar ALTER EXTENSION pg_clickhouse UPDATE para aprovechar la actualización.

Referencia de SQL DDL

Las siguientes expresiones DDL de SQL usan pg_clickhouse.

CREATE EXTENSION

Usa CREATE EXTENSION para añadir pg_clickhouse a una base de datos:
Usa WITH SCHEMA para instalarlo en un esquema concreto (recomendado):

ALTER EXTENSION

Use ALTER EXTENSION para modificar pg_clickhouse. Ejemplos:
  • Después de instalar una nueva versión de pg_clickhouse, use la cláusula UPDATE:
  • Use SET SCHEMA para mover la extensión a un nuevo esquema:

DROP EXTENSION

Utiliza DROP EXTENSION para eliminar pg_clickhouse de una base de datos:
Este comando falla si hay algún objeto que dependa de pg_clickhouse. Use la cláusula CASCADE para eliminarlos también:

CREATE SERVER

Utilice CREATE SERVER para crear un servidor foráneo que se conecta a un servidor de ClickHouse. Ejemplo:
Las opciones admitidas son:
  • driver: El driver de conexión de ClickHouse que se va a usar, ya sea “binary” o “http”. Obligatorio.
  • compression: Compresión del protocolo nativo para el driver “binary”, una de “none”, “lz4” o “zstd”. El valor predeterminado es “lz4”. El driver “http” la ignora.
  • dbname: La base de datos en ClickHouse que se usará al conectarse. El valor predeterminado es “default”.
  • host: El nombre de host del servidor de ClickHouse. El valor predeterminado es “localhost”;
  • port: El puerto del servidor de ClickHouse al que conectarse. Los valores predeterminados son los siguientes:
    • 9440 si driver es “binary” y host es un host de ClickHouse Cloud
    • 9004 si driver es “binary” y host no es un host de ClickHouse Cloud
    • 8443 si driver es “http” y host es un host de ClickHouse Cloud
    • 8123 si driver es “http” y host no es un host de ClickHouse Cloud
  • min_tls_version: Versión mínima del protocolo TLS que se negociará en las conexiones que usan TLS. Una de TLSv1, TLSv1.1, TLSv1.2 o TLSv1.3. El valor predeterminado es el mínimo propio de la biblioteca TLS. Se aplica a ambos drivers.
  • secure: Controla TLS para la conexión. Uno de:
    • auto (predeterminado): usa TLS cuando host es un host de ClickHouse Cloud o port es un puerto seguro; texto no cifrado en caso contrario.
    • on (o true/yes/1): usa siempre TLS. port toma por defecto el valor 8443 (“http”) o 9440 (“binary”).
    • off (o false/no/0): no usa nunca TLS. port toma por defecto el valor 8123 (“http”) o 9000 (“binary”).
  • encoding_check: Define cómo tratar los caracteres no válidos según la [codificación de la base de datos] al convertir valores String y JSON de ClickHouse. Uno de:
    • fail (predeterminado): genera un error
    • remove elimina los bytes no válidos
    • replace: con la codificación UTF-8, sustituye los bytes no válidos por el carácter de reemplazo de Unicode (�); equivale a remove en otras codificaciones
    • truncate trunca el texto en el primer byte no válido

ALTER SERVER

Use ALTER SERVER para modificar un servidor foráneo. Ejemplo:
Las opciones son las mismas que en CREATE SERVER.

DROP SERVER

Use DROP SERVER para eliminar un servidor foráneo:
Este comando falla si algún otro objeto depende del servidor. Use CASCADE para eliminar también esas dependencias:

CREATE USER MAPPING

Utilice CREATE USER MAPPING para asignar un usuario de PostgreSQL a un usuario de ClickHouse. Por ejemplo, para asignar el usuario actual de PostgreSQL al usuario remoto de ClickHouse al conectarse al servidor foráneo taxi_srv:
Las opciones admitidas son:
  • user: El nombre del usuario de ClickHouse. El valor predeterminado es “default”.
  • password: La contraseña del usuario de ClickHouse.

ALTER USER MAPPING

Use ALTER USER MAPPING para cambiar la definición de una asignación de usuario:
Las opciones son las mismas que en CREATE USER MAPPING.

DROP USER MAPPING

Utilice DROP USER MAPPING para eliminar una asignación de usuario:

IMPORT FOREIGN SCHEMA

Utilice IMPORT FOREIGN SCHEMA para importar todas las tablas definidas en una base de datos en ClickHouse como tablas foráneas en un esquema de PostgreSQL:
Use LIMIT TO para limitar la importación a tablas específicas:
Usa EXCEPT para excluir tablas:
pg_clickhouse obtendrá una lista de todas las tablas de la base de datos en ClickHouse especificada (“demo” en los ejemplos anteriores), recuperará las definiciones de las columnas de cada una y ejecutará comandos CREATE FOREIGN TABLE para crear las tablas foráneas. Las columnas se definirán usando los tipos de datos compatibles y, cuando sea posible detectarlas, las opciones compatibles con CREATE FOREIGN TABLE. Algunos detalles que conviene tener en cuenta:
  • Las columnas importadas conservan el modificador de tipo del tipo de ClickHouse, incluidos los que se encuentran dentro de Arrays. Es decir, Array(Decimal(12,6)) se importa como numeric(12,6)[].
  • Las columnas Nullable se importan sin NOT NULL; en cambio, Nullable dentro de un Array no tiene ese efecto, porque los arrays de PostgreSQL siempre admiten elementos NULL.
  • Las columnas AggregateFunction y SimpleAggregateFunction se importan sin NOT NULL, independientemente de la declaración en ClickHouse; consulte Columnas de estado and NOT NULL.
  • Las columnas Tuple se importan como text[]. Las columnas Map y las columnas Nested creadas con flatten_nested=0 se importan como text[][]. Cada conversión emite un NOTICE. El pseudotipo record de PostgreSQL no puede definir una columna de tabla, por lo que cada tupla se convierte en un array de valores, cada mapa en un array bidimensional de pares clave-valor y cada valor Nested en un array bidimensional de filas. Para leer los campos como registros, cambie el tipo de la columna a un array de un tipo compuesto equivalente; consulte Manual Type Mappings para ver un ejemplo.
  • Las columnas DateTime64 y Time64 con una precisión superior a 6 (microsegundos) también generan un NOTICE, ya que PostgreSQL limita la precisión a timestamp(6) y time(6).
  • Los tipos de columna sin equivalente en PostgreSQL, incluido el tipo heredado Object('json'), anterior a JSON de ClickHouse, generan un error.
Conservación de mayúsculas y minúsculas en los identificadores importadosIMPORT FOREIGN SCHEMA ejecuta quote_identifier() sobre los nombres de tablas y columnas que importa, lo que pone entre comillas dobles los identificadores con caracteres en mayúsculas o espacios en blanco. Por lo tanto, esos nombres de tablas y columnas deben ir entre comillas dobles en las consultas de PostgreSQL. Los nombres formados solo por minúsculas y sin espacios en blanco no necesitan comillas.Por ejemplo, dada esta tabla de ClickHouse:
IMPORT FOREIGN SCHEMA crea esta tabla foránea:
Por lo tanto, las consultas deben entrecomillar los identificadores según corresponda; por ejemplo:
Para crear objetos con nombres diferentes o completamente en minúsculas (y, por tanto, sin distinguir entre mayúsculas y minúsculas), use CREATE FOREIGN TABLE.

CREATE FOREIGN TABLE

Utilice CREATE FOREIGN TABLE para crear una tabla foránea que permita consultar datos de una base de datos en ClickHouse:
Las opciones de tabla admitidas son:
  • database: El nombre de la base de datos remota. De forma predeterminada, usa la base de datos definida para el servidor foráneo.
  • table_name: El nombre de la tabla remota. De forma predeterminada, usa el nombre especificado para la tabla foránea.
  • engine: El [motor de tabla] usado por la tabla de ClickHouse. Para CollapsingMergeTree() y AggregatingMergeTree(), pg_clickhouse aplica automáticamente los parámetros a las expresiones de función ejecutadas en la tabla.
Use el tipo de dato apropiado para el tipo de dato remoto de ClickHouse de cada columna. Las opciones de columna admitidas son:
  • column_name: El nombre de la columna en el lado de ClickHouse, usado con preferencia al nombre del atributo de PostgreSQL al reconstruir consultas e inserciones. Es útil para mapear nombres de columna de PostgreSQL en minúsculas y sin comillas a columnas de ClickHouse sensibles a mayúsculas y minúsculas; por ejemplo,
  • AggregateFunction: El nombre de la función de agregación aplicada a una columna de [tipo AggregateFunction]. Mapee el tipo de dato al tipo de ClickHouse pasado a la función y especifique el nombre de la función de agregación mediante la opción de columna adecuada; pg_clickhouse añadirá automáticamente Merge a la función de agregación que evalúe la columna. Declare la columna como nullable para evitar los problemas descritos en Columnas de estado y NOT NULL.
  • SimpleAggregateFunction: El nombre de la función de agregación aplicada a una columna de [tipo SimpleAggregateFunction]. Mapee el tipo de dato al tipo de ClickHouse pasado a la función y especifique el nombre de la función de agregación mediante la opción de columna adecuada.

Columnas de estado y NOT NULL

Mantenga las columnas AggregateFunction y SimpleAggregateFunction como Nullable. PostgreSQL 19 reemplaza count(column) por count(*) en las columnas de estado NOT NULL, lo que cuenta filas en lugar de fusionar estados. Considere una tabla de ClickHouse que almacena un estado count por usuario, cada uno generado a partir de 1000 eventos:
Con NOT NULL, PostgreSQL cuenta los estados, lo que da como resultado un recuento no válido:
Sin NOT NULL, pg_clickhouse usa countMerge() para fusionar los estados, con lo que se obtiene el recuento correcto de 1000:
Use ALTER FOREIGN TABLE para eliminar la restricción de una tabla foránea existente:
NOT NULL solo afecta a PostgreSQL. Por eso, IMPORT FOREIGN SCHEMA importa las columnas de estado como columnas Nullable.

ALTER FOREIGN TABLE

Use ALTER FOREIGN TABLE para cambiar la definición de una tabla foránea:
Las opciones de tabla y columna admitidas son las mismas que para CREATE FOREIGN TABLE.

DROP FOREIGN TABLE

Utilice DROP FOREIGN TABLE para eliminar una tabla foránea:
Este comando falla si hay algún objeto que depende de la tabla foránea. Use la cláusula CASCADE para eliminarlos también:

Referencia de SQL DML

Las expresiones SQL DML que aparecen a continuación pueden usar pg_clickhouse. Los ejemplos dependen de estas tablas de ClickHouse:

EXPLAIN

El comando EXPLAIN funciona como es de esperar, pero la opción VERBOSE provoca que se emita la consulta de ClickHouse “Remote SQL”:
Esta consulta se envía a ClickHouse a través de un nodo del plan “Foreign Scan”, el SQL remoto.

SELECT

Use la instrucción SELECT para ejecutar consultas en las tablas pg_clickhouse igual que en cualquier otra tabla:
pg_clickhouse busca trasladar la ejecución de la consulta a ClickHouse tanto como sea posible, incluidas las funciones de agregación. Use EXPLAIN para determinar hasta qué punto se aplica el pushdown. Para la consulta anterior, por ejemplo, toda la ejecución se traslada a ClickHouse
pg_clickhouse también delega los JOINs a tablas que provienen del mismo servidor remoto:
Hacer un JOIN con una tabla local generará consultas menos eficientes si no se ajusta cuidadosamente. En este ejemplo, hacemos una copia local de la tabla nodes y hacemos un JOIN con ella en lugar de con la tabla remota:
En este caso, podemos delegar una mayor parte de la agregación a ClickHouse agrupando por node_id en lugar de por la columna local, y luego hacer el join con la tabla de búsqueda más adelante:
El nodo “Foreign Scan” ahora traslada la agregación por node_id, lo que reduce el número de filas que deben volver a Postgres de 1000 (todas ellas) a solo 8, una por cada nodo.

Tablas particionadas

Una [tabla particionada] de PostgreSQL puede combinar particiones locales con particiones externas respaldadas por ClickHouse. Una configuración habitual traslada los datos más antiguos a ClickHouse, mientras que los datos recientes permanecen en PostgreSQL:
Para ver un ejemplo de cómo mover datos de particiones locales a externas, consulte offload-partition.sql. Las agregaciones que abarcan particiones locales y externas requieren la [agregación por particiones], que PostgreSQL desactiva de forma predeterminada:
Con enable_partitionwise_aggregate habilitado, PostgreSQL calcula una agregación parcial debajo de Append y, a continuación, una agregación de finalización encima combina esos resultados parciales en el resultado final. pg_clickhouse envía la agregación parcial de la partición externa a ClickHouse:

Cuándo se hace pushdown de agregaciones parciales

PostgreSQL representa una agregación parcial como un estado de transición que el paso de finalización combina entre particiones. pg_clickhouse puede hacer pushdown de la agregación parcial de una partición solo cuando puede expresarla como un valor de ClickHouse:
  • Agregaciones descomponibles cuyo estado de transición ya es el valor final, se envían directamente mediante pushdown: count, sum, min, max, bool_and/every, bool_or, bit_and, bit_or y bit_xor.
  • avg sobre enteros envía mediante pushdown su estado {count, sum} como un array.
  • avg, var_pop, var_samp, stddev_pop y stddev_samp sobre números de punto flotante envían mediante pushdown su estado {N, sum, suma de desviaciones al cuadrado} como un array.
FILTER (WHERE …) se envía mediante pushdown con estas funciones de agregación.

Cuándo recurren a una alternativa

Las agregaciones cuyo estado de transición es el tipo opaco internal de PostgreSQL no tienen una representación portable, por lo que la partición externa obtiene sus filas y las agrega localmente. Esto incluye cualquier agregación sobre numeric, además de avg(bigint) y avg(interval). Las agregaciones DISTINCT, de conjuntos ordenados y variádicas también recurren a una alternativa.

PREPARE, EXECUTE, DEALLOCATE

A partir de la versión v0.1.2, pg_clickhouse admite consultas parametrizadas, que se crean principalmente con el comando PREPARE:
Utilice EXECUTE como siempre para ejecutar una sentencia preparada:
pg_clickhouse hace pushdown de las agregaciones, como es habitual, tal como se ve en la salida detallada de EXPLAIN:
Ten en cuenta que ha enviado los valores de fecha completos, no los marcadores de posición de los parámetros. Esto aplica a las primeras cinco solicitudes, como se describe en las [notas sobre PREPARE de PostgreSQL]. En la sexta ejecución, envía ClickHouse [parámetros de consulta] con el estilo {param:type}:
Use DEALLOCATE para liberar una sentencia preparada:

INSERT

Utilice el comando INSERT para insertar valores en una tabla remota de ClickHouse:

COPY

Utiliza el comando COPY para insertar un lote de filas en una tabla remota de ClickHouse:
⚠️ Limitaciones de la API de inserción por lotes pg_clickhouse aún no admite la API de inserción por lotes del FDW de PostgreSQL. Por lo tanto, COPY utiliza actualmente sentencias INSERT para insertar registros. Esto se mejorará en una futura versión.

LOAD

Utilice LOAD para cargar la biblioteca compartida pg_clickhouse:
No suele ser necesario usar LOAD, ya que Postgres cargará automáticamente pg_clickhouse la primera vez que se utilice cualquiera de sus funciones (funciones, tablas foráneas, etc.). La única vez que puede resultar útil LOAD pg_clickhouse es para SET los parámetros de pg_clickhouse antes de ejecutar consultas que dependan de ellos.

SET

Use SET para establecer los parámetros de configuración personalizados de pg_clickhouse.

pg_clickhouse.session_settings

El parámetro pg_clickhouse.session_settings configura la [configuración de ClickHouse] que se establecerá en las consultas posteriores. Ejemplo:
El valor predeterminado es
Establézcalo en una cadena vacía para usar la configuración del servidor de ClickHouse, pero tenga en cuenta que la corrección del pushdown depende de algunos de estos valores predeterminados: join_use_nulls para las combinaciones externas y transform_null_in para la familia IN (consulte IN y semántica de NULL).
La sintaxis es una lista de pares clave/valor delimitados por comas y separados por uno o más espacios. Las claves deben corresponder a la [configuración de ClickHouse]. Escape los espacios, las comas y las barras invertidas en los valores con una barra invertida:
O bien, use valores entre comillas simples para evitar tener que escapar espacios y comas; considere usar dollar quoting para evitar tener que usar comillas dobles:
Si te preocupa la legibilidad y necesitas establecer muchos ajustes, usa varias líneas, por ejemplo:
Algunas configuraciones se ignorarán en los casos en que interfieran con el funcionamiento de pg_clickhouse. Estas incluyen:
  • date_time_output_format: el driver HTTP requiere que sea “iso”
  • format_tsv_null_representation: el driver HTTP requiere el valor predeterminado
  • output_format_tsv_crlf_end_of_line el driver HTTP requiere el valor predeterminado
Por lo demás, pg_clickhouse no valida las configuraciones, sino que las pasa a ClickHouse en cada consulta. Por lo tanto, admite todas las configuraciones de cada versión de ClickHouse. Tenga en cuenta que pg_clickhouse debe cargarse antes de establecer pg_clickhouse.session_settings; use precarga de bibliotecas compartidas o simplemente use uno de los objetos de la extensión para asegurarse de que se cargue.

pg_clickhouse.pushdown_regex

El parámetro pg_clickhouse.pushdown_regex controla si pg_clickhouse realiza pushdown de las funciones y los operadores de expresiones regulares. Lo hace de forma predeterminada; establezca este parámetro en false para evitarlo:
Consulte Expresiones regulares para más detalles.

ALTER ROLE

Use el comando SET de ALTER ROLE para precargar pg_clickhouse y/o SET sus parámetros para determinados roles:
Utilice el comando RESET de ALTER ROLE para restablecer la precarga de pg_clickhouse y/o los parámetros:

Precarga

Si todas o casi todas las conexiones a Postgres necesitan usar pg_clickhouse, considere usar la precarga de bibliotecas compartidas para que se cargue automáticamente:

session_preload_libraries

Carga la biblioteca compartida en cada nueva conexión a PostgreSQL:
Resulta útil para aprovechar las actualizaciones sin reiniciar el servidor: basta con volver a conectarse. También puede establecerse para usuarios o roles específicos mediante ALTER ROLE.

shared_preload_libraries

Carga la biblioteca compartida en el proceso principal de PostgreSQL durante el arranque:
Útil para ahorrar memoria y reducir la sobrecarga en cada sesión, pero requiere que se reinicie el clúster cuando se actualiza la biblioteca.

Tipos de datos

Esta tabla presenta la correspondencia preferida entre los tipos de datos de ClickHouse y PostgreSQL. IMPORT FOREIGN SCHEMA utiliza estas correspondencias y deriva a partir de ellas los modificadores de tipo y las dimensiones de array adecuados. Use CREATE FOREIGN TABLE para declarar tipos de PostgreSQL alternativos. La columna de destinos de lectura adicionales enumera las conversiones que admite el controlador binary, además de las conversiones explícitas de PostgreSQL. Las celdas vacías no impiden esas conversiones. Los valores deben caber en los tipos de destino. Estos destinos se refieren a las lecturas; las escrituras siguen reglas de conversión propias. Cualquier columna también se puede leer como text, varchar u otro tipo de cadena. El valor adopta el tipo de PostgreSQL indicado arriba y luego se representa mediante la función de salida de ese tipo. Una cadena de ClickHouse leída como un tipo de texto se valida con la codificación de la base de datos, por lo que los bytes que PostgreSQL no puede leer generan un error. Declare una columna String, FixedString, Enum o JSON como BYTEA para leer sus bytes tal como ClickHouse los escribió. Los tipos compatibles con la entrada pueden leer cadenas mediante su función de entrada de PostgreSQL. Los tipos compuestos deben tener los mismos campos en el mismo orden. Para leer una tupla como un array, cada campo debe poder convertirse al tipo de elemento del array, y ningún campo puede ser, a su vez, un array. Cuando se leen como arrays, Map usa una fila por cada par clave-valor y Nested usa una fila por cada registro anidado. Para leer una tupla como box, proporcione dos puntos; para circle, un punto y un radio; y para line, tres coeficientes. A continuación se incluyen notas y detalles adicionales.

Coerción de tipos

Con el controlador binary, los tipos escalares alternativos usan las conversiones explícitas de PostgreSQL cuando están disponibles, y los elementos de array se convierten al tipo de elemento declarado. Las conversiones no compatibles y los valores fuera de rango generan errores. Con cualquiera de los dos controladores, asigne los tipos Interval de ClickHouse a smallint, integer o bigint para leer y escribir el recuento de sus unidades. Por ejemplo, un valor IntervalDay de 3 corresponde al integer 3. Si se asigna IntervalNanosecond a bigint, se conservan los nanosegundos, mientras que si se asigna a interval, el valor se trunca a microsegundos.

BYTEA

ClickHouse no ofrece un equivalente al tipo BYTEA de PostgreSQL, pero permite almacenar cualquier secuencia de bytes en el tipo [String]. En general, las cadenas de ClickHouse deben mapearse al tipo [TEXT] de PostgreSQL; sin embargo, cuando se trabaja con datos binarios, deben mapearse al tipo BYTEA. Ejemplo:
Esa consulta SELECT final generará:
Por lo general, una tabla externa que use columnas [TEXT] no puede leer estos valores como texto, porque pg_clickhouse valida los bytes de ClickHouse con respecto a la codificación de la base de datos:
Generará:
Un digest contiene bytes arbitrarios, que rara vez forman texto válido. Además, PostgreSQL reserva el carácter nul, por lo que una columna [TEXT] nunca puede leer una cadena de ClickHouse que lo contenga. Intentar insertar valores binarios en columnas [TEXT] funcionará correctamente y producirá el resultado esperado:
Las columnas de texto mostrarán los valores correctos:
Pero leerlos como BYTEA no funcionará:
Una columna FixedString(N) rellena los valores cortos con bytes nulos. Una columna de texto descarta ese relleno final, mientras que una columna BYTEA conserva todos los bytes.
Por regla general, use las columnas [TEXT] solo para cadenas codificadas y las columnas BYTEA solo para datos binarios, y nunca alterne entre unas y otras.

Tipos compuestos

Array

Los [Array] de ClickHouse se corresponden directamente con los arrays de PostgreSQL, con una semántica equivalente. La principal diferencia es que, en Postgres, los arrays multidimensionales deben tener expresiones de array con dimensiones coincidentes. Si se intenta leer un array de ClickHouse con dimensiones distintas, como [[1], [2,3]], se produce un error. El acceso por índice a los arrays hace pushdown cuando corresponde, incluido el acceso por índice multidimensional. Ejemplos:
Los segmentos de Array también se delegan mediante la función [arraySlice], aunque el acceso a segmentos multidimensionales aún no es compatible:

Map

PostgreSQL no ofrece ningún tipo equivalente al tipo [Map] de ClickHouse. Por ello, pg_clickhouse asigna las columnas [Map] a text[][], de modo que cada par clave-valor se representa como un array independiente. IMPORT FOREIGN SCHEMA utiliza esta correspondencia. Asimismo, es posible usar INSERT para insertar mapas como arrays. Por ejemplo:
Cada array anidado debe contener exactamente dos valores de texto. Los valores incompatibles con los tipos de clave o de valor correspondientes de ClickHouse provocan un error.
Para insertar un Map se requiere el controlador binary, que obtiene los tipos de columna del servidor de ClickHouse. El controlador http no lo hace, por lo que carece de la información necesaria para formatear e insertar el valor adecuado.

Tuple

Del mismo modo, las columnas [Tuple] de ClickHouse se asignan a text[] y admiten operaciones INSERT mediante el controlador binario. IMPORT FOREIGN SCHEMA emite un NOTICE cuando establece dicha correspondencia.

Nested

De forma predeterminada, ClickHouse divide una columna Nested en una columna Array por cada campo (flatten_nested=1). IMPORT FOREIGN SCHEMA lee estas columnas del catálogo system.columns de ClickHouse y crea columnas de array independientes en PostgreSQL, conservando los nombres con puntos, como items.a e items.b. Por ejemplo, dada esta tabla externa:
Su esquema importado tiene tres columnas en lugar de dos:
Consulte las columnas anidadas escribiendo los nombres de las columnas entre comillas dobles, por ejemplo:
Y filtre valores en una cláusula WHERE con las funcionalidades habituales de los arrays, incluida la sintaxis de subíndices de array:
Una columna [Nested] creada con flatten_nested=0 se corresponde con un array con un elemento por cada fila anidada. Cada elemento del array contiene los valores de esa fila:
Ahora, el esquema resultante es:
Componga los registros anidados en un array bidimensional con valores de texto formateados según cada tipo definido por la columna de ClickHouse. Para c2 Nested(id Int64, name String) de este ejemplo, quedaría así:
Sin embargo, el pushdown de columnas text[][] sobre tipos Nested falla:
Esto se debe a que pg_clickhouse no puede distinguir entre una columna de array de texto definida sobre una columna de array de ClickHouse y otra definida sobre una columna Nested, por lo que no puede reescribirla con la sintaxis Nested de ClickHouse. No obstante, un array de un tipo compuesto equivalente también puede mapear estos elementos (consulte Correspondencias manuales de tipos para más detalles). En ese caso, el pushdown funciona siempre que los nombres de los campos del tipo compuesto sean idénticos a los nombres de los campos Nested:

Correspondencias manuales de tipos

IMPORT FOREIGN SCHEMA utiliza tipos genéricos de PostgreSQL. Por ejemplo, dada una tabla de ClickHouse con columnas [Enum], [Tuple], Map y [Nested] no aplanadas (flatten_nested = 0), como la siguiente:
Para conservar la estructura o restringir los valores, defina tipos compuestos o enum de PostgreSQL y cree manualmente una tabla externa:
Asegúrese siempre de que las etiquetas de enum y los nombres de los campos de los tipos compuestos sean idénticos a las etiquetas de enum de ClickHouse y a los nombres de los campos de Nested o Tuple, para garantizar que el pushdown utilice los nombres correctos.
Haga coincidir el orden y los tipos de los campos compuestos con las declaraciones de ClickHouse. Las claves y los valores de [Map] pasan a ser el primer y el segundo campo, respectivamente (key y value en este caso). Nested y Map se convierten en arrays de tipos compuestos, mientras que Tuple se convierte en un único valor compuesto:
Por supuesto, también puede usar los nombres de los campos del tipo compuesto, tanto en una lista SELECT:
Y, para los tipos [Nested] en una cláusula WHERE, siempre que los nombres de los campos sean idénticos:
Aún no se admite INSERT con este tipo de tipos compuestos.

Referencia de funciones y operadores

Funciones

Estas funciones proporcionan la interfaz para realizar consultas a una base de datos de ClickHouse.

clickhouse_server_version

Indica la versión del servidor ClickHouse, como major.minor.patch, del servidor externo indicado; si es necesario, se conecta mediante las opciones del servidor y la asignación de usuario del usuario actual:
Obtiene la versión durante el handshake de la conexión mediante el protocolo nativo o, a través de HTTP, mediante una única consulta SELECT version(), y la almacena en caché durante la vida de la conexión.

clickhouse_query

Ejecute una consulta en un servidor externo ya configurado y devuelva sus filas como una relación, asignando cada columna de resultados de ClickHouse al tipo de PostgreSQL indicado en la lista de definición de columnas. Reutiliza el driver del servidor, las credenciales, la base de datos y la caché de conexiones. El primer argumento es el nombre de un servidor creado con CREATE SERVER. Se requiere una lista de definición de columnas (AS name(col type, ...)): PostgreSQL necesita conocer la estructura del resultado antes de obtener las filas, y debe coincidir con las columnas que devuelve la consulta. Los valores se convierten de ClickHouse a los tipos declarados del mismo modo que los de una columna de tabla externa. Las sentencias que no devuelven resultados, como las DDL, no tienen nada que declarar; ejecútelas con clickhouse_perform. Ningún rol tiene acceso EXECUTE de forma predeterminada; use GRANT para conceder a un rol permiso para usar la función.

clickhouse_perform

Ejecute una sentencia en un servidor externo ya configurado y descarte cualquier resultado. Úselo para sentencias que no devuelven filas, como DDL, cuando clickhouse_query no tiene una estructura del resultado que declarar. Resuelve el servidor del mismo modo que clickhouse_query y reutiliza su driver, credenciales, base de datos y caché de conexión. Como procedimiento, debe invocarse con CALL, no con SELECT, y no devuelve filas. Ningún rol tiene acceso EXECUTE de forma predeterminada; conceda GRANT a un rol para permitirle usar el procedimiento.

Funciones pushdown

pg_clickhouse aplica pushdown a un subconjunto de las funciones integradas de PostgreSQL que se usan en condicionales (cláusulas HAVING y WHERE). Ese subconjunto se corresponde con los equivalentes en ClickHouse de la siguiente manera:

Operadores pushdown

Semántica de IN y NULL

ClickHouse evalúa IN con lógica de dos valores: cuando la comprobación no encuentra ninguna coincidencia, devuelve 0 incluso si interviene un NULL, mientras que PostgreSQL calcula NULL. Para preservar la semántica de PostgreSQL, pg_clickhouse hace pushdown de la familia IN sobre una lista o un array constantes (IN, NOT IN, = ANY, = ALL, <> ANY, <> ALL) de forma incondicional: usa la forma nativa o de bajo coste cuando puede demostrar que ni la comprobación ni un elemento del array pueden ser NULL, o bien una forma CASE con protección en caso contrario, que comprueba los valores NULL en tiempo de ejecución y calcula la respuesta exacta de tres valores de PostgreSQL (TRUE, FALSE, NULL) en cualquier contexto, incluidas posiciones de valor como una lista SELECT o GROUP BY. Un filtro NOT IN (SELECT ...) sobre columnas que admiten NULL también hace pushdown, y se desanaliza con protecciones compensatorias que preservan el comportamiento de PostgreSQL: un conjunto que contiene un NULL descalifica todas las filas, y una comprobación NULL solo pasa frente a un conjunto vacío. Cada protección se omite cuando una declaración NOT NULL demuestra que no es necesaria. A diferencia de las formas de array anteriores, esta protección solo se aplica en una condición de filtro simple (o bajo NOT); seguimos sin hacer pushdown de IN (SELECT ...) (en una posición de valor) ni de cuerpos de subconsultas agrupados o agregados. Declarar las columnas como NOT NULL maximiza el pushdown, ya que permite enviar en su lugar la forma sin protección, más económica; IMPORT FOREIGN SCHEMA lo hace automáticamente para las columnas de ClickHouse que no son Nullable. La comprobación sigue las constantes no NULL, las columnas NOT NULL y la aritmética básica (+, -, *, - unario) aplicada a ellas. Estas reglas presuponen el valor predeterminado de ClickHouse transform_null_in = 0, que pg_clickhouse establece en cada consulta mediante el valor predeterminado del parámetro pg_clickhouse.session_settings, para que un perfil del servidor ClickHouse no pueda modificarlo silenciosamente. Establecer transform_null_in = 1 rompe la semántica de todos los IN a los que se les hace pushdown.

Funciones personalizadas

Estas funciones personalizadas creadas por pg_clickhouse permiten el pushdown de consultas externas para ciertas funciones de ClickHouse que no tienen equivalentes en PostgreSQL. Si alguna de estas funciones no puede enviarse mediante pushdown, lanzará una excepción.

Pushdown de extensiones

pg_clickhouse reconoce funciones de ciertas extensiones principales y de terceros y las envía a sus equivalentes en ClickHouse.

re2

Todos los operadores y funciones de la [extensión re2] hacen pushdown 1:1 a ClickHouse:

intarray

Una función de [intarray] hace pushdown a ClickHouse:

fuzzystrmatch

Dos funciones de [fuzzystrmatch] hacen pushdown a ClickHouse:

pgcyrpto

  • digest(text, text) y digest(bytea, text): la función hash de ClickHouse correspondiente cuando el algoritmo es una constante md5, sha1, sha224, sha256, sha384 o sha512 (sin distinguir entre mayúsculas y minúsculas).

Conversiones de tipos con pushdown

pg_clickhouse aplica pushdown a conversiones de tipos como CAST(x AS bigint) para tipos de datos compatibles. En el caso de tipos incompatibles, el pushdown fallará; si x en este ejemplo es un UInt64 de ClickHouse, ClickHouse se negará a convertir el valor. Para aplicar pushdown a conversiones de tipos a tipos de datos incompatibles, pg_clickhouse proporciona las siguientes funciones. Generan una excepción en PostgreSQL si no se aplican con pushdown.

Funciones de agregación con pushdown

Estas funciones de agregación de PostgreSQL admiten pushdown en ClickHouse.

Agregados personalizados

Estas funciones de agregación personalizadas creadas por pg_clickhouse permiten el pushdown de consultas externas para determinadas funciones de agregación de ClickHouse que no tienen equivalentes en PostgreSQL. Si alguna de estas funciones no puede aplicarse mediante pushdown, generará una excepción.

Pushdown de funciones de agregación de conjuntos ordenados

Estas funciones de agregación de conjuntos ordenados se corresponden con las [funciones de agregación paramétricas] de ClickHouse al pasar su argumento directo como parámetro y sus expresiones ORDER BY como argumentos. Por ejemplo, esta consulta de PostgreSQL:
Corresponde a esta consulta de ClickHouse:
Ten en cuenta que los sufijos no predeterminados de ORDER BY, DESC y NULLS FIRST no son compatibles y provocarán un error.

Funciones de agregación de conjuntos ordenados personalizadas

Estas funciones de agregación de conjuntos ordenados personalizadas creadas por pg_clickhouse permiten hacer pushdown de consultas externas para determinadas [funciones de agregación paramétricas] de ClickHouse. Si no se puede hacer pushdown de alguna de estas funciones, se generará una excepción.

Funciones de agregación de conjuntos ordenados personalizadas

Estas funciones de agregación de conjuntos ordenados personalizadas creadas por pg_clickhouse permiten el pushdown de consultas externas para determinadas funciones de [agregación paramétricas] de ClickHouse. Si no se puede hacer pushdown de alguna de estas funciones, se generará una excepción.

Funciones de ventana con pushdown

Estas [funciones de ventana] de PostgreSQL se ejecutan mediante pushdown en ClickHouse con cláusulas OVER (PARTITION BY ... ORDER BY ...), incluidas las especificaciones de marco cuando corresponde. Las funciones de clasificación (row_number, rank, dense_rank, ntile, cume_dist, percent_rank) omiten la cláusula de marco durante el pushdown porque ClickHouse rechaza las especificaciones de marco para estas funciones.

Notas de compatibilidad

Expresiones regulares

Aunque pg_clickhouse aplica pushdown de las expresiones regulares a equivalentes de ClickHouse cuando pg_clickhouse.pushdown_regex es true (el valor predeterminado), y se esfuerza por garantizar un nivel básico de compatibilidad, tenga en cuenta las diferencias entre ambos y cómo las gestiona pg_clickhouse.
  • PostgreSQL admite [expresiones regulares POSIX], mientras que ClickHouse admite [expresiones regulares RE2][RE2]. Tenga cuidado con las diferencias de comportamiento: use RE2 cuando la expresión regular vaya a ser evaluada por ClickHouse (p. ej., en una cláusula WHERE) y POSIX cuando vaya a ser evaluada por Postgres (p. ej., en una cláusula SELECT).
  • pg_clickhouse hace pushdown de los [indicadores de Postgres] al anteponerlos a la expresión regular de ClickHouse dentro de (?). Por ejemplo:
    Pasa a ser
  • Los únicos indicadores que admiten ambos y que, por lo tanto, pueden usarse al ser evaluados por ClickHouse son: RE2 solo admite estos modificadores; no uses otros [modificadores de Postgres].
  • Esta tabla resume los efectos de los distintos modificadores (y de no usar ninguno, que equivale a s) al hacer coincidir saltos de línea y finales de línea. Tenga en cuenta que en Postgres, m y p impiden que las clases de caracteres negadas ([^xyz]) coincidan con un salto de línea, mientras que los equivalentes de ClickHouse no. Por lo demás, el comportamiento es el mismo en ClickHouse que en Postgres:
  • Cualquier otro indicador pasado a las funciones de expresiones regulares impedirá el pushdown de la función.
  • La excepción es regexp_replace(), que también admite el indicador g. Cuando g está activado, pg_clickhouse usa replaceRegexpAll() en lugar de replaceRegexpOne() y elimina el indicador antes de anteponer otros indicadores.
  • El argumento de reemplazo de regexp_replace() de Postgres admite \& para referirse a la coincidencia completa, mientras que en ClickHouse se usa \0 para la coincidencia completa. Asegúrate de usar \0 cuando la función haga pushdown a ClickHouse.
  • Postgres regexp_match devuelve NULL cuando no hay coincidencias, mientras que las expresiones a las que se les hace pushdown devuelven un arreglo vacío. Use COALESCE() para devolver un arreglo vacío en lugar de NULL y así poder comparar los valores devueltos de forma compatible. Por ejemplo:
Para evitar cualquier ambigüedad, considere configurar pg_clickhouse.pushdown_regex para impedir que las expresiones regulares de Postgres se envíen mediante pushdown a ClickHouse, y usar la [extensión re2], para la cual pg_clickhouse admite direct pushdown de expresiones regulares [RE2] compatibles con ClickHouse.

to_char()

PostgreSQL [to_char()] para timestamp y timestamp with time zone solo hace pushdown a ClickHouse [formatDateTime] cuando el argumento de formato es una constante de cadena no NULL en la que todas las palabras clave de PostgreSQL tienen un equivalente idéntico byte por byte en ClickHouse. Si el formato es dinámico o contiene alguna palabra clave o modificador no admitido, la llamada vuelve a evaluarse localmente en PostgreSQL. pg_clickhouse nunca hace pushdown de una traducción parcial, por lo que la salida sigue siendo compatible. Las variantes de to_char() de dos argumentos sobre numeric, interval y otros tipos que no son de marca de tiempo nunca hacen pushdown; ClickHouse [formatDateTime] solo da formato a valores de fecha y hora.

Palabras clave traducidas

Texto y literales entre comillas

El texto entrecomillado con "..." se pasa literalmente, y cualquier % literal se duplica como %% para escapar el prefijo de especificador de ClickHouse. Un \" fuera de las comillas también se pasa como un " literal. Dentro de "...", la barra invertida solo escapa "; las demás secuencias con barra invertida se tratan como texto literal.

Autores

David E. Wheeler Derechos de autor (c) 2025-2026, ClickHouse [Array] https://clickhouse.com/docs/reference/data-types/array “Documentación de ClickHouse: Array(T)” [Map]: https://clickhouse.com/docs/sql-reference/data-types/map “Documentación de ClickHouse: Map” [Tuple]: https://clickhouse.com/docs/reference/data-types/tuple “Documentación de ClickHouse: Tuple(T1, T2, …)” [Nested]: https://clickhouse.com/docs/sql-reference/data-types/nested-data-structures/nested “Documentación de ClickHouse: Nested” [Enum]: https://clickhouse.com/docs/reference/data-types/enum “Documentación de ClickHouse: Enum” [String]: /reference/data-types/string “Documentación de ClickHouse: String” [TEXT]: https://www.postgresql.org/docs/current/datatype-character.html “Documentación de PostgreSQL: Tipos de caracteres” [window functions]: https://www.postgresql.org/docs/current/functions-window.html “Documentación de PostgreSQL: Funciones de ventana” [POSIX Regular Expressions]: https://www.postgresql.org/docs/current/functions-matching.html#FUNCTIONS-POSIX-REGEXP “Documentación de PostgreSQL: Expresiones regulares POSIX” [Postgres flags]: https://www.postgresql.org/docs/current/functions-matching.html#POSIX-EMBEDDED-OPTIONS-TABLE “Documentación de PostgreSQL: Letras de opciones integradas de ARE” [RE2]: https://github.com/google/re2/wiki/Syntax “Sintaxis de RE2” [extensión re2]: https://github.com/ClickHouse/pg&#95;re2 “pg_re2: funciones de expresiones regulares compatibles con ClickHouse que usan RE2” [intarray]: https://www.postgresql.org/docs/current/intarray.html “Documentación de PostgreSQL: intarray” [fuzzystrmatch]: https://www.postgresql.org/docs/current/fuzzystrmatch.html “Documentación de PostgreSQL: fuzzystrmatch” [to_char()]: https://www.postgresql.org/docs/current/functions-formatting.html “Documentación de PostgreSQL: Funciones de formato de tipos de datos” [formatDateTime]: /reference/functions/regular-functions/date-time-functions#formatDateTime “Documentación de ClickHouse: formatDateTime”
Última modificación el 26 de agosto de 2026