iceberg_delete_data_on_drop
Define se todos os arquivos do Iceberg devem ser excluídos ao executar drop.iceberg_file_entries_queue_size
Capacidade da fila entre as tarefas de decodificação do manifest de dados do Iceberg e a consulta, em entradas de arquivos de dados. As tarefas de decodificação são pausadas quando a fila fica cheia e a consulta não está consumindo, o que também limita a leitura antecipada. Deve ser maior que zero.iceberg_manifest_decode_concurrency
Aliases:iceberg_delete_manifest_decode_concurrency
Número máximo de arquivos de manifesto do Iceberg decodificados de forma concorrente durante a leitura de uma table.
Todos os manifests de exclusão são decodificados antes que qualquer arquivo de dados seja lido; os manifests de dados são decodificados enquanto a lista de arquivos de dados da consulta é produzida, e novos só são decodificados à medida que a consulta consome as entries já decodificadas. Decodificar vários manifests ao mesmo tempo sobrepõe os round-trips ao armazenamento de objetos ao trabalho de pruning por entry.
Valores mais altos elevam o pico de memória quando o cache de Iceberg metadata files está desabilitado ou cheio, já que cada manifest in-flight passa a manter seu próprio conteúdo decodificado.
Deve ser maior que zero; 1 decodifica os manifests um de cada vez.
iceberg_manifest_min_count_to_compact
Número mínimo de arquivos de manifesto necessário para acionar a compactação apenas de manifestos via OPTIMIZE TABLE … MANIFEST. Se o número atual de arquivos de manifesto for menor ou igual a esse limite, a compactação será ignorada. Exige queallow_experimental_iceberg_compaction esteja habilitado.
O padrão espelha o padrão documentado da propriedade de tabela Iceberg commit.manifest.min-count-to-merge (100),
consulte https://iceberg.apache.org/docs/1.5.2/configuration/.
iceberg_max_number_datafiles_to_compact
Limite de arquivos de dados de compactação no Iceberg.iceberg_orphan_files_older_than_seconds
Limite padrão de tempo, em segundos, para a remoção de arquivos órfãos em tabelas Iceberg. Arquivos mais recentes do que esse limite não são considerados órfãos. Usado quando o argumento older_than é omitido da chamada do procedimento remove_orphan_files(). O padrão é 259200 (3 dias).iceberg_snapshot_id
Consulte a tabela Iceberg usando o ID do snapshot especificado.iceberg_timestamp_ms
Consulte a tabela Iceberg usando o snapshot que estava vigente em um timestamp específico.iceberg_tolerate_conflicting_manifest_schemas
Se habilitado e a chaveschema do cabeçalho de um arquivo de manifesto do Iceberg contiver um schema diferente do já registrado para o mesmo schema-id no metadata.json, o schema do metadata.json é utilizado e a cópia presente no cabeçalho do manifest é ignorada, com a emissão de um aviso. Se desabilitado, esse conflito faz a consulta falhar com um erro ICEBERG_SPECIFICATION_VIOLATION.
O schema do cabeçalho do manifest é apenas uma cópia do schema da tabela no momento em que o manifest foi gravado, e já se observou que alguns writers (por exemplo, jobs de manutenção do AWS S3 Tables) armazenam cópias degradadas ali. Outras engines de consulta resolvem os schemas a partir do metadata.json e ignoram cópias divergentes no cabeçalho, e o padrão segue essa mesma abordagem. Um conflito entre duas definições de schema do metadata.json continua sempre fazendo a consulta falhar.