system.tokenizers

Tabela do sistema que mostra todos os tokenizadores disponíveis.

Consultas no ClickHouse Cloud

Os dados nesta tabela de sistema são mantidos localmente em cada nó do ClickHouse Cloud. Portanto, para obter uma visão completa de todos os dados, é necessário usar a função clusterAllReplicas. Consulte aqui para mais detalhes.

​

Descrição

Exibe todos os tokenizadores disponíveis. Eles podem ser usados nas funções tokens, hasAllTokens, hasAnyTokens e no índice de texto.

​

Colunas

• name (String) — Nome do tokenizador

​

Exemplo

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
└─────────────────┘