クラウドオブジェクトストレージから ClickHouse Cloud にデータを移行する

クラウドオブジェクトストレージをデータレイクとして利用していて、このデータを ClickHouse Cloud にインポートしたい場合、または現在のデータベースシステムからデータをクラウドオブジェクトストレージに直接オフロードできる場合は、次のいずれかのテーブル関数を使って、クラウドオブジェクトストレージに保存されているデータを ClickHouse Cloud のテーブルへ移行できます。

現在のデータベースシステムからデータをクラウドオブジェクトストレージに直接オフロードできない場合は、サードパーティの ETL/ELT ツールまたは clickhouse-local を使用して、現在のデータベースシステムからクラウドオブジェクトストレージへデータを移動し、次のステップでそのデータを ClickHouse Cloud のテーブルに移行できます。これは 2 段階のプロセスですが (まずデータをクラウドオブジェクトストレージにオフロードし、その後 ClickHouse にロードする) 、 ClickHouse Cloud はクラウドオブジェクトストレージからの高並列な読み取りを強力にサポートしているため、PB 規模までスケールします。さらに、Parquet のような高機能かつ圧縮可能なフォーマットも活用できます。 S3 を使用して ClickHouse Cloud にデータを取り込む方法を、具体的なコード例とともに紹介したブログ記事もあります。