Самоуправляемый мониторинг

Руководство по мониторингу самоуправляемого развертывания

Это руководство предоставляет корпоративным командам, оценивающим ClickHouse с открытым исходным кодом, исчерпывающую информацию о возможностях мониторинга и обсервабилити для развертываний в продакшне. Корпоративные заказчики часто спрашивают о встроенных возможностях мониторинга, интеграции с существующими стеками обсервабилити, включая такие инструменты, как Datadog и AWS CloudWatch, а также о том, как мониторинг ClickHouse соотносится с самоуправляемыми развертываниями.

​

Архитектура интеграции на базе Prometheus

ClickHouse предоставляет совместимые с Prometheus метрики через разные конечные точки в зависимости от варианта развертывания, и каждая из них имеет свои операционные особенности:

Самоуправляемый/OSS ClickHouse

Прямая конечная точка Prometheus, доступная через стандартный путь /metrics на сервере ClickHouse. Этот подход обеспечивает:

• Полное раскрытие метрик: весь набор доступных метрик ClickHouse без встроенной фильтрации
• Метрики в реальном времени: генерируются напрямую из системных таблиц во время опроса

Прямой доступ к системе

Выполняются запросы к системным таблицам в продакшн-среде, что создает дополнительную нагрузку со стороны мониторинга и не позволяет использовать экономящие ресурсы бездействующие состояния

​

Примеры интеграции

Внешняя интеграция позволяет организациям сохранять устоявшиеся процессы мониторинга, использовать накопленную в командах экспертизу работы со знакомыми инструментами и встраивать мониторинг ClickHouse в более широкий контур обсервабилити инфраструктуры без нарушения текущих процессов и без необходимости значительных вложений в переобучение. Команды могут применять существующие правила оповещений и процедуры эскалации к метрикам ClickHouse, одновременно сопоставляя производительность базы данных с состоянием приложений и инфраструктуры в рамках единой платформы обсервабилити. Такой подход помогает максимально повысить отдачу от текущих систем мониторинга и ускоряет устранение неполадок за счет консолидированных панелей мониторинга и привычных интерфейсов инструментов.

​

Мониторинг в Grafana Cloud

Grafana поддерживает мониторинг ClickHouse как через прямую интеграцию с плагином, так и с помощью подходов на основе Prometheus. Интеграция через конечную точку Prometheus позволяет сохранять операционное разделение между мониторингом и производственными рабочими нагрузками, а также визуализировать данные в существующей инфраструктуре Grafana Cloud. Рекомендации по настройке см. в документации Grafana по ClickHouse.

​

Мониторинг Datadog

Datadog разрабатывает специальную API-интеграцию, которая обеспечит корректный мониторинг облачного сервиса с учетом перехода сервиса в режим простоя. Пока она не готова, команды могут использовать подход с интеграцией OpenMetrics через конечные точки Prometheus ClickHouse, чтобы разграничить эксплуатационные задачи и снизить затраты на мониторинг. Рекомендации по настройке см. в документации Datadog по интеграции Prometheus и OpenMetrics.

​

ClickStack

ClickStack — рекомендуемое решение ClickHouse для обсервабилити, предназначенное для глубокого анализа системы и отладки. Оно предоставляет единую платформу для журналов, метрик и трассировок, где ClickHouse выступает в качестве движка хранения. Этот подход основан на HyperDX — интерфейсе ClickStack, который напрямую подключается к системным таблицам внутри вашего экземпляра ClickHouse. В HyperDX есть панель мониторинга, ориентированная на ClickHouse, со вкладками Selects, Inserts и Infrastructure. Команды также могут использовать синтаксис Lucene или SQL для поиска по системным таблицам и журналам, а также создавать собственные визуализации через Chart Explorer для детального анализа системы. Этот подход лучше всего подходит для отладки сложных проблем, анализа производительности и глубокого изучения внутреннего состояния системы, а не для оповещений в production в реальном времени.

Обратите внимание: при таком подходе будут активироваться бездействующие сервисы, поскольку HyperDX напрямую выполняет запросы к системным таблицам.

​

Варианты развертывания ClickStack

• Helm: Рекомендуется для отладочных сред на базе Kubernetes. Позволяет задавать конфигурацию для конкретной среды, ограничения ресурсов и масштабирование через values.yaml.
• Docker Compose: Развертывает каждый компонент (ClickHouse, HyperDX, OTel collector, MongoDB) по отдельности.
• HyperDX Only: Автономный контейнер HyperDX.

Полный перечень вариантов развертывания и подробности об архитектуре см. в документации ClickStack и руководстве по ингестии данных.

​

Прямая интеграция с плагином Grafana

Плагин источника данных ClickHouse для Grafana позволяет визуализировать и исследовать данные напрямую из ClickHouse с использованием системных таблиц. Этот подход хорошо подходит для мониторинга производительности и создания пользовательских дашбордов для детального анализа системы. Подробные сведения об установке и настройке плагина см. в плагине источника данных ClickHouse. Полное решение для мониторинга с использованием набора Prometheus-Grafana mix-in с преднастроенными дашбордами и правилами оповещений описано в статье Monitor ClickHouse with the new Prometheus-Grafana mix-in.

​

Прямая интеграция с Datadog

Datadog предлагает для своего агента плагин ClickHouse Monitoring, который напрямую запрашивает системные таблицы. Эта интеграция обеспечивает комплексный мониторинг базы данных с учетом особенностей кластера благодаря функции clusterAllReplicas.

Эта интеграция не рекомендуется для развертываний ClickHouse Cloud из-за несовместимости с механизмом бездействия, используемым для оптимизации затрат, а также из-за эксплуатационных ограничений облачного прокси-слоя.

​

Непосредственное использование системных таблиц

Вы можете выполнять углубленный анализ производительности запросов, обращаясь напрямую к системным таблицам ClickHouse, в частности к system.query_log. Используя SQL-консоль или клиент ClickHouse, команды могут выявлять медленные запросы, анализировать использование ресурсов и отслеживать закономерности использования в масштабах всей организации.

Анализ производительности запросов

Для анализа производительности запросов можно использовать журнал запросов из системной таблицы.

Пример запроса: найдите 5 самых долгих запросов среди всех реплик кластера:

SELECT
    type,
    event_time, 
    query_duration_ms,
    query,
    read_rows,
    tables
FROM clusterAllReplicas(default, system.query_log)
WHERE event_time >= (now() - toIntervalMinute(60)) AND type='QueryFinish'
ORDER BY query_duration_ms DESC
LIMIT 5
FORMAT VERTICAL

​

Решения сообщества для мониторинга

Сообщество ClickHouse разработало комплексные решения для мониторинга, интегрируемые с популярными стеками обсервабилити. ClickHouse Monitoring предоставляет полноценное решение для мониторинга с преднастроенными дашбордами. Этот проект с открытым исходным кодом предлагает быстрый старт для команд, которые хотят внедрить мониторинг ClickHouse, опираясь на устоявшиеся лучшие практики и проверенные конфигурации дашбордов.

Как и другие подходы к прямому мониторингу базы данных, это решение выполняет запросы напрямую к системным таблицам ClickHouse, из-за чего инстансы не могут переходить в состояние простоя, что негативно сказывается на оптимизации затрат.