Хранилище данных

Создавайте современные архитектуры хранилищ данных, сочетая гибкость озер данных с производительностью ClickHouse Cloud

Современное хранилище данных больше не предполагает жёсткой связки между хранилищем и вычислительными ресурсами. Вместо этого отдельные, но взаимосвязанные слои хранения, управления и обработки запросов дают вам гибкость в выборе подходящих инструментов для ваших рабочих процессов.

Добавив открытые табличные форматы и высокопроизводительный движок запросов, такой как ClickHouse, к облачному объектному хранилищу, вы получаете возможности уровня базы данных — ACID-транзакции, соблюдение схемы и быстрые аналитические запросы — без ущерба для открытости вашего озера данных. Такое сочетание объединяет высокую производительность с совместимым и экономичным хранилищем, поддерживая как традиционную аналитику, так и современные рабочие нагрузки AI/ML.

​

Что даёт эта архитектура

Объединив открытое объектное хранилище и форматы таблиц с ClickHouse в качестве движка для выполнения запросов, вы получаете:

Преимущество	Описание
Согласованные обновления таблиц	Атомарные коммиты состояния таблицы означают, что параллельные записи не приводят к повреждению данных и не оставляют их в частичном состоянии. Это решает одну из самых серьёзных проблем необработанных озёр данных.
Управление схемой	Обязательная валидация и отслеживание изменений схемы предотвращают проблему «болота данных», когда данные становятся непригодными к использованию из-за несогласованности схем.
Производительность запросов	Индексирование, статистика и оптимизация структуры данных — например, пропуск данных и кластеризация — позволяют SQL-запросам выполняться со скоростью, сопоставимой со специализированным хранилищем данных. В сочетании со столбцовым движком ClickHouse это справедливо даже для данных, хранящихся в объектном хранилище.
Управление данными	Каталоги и форматы таблиц обеспечивают детализированное управление доступом и аудит на уровне строк и столбцов, компенсируя ограниченные возможности безопасности в обычных озёрах данных.
Разделение хранилища и вычислительных ресурсов	Хранилище и вычислительные ресурсы масштабируются независимо в стандартном объектном хранилище, которое значительно дешевле проприетарного хранилища данных. Хотя такое разделение стало стандартом для современных облачных хранилищ данных, открытые форматы позволяют выбрать, какой именно вычислительный движок будет масштабироваться вместе с вашими данными.

​

Как ClickHouse обеспечивает работу вашего хранилища данных

Данные поступают из стриминговых платформ и существующих хранилищ данных через объектное хранилище в ClickHouse, где они преобразуются, оптимизируются и становятся доступны вашим BI/AI-инструментам.

​

Гибридная архитектура: лучшее из двух миров

Помимо запросов к озеру данных, вы можете направлять критичные к производительности данные в нативное хранилище ClickHouse MergeTree для сценариев, где требуется минимальная задержка — панели мониторинга в реальном времени, операционная аналитика или интерактивные приложения.

Это даёт вам многоуровневую стратегию хранения данных. Горячие, часто используемые данные находятся в оптимизированном хранилище ClickHouse, обеспечивая время отклика запросов менее секунды, а полная история данных остаётся в озере и по-прежнему доступна для запросов. Вы также можете использовать materialized view в ClickHouse, чтобы непрерывно преобразовывать и агрегировать данные из озера в оптимизированные таблицы, автоматически связывая эти два уровня.

Вы сами выбираете, где будут храниться данные, исходя из требований к производительности, а не из технических ограничений.

ClickHouse Academy

Пройдите бесплатный курс хранилище данных with ClickHouse, чтобы узнать больше.