EGround
Редактор
- Сообщения
- 62.894
- Реакции
- 275
Складчина: Clickhouse для аналитиков и инженеров данных [devhands] [Алексей Белозерский]
Clickhouse для аналитикови инженеров данных
Научитесь эффективно использовать Clickhouse: возможности, архитектурные компромиссы и ограничения.
- Изучить Clickhouse — популярную колоночную СУБД для аналитики данных и разработки приложений и прнять, для каких задач эффективно применять Clickhouse.
- Обрабатывать миллиарды строк за секунды. Выполнять за доли секунды аналитические запросы, которые в PostgreSQL или Spark занимали минуты.
- Познакомиться с внутренней архитектурой одиночных и кластерных инсталляций.
- Разобраться со многими особенностями ClickHouse и с типичными ошибками. Грамотно хранить терабайты аналитических данных с минимальными затратами.
Кому подойдет курс:
- Аналитикам данных
- Инженерам данных
- Архитекторам данных
- Разработчикам
Программа
Встречи: 6 недель (1 встреча в неделю)
Живые лекции с экспертом, Алексеем Белозерским. Ведется запись, ссылка выкладывается в чат. Все встречи начинаются в 18-00 МСК, проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.
Занятие 1. Архитектура Clickhouse
- Какие бывают СУБД. Реляционные и нереляционные, строковые и колоночные, транзакционные и нетразакционные, ACID & BASE
- Особенности Clickhouse. Выбранные при разработке СУБД компромисы.
- CAP теорема и гарантии отказоустойчивости и целостности данных
- Области применения Clickhouse. Как надо и как не надо.
- Строковые и колоночные данные. Отличие Postgres vs Clickhouse
- Архитектура Clickhouse. Шарды и реплики. Zookeeper, Clickhouse keeper.
Практика
- Поднимаем Clickhouse на Ubuntu в простейших случаях, single инсталляция. Подключение к СУБД через clickhouse-client, DBeaver.
- Создаем таблицы — от простого к сложному. Типы данные в Clickhouse, кодеки, движки для single инсталляции
- Подключаемся через SQL Driver (JDBC), по HTTP, через Python. Как устроено подключение к Кликхаусу «под капотом».
- Как отконфигурировать систему, базовые текстовые конфиги. Популярные оптимизации. Лучшие практики для различных ситуаций.
Занятие 2. Данные внутри Clickhouse
- Движок MergeTree, LSN Tree.
- Data Parts. Слияния и мутации данных
- Реальный формат хранения данных на диске под капотом Clickhouse.
- Особенности хранения. Как они влияют на производительность SQL.
- Работа с дисковой подсистемой. Температурная карта хранения на различных типах дисков и работа с S3.
- Вставка данных большими батчами. Лучшие практики.
- Заводим таблицу в Clickhouse — режим эксперта. Какие есть опции и команды
Практика:
- Исследуем data parts на диске и в служебных таблицах Clickhouse. Изучаем оптимизации и слияния данных. Как понять по data parts, что данные успешно принято СУБД.
- Data Parts в файловой системе — как хранятся данные на диске. Какое влияние оказывается на ФС и систему в различных ситуациях и режимах эксплуатации.
- CREATE TABLE — режим эксперта. Продвинутые кодеки и оптимизация хранения. TTL, температурная карта и т.д.
Занятие 3. Использование Clickhouse в приложениях
- Как подключиться к Clickhouse: HTTP, JDBC. Балансировка подключений. Дополнительнеы инструменты для управления подключениями в современных архитектурах приложений.
- Шардирование данных. Локальность. Как приложение узнает, куда ему полючиться в сложной конфигурации кластеров Clickhouse.
- Примеры применения в архитектуре приложений. Кейс встроенной аналитики.
- Работа с большими потоками данных, масштабирование потока. Кейс данных SIEM.
- Кейс сборщика метрик, StatsHouse.
- Back to CAP Theorem. Консистентность данных в Clickhouse. BASE и его особенности. Что нужно понимать разработчку об особенностях СУБД и его поведении в различных ситуациях.
- Мониторинг здоровья Clikhouse. За чем нужно следить в кластере.
Практика: подключаемся к clickhouse из python как пример совместной работы в приложениях
- Балансировка подключений к Clickhouse. Какие настройки и требования к балансировщикам нужно соблюдать, чтобы не совершать ошибок новичка.
- Делаем дашборды здоровья Clickhouse для Single, Cluster архтектур. Алертим о неполадках в кластере.
- Элементы OLTP сценарием — когда все-таки можно?
Занятие 4. Обработка данных в Clickhouse
- Пайплайны в кластере Clickhouse. Еще раз о гаратиях BASE.
- Движки X-MergeTree — что нужно знать.
- Особенности представлений и их материализации в Clickhouse. MV into Table — когда используем.
- Работа с партициями
- Мутации данных. ALTER TABLE Clickhouse-way
- Следим за мутациями
- Clickhouse + Airflow. Clickhouse + DBT. Tips & Tricks.
- Оптимизации — кодеки данных. TTL и тепловая карта, вычислимые поля.
- Встроенные коннекторы: JDBC, S3, Kafka, Iceberg
Практика:
- Используем Airflow + DBT для разработки пайплайнов на базе clickhouse.
- Когда ETL в Clickhouse — плохая идея. Архитектурыне пределы системы, примеры неудачных решений и варианты борьбы с ними («скорая помощь») и обходных путей.
- Кликхаус-специфичные практики для инженеров данных.
- Об оптимизации запросов — практические примеры для обработки больших данных.
- Тюнинг СУБД для работы с большими данными. Уровень кластера, сессии, запроса.
Занятие 5. Аналитика данных в Clickhouse
- Особенности Clickhouse SQL
- Функции и дополнительные аналитические non-ANSI-SQL операторы к Clickhouse. Что полезно знать.
- Траблшутинг и планирование запросов. Что делать если запрос медленные или упал.
- Кластерный и одиночный Clickhouse с точки зрения написания SQL
- Tips & tricks. Что делать, если SQL запрос падает с ошибкой.
Практика
- Используем дополнительные функции clickhouse SQL для аналитики.
- Аналитические кейсы: считаем ретеншн, АБ-тесты
Занятие 6. Резерв для Q&A (сессии вопросов-ответов). Advanced опции
- Clickhouse + Lakehouse, Iceberg REST.
- Фичи Сlickhouse 26.x и другие нововведения
Старт 11 июня
Цена 50000 рублей.
