bart
PRO
- Сообщения
- 52.242
- Реакции
- 28.422
Контейнеризация ETL c AWS, TDengine и Grafana
Dockerized ETL With AWS, TDengine & Grafana
learndataengineering
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Продажник:
Скачать:
Dockerized ETL With AWS, TDengine & Grafana
learndataengineering
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Продажник:
Для просмотра вы должны войти или зарегистрироваться.
Скачать:
Скрытое содержимое могут видеть только пользователь группы: PRO
Качать без ограничений Купить доступ к 1 теме
Качать без ограничений Купить доступ к 1 теме
Скрытое содержимое для пользователей: Ferr