learndataengineering - список тем на EGround

Azure Data Pipelines с Terraform Azure Data Pipelines with Terraform learndataengineering Azure становится всё более популярной платформой для компаний, использующих экосистему Microsoft365. Если вы хотите прокачать свои навыки инженера данных, то умение работать с Azure и автоматизировать...

Контейнеризация ETL c AWS, TDengine и Grafana Dockerized ETL With AWS, TDengine & Grafana learndataengineering Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить...

Инженерия данных с Hadoop Data Engineering with Hadoop learndataengineering Big Data - это не просто модное слово, а реальное явление. Каждый день компании по всему миру собирают и обрабатывают огромные объёмы данных на высокой скорости. Эти данные часто неструктурированы и несогласованы, что...

Contact Tracing с использованием Elasticsearch Contact Tracing with Elasticsearch learndataengineering В этом увлекательном инженерном проекте вы научитесь отслеживать перемещения пользователей по их сканированиям с телефона. Цель проекта - использовать Elasticsearch как поисковую систему для...

Работа с данными временных рядов: хранение и визуализация Storing & Visualizing Time Series Data learndataengineering Обработка, хранение и визуализация данных временных рядов становится всё более важной задачей. От данных IoT и системных журналов до статистики производственных процессов -...

Современные хранилища данных и Data Lakes Modern Data Warehouses & Data Lakes learndataengineering В роли инженера данных вы будете регулярно работать с аналитическими платформами, где компании хранят данные в Data Lakes и Data Warehouses для построения визуализаций и создания моделей...

Инженерия данных на GCP Data Engineering on GCP learndataengineering Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно...

Инженерия данных на Azure Data Engineering on Azure learndataengineering Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с...

Инженерия данных на AWS Data Engineering on AWS learndataengineering Этот курс - идеальный старт для тех, кто хочет освоить облачные технологии и начать работать с Amazon Web Services (AWS), одной из самых популярных платформ для обработки данных. Курс особенно полезен для начинающих...

Стриминг с Kafka и Spark Streaming with Kafka & Spark learndataengineering Этот курс - полноценный проект с полным циклом обработки данных в реальном времени. Вы будете работать с данными интернет-магазина, включающими счета-фактуры для клиентов и товары из этих счетов. Цель курса - настроить...

dbt для инженеров данных dbt for Data Engineers learndataengineering dbt (data build tool) - это инструмент трансформации данных с приоритетом SQL. Он позволяет просто и прозрачно преобразовывать, тестировать и документировать данные прямо внутри хранилища. Благодаря dbt, команды могут...

Snowflake для инженеров данных Snowflake for Data Engineers learndataengineering Snowflake - это облачное хранилище данных нового поколения, о котором сегодня говорят все. Платформа на 100% работает в облаке, обеспечивает гибкий доступ к данным, масштабируется по требованию и позволяет...

Анализ логов с помощью Elasticsearch Log Analysis with Elasticsearch learndataengineering Для дата-инженера одна из главных задач - следить за тем, как работают пайплайны, и вовремя выявлять ошибки. Когда что-то идёт не так, поиск причины часто превращается в утомительный ручной просмотр...

MongoDB для начинающих MongoDB Fundamentals learndataengineering Документоориентированные базы данных стремительно набирают популярность среди NoSQL-решений. Работа с JSON-документами в MongoDB - это удобно, гибко и интуитивно понятно. В этом курсе вы научитесь проектировать документы...

Машинное обучение и контейнеры на AWS Machine Learning & Containers on AWS learndataengineering В этом практическом курсе вы научитесь строить полный пайплайн данных на платформе AWS - от получения данных из Twitter API до анализа, хранения и визуализации. Вы создадите собственный алгоритм...

Инженерия данных с использованием Databricks Data Engineering on Databricks learndataengineering Databricks - одна из самых популярных платформ для обработки данных с использованием Apache Spark и создания современных хранилищ данных (Lakehouse). В этом курсе вы изучите всё, что нужно для...

Изучаем Apache Spark Learning Apache Spark learndataengineering После построения пайплайнов данных, обработка данных - одна из важнейших задач в Data Engineering. Как инженер по данным, вы постоянно сталкиваетесь с необходимостью обработки, и критично уметь настраивать мощную и распределённую...

Многомерное моделирование данных Dimensional Data Modeling learndataengineering В современном мире, где данные играют ключевую роль, эффективная организация информации - основа для качественной аналитики и построения отчётов. Многомерное моделирование данных - это важный подход, позволяющий...

Реляционное моделирование данных Relational Data Modeling learndataengineering Реляционное моделирование широко применяется при построении транзакционных баз данных. Возможно, вы скажете: «Но я не собираюсь становиться backend-инженером». Однако знание не только того, как перемещать данные...

Проектирование схем хранилищ данных Schema Design Data Stores learndataengineering Во время моих коучинг-сессий снова и снова всплывает одна важная тема - проектирование схем. Поэтому я решил создать отдельный курс в академии, чтобы подробнее объяснить, как разрабатывать схемы данных для...