[SkillFactory] Data Engineering

[Moderator]

Data Engineer — это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.

Программа курса
Введение, практический linux
Кто такой Data Engineer и зачем ему Linux?

Современные хранилища данных
Разнообразие баз данных и их особенности

Экосистема Hadoop
Что такое Hadoop, что он умеет и как им пользоваться

Источники данных и работа с ними
Файлы как источники данных, JDBC — структурированные данные, SQL для выгрузки данных

Apache Spark и обработка данных
Зачем нужен Apache Spark и как с ним работать

Hadoop как хранилище данных
Особенности и нюансы hdfs

Apache Airflow для оркестрации конвейеров
Настройка data pipelines

Обзор облачных хранилищ
Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure