- Регистрация
- 24.09.2021
- Сообщения
- 38 362
Упоминание Data Engineer как профессии выросло на 88% за 2 года Средний уровень окладов — 180 000Р/месяц Программа курса: 1. Введение • Профессия Data Engineer • Обзор задач, которые решает Data Engineer • Обзор инструментов • Будущее Data Engineering 2. Хранилища данных • Реляционные базы данных и основы SQL • Data Warehouse (DWH) и его эволюция • Data Lake • Data Lineage, Data Governance 3. Экосистема Hadoop • Обзор Hadoop • Погружение в HDFS • Map Reduce и его альтернативы • Погружение в Yarn и Hive • Apache Spark • Обзор Zookeeper, Sqoop, Impala, Hue, HBase 4. Python • Введение в программирование на Python • Основы синтаксиса • Практика программирования 5. Пайплайны данных • Что такое ETL-процессы? • Apache Airflow • NiFi и Kafka • Работа со слабо структурированными данными • Загрузка данных из web • noSQL хранилища (MongoDB, Cassandra) • Cхемы данных (снежика, датасет, датаволт) 6. Cloud-платформы • Работа с Amazon, Google, Microsoft, Yandex • Практика с aws-cli, boto3, Google Composer • Сравнение производительности 
|
