Практический проект с использованием Hadoop

Курс: EAS-023
Длительность: 8 ч.

Описание

Рассматриваются основы Apache Hadoop и методы разработки приложений, обрабатывающих данные на его основе.

Участники познакомятся с проектами, составляющими экосистему Hadoop: HDFS, Hive, Spark, Sqoop, Flume, Druid, Kafka. Основное соедержание курса – разработка проекта, включающего загрузку, подготовку и извлечение данных.

Разбираемые темы

1. Data storage and processing provisioning:

HDFS Cluster;
YARN Cluster;
YARN-based Spark Cluster;
Druid Cluster;
Hive, Metastore, HCatalog;
Sqoop;
Flume.

2. Data ingestion:

Model and create Hive data warehouse;
Acquire user accounts data (source: Oracle or other RDBMS): Sqoop;
Continuously acquire user activity streams (sources: log files in CSV, Kafka topics): Flume.

3. Data cleaning and transformation:

Develop ETL in Hive;
Develop ETL in Spark SQL.

4. Alerting: Develop near-real time outlier detection in Spark Streaming.
5. Analytics: Discover user segmentation model using Spark ML.
6. Real-time analytics: Design Druid-based OLAP cube for pre-defined reports.
7. Data storage and processing provisioning:

HDFS Cluster;
YARN Cluster;
YARN-based Spark Cluster;
Druid Cluster;
Hive, Metastore, HCatalog;
Sqoop;
Flume.

8. Data ingestion:

Model and create Hive data warehouse;
Acquire user accounts data (source: Oracle or other RDBMS): Sqoop;
Continuously acquire user activity streams (sources: log files in CSV, Kafka topics): Flume.

9. Data cleaning and transformation:

Develop ETL in Hive;
Develop ETL in Spark SQL.

10. Alerting: Develop near-real time outlier detection in Spark Streaming.
11. Analytics: Discover user segmentation model using Spark ML.
12. Real-time analytics: Design Druid-based OLAP cube for pre-defined reports.

Цели

понимать ключевые концепции и архитектуру Hadoop;
получить представление об экосистеме, сложившейся вокруг Hadoop, и ее ключевых компонентах;
уметь записывать и читать данные в/из HDFS, готовить файлы данных в HDFS для использования в SQL-запросах;
уметь использовать Hive и Spark SQL для SQL-запросов
уметь использовать Sqoop и Flume для загрузки данных.

Целевая аудитория

Разработчики, архитекторы, разработчики баз данных.

Предварительная подготовка

Базовые навыки программирования на Java.
Умение работать в командной оболочке Unix/Linux (bash).
Опыт работы с базами данных желателен, но не обязателен.

После окончания курса выдаётся сертификат на бланке Luxoft Training

Тренер в Онлайн

Брейман Александр Специалист в области разработки и архитектуры ПО

Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем.

Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.

В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.

Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

Профессиональный опыт

2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики.
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).

Образование

1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).

Развернуть

Примечание:

Материалы курса представлены на английском языке.

Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, управлению проектами, тестированию ПО, архитектуре ПО. Luxoft Training – единственный учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.