Практический проект с использованием Hadoop

Рассматриваются основы Apache Hadoop и методы разработки приложений, обрабатывающих данные на его основе.
Курс: EAS-023
Длительность: 8 ч.

Описание

Рассматриваются основы Apache Hadoop и методы разработки приложений, обрабатывающих данные на его основе.

Участники познакомятся с проектами, составляющими экосистему Hadoop: HDFS, Hive, Spark, Sqoop, Flume, Druid, Kafka. Основное соедержание курса – разработка проекта, включающего загрузку, подготовку и извлечение данных.

Разбираемые темы

1. Data storage and processing provisioning:
  • HDFS Cluster;
  • YARN Cluster;
  • YARN-based Spark Cluster;
  • Druid Cluster;
  • Hive, Metastore, HCatalog;
  • Sqoop;
  • Flume.
2. Data ingestion:
  • Model and create Hive data warehouse;
  • Acquire user accounts data (source: Oracle or other RDBMS): Sqoop;
  • Continuously acquire user activity streams (sources: log files in CSV, Kafka topics): Flume.
3. Data cleaning and transformation:
  • Develop ETL in Hive;
  • Develop ETL in Spark SQL.
4. Alerting: Develop near-real time outlier detection in Spark Streaming.
5. Analytics: Discover user segmentation model using Spark ML.
6. Real-time analytics: Design Druid-based OLAP cube for pre-defined reports.
7. Data storage and processing provisioning:
  • HDFS Cluster;
  • YARN Cluster;
  • YARN-based Spark Cluster;
  • Druid Cluster;
  • Hive, Metastore, HCatalog;
  • Sqoop;
  • Flume.
8. Data ingestion: 
  • Model and create Hive data warehouse;
  • Acquire user accounts data (source: Oracle or other RDBMS): Sqoop;
  • Continuously acquire user activity streams (sources: log files in CSV, Kafka topics): Flume.
9. Data cleaning and transformation:
  • Develop ETL in Hive;
  • Develop ETL in Spark SQL.
10. Alerting: Develop near-real time outlier detection in Spark Streaming.
11. Analytics: Discover user segmentation model using Spark ML.
12. Real-time analytics: Design Druid-based OLAP cube for pre-defined reports.

Цели

  • понимать ключевые концепции и архитектуру Hadoop;
  • получить представление об экосистеме, сложившейся вокруг Hadoop, и ее ключевых компонентах;
  • уметь записывать и читать данные в/из HDFS, готовить файлы данных в HDFS для использования в SQL-запросах;
  • уметь использовать Hive и  Spark  SQL для SQL-запросов
  • уметь использовать Sqoop и Flume для загрузки данных.

Целевая аудитория

Разработчики, архитекторы, разработчики баз данных.

Предварительная подготовка

  • Базовые навыки программирования на Java.
  • Умение работать в командной оболочке Unix/Linux (bash).
  • Опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Онлайн
Брейман Александр Специалист в области разработки и архитектуры ПО
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем. 

Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.

В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.

  • Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
  • Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

Профессиональный опыт

2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики. 
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).

Образование

1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
-10% ФИЗИЧЕСКИМ ЛИЦАМ
Данный курс запланирован в городах: Онлайн
06.11.2018 - 18.12.2018
Время: 10:00-12:00
Локация: Онлайн
Длительность: 8 ч.
Тренер
Брейман Александр
Специалист в области разработки и архитектуры ПО

06.11.2018

06.11.2018 - 18.12.2018
Время: 10:00-12:00
Локация: Онлайн
Длительность: 8 ч.
Тренер
Брейман Александр
Специалист в области разработки и архитектуры ПО
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Онлайн 11 8001

Примечание:

Материалы курса представлены на английском языке.

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоративное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
По запросу на education@luxoft.com мы ответим на любые дополнительные вопросы касательно обучения в нашем Luxoft Training.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.