Основы Hadoop

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.
Курс: EAS-015
Длительность: 24 ч.

Описание

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.


Разбираемые темы

  • Основные концепции Hadoop®;
  • Установка и конфигурирование: локально и в облаке;
  • HDFS: Архитектура, репликация, чтение и запись данных;
  • Команды HDFS;
  • Структура классической MapReduce-программы;
  • Форматы данных для MapReduce;
  • Архитектура YARN;
  • Выполнение работ в классическом MapReduce и в YARN;
  • Распределенный кеш и счетчики;
  • Hadoop Streaming;
  • Экосистема и вендоры Hadoop®;
  • Введение в Pig™;
  • Введение в Hive;
  • Введение в Sqoop;
  • Введение в Flume;
  • Введение в Spark™;
  • Введение в Mahout™.

Цели

  • понимать ключевые концепции и архитектуру Hadoop®;
  • уметь записывать и читать данные в/из HDFS;
  • разрабатывать программы для классического MapReduce и для YARN;
  • работать с данными в HDFS из MapReduce-программ;
  • получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

Целевая аудитория

Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.

Предварительная подготовка

Базовые навыки программирования на Java. Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Москва
Смирнов Денис Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
Денис - выпускник магистерской программы двойного диплома по Data Science Факультета Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ) и французского университета Клермон Овернь. Также Денис окончил бакалавриат ФКН НИУ ВШЭ по направлению "Программная инженерия".  

Денис имеет более пяти лет опыта разработки ПО и руководства командами программистов. Занимал позиции Главного Инженера в центре компетенций по Big Data в Сбербанк-Технологии и тимлида в практике интеграционных решений в AT Consulting. В настоящее время является аспирантом на Факультете Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ), а также работает в международном банке, где занимается разработкой аналитической платформы.

В течение пяти последних лет Денис работает учебным ассистентом на курсе «Базы данных» для студентов бакалавриата на Факультете Компьютерных Наук Высшей Школы Экономики.
Брейман Александр Специалист в области разработки и архитектуры ПО
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем. 

Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.

В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.

  • Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
  • Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

Профессиональный опыт

2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики. 
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).

Образование

1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
Данный курс запланирован в городах: Москва
17.08.2020 - 19.08.2020
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Смирнов Денис
Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
37 000 1

17.08.2020 - 19.08.2020

07.12.2020 - 09.12.2020
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Брейман Александр
Специалист в области разработки и архитектуры ПО
37 000 1

07.12.2020 - 09.12.2020

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Москва 37 000 1
Санкт-Петербург 33 300 1
Омск 27 750 1
Киев 7 920 грн.
Одесса 7 100 грн.
Днепр 7 100 грн.
Отзывы:
Участник тренинга
Отличное преподнесение информации, очень подробно и доходчиво. Отдельно порадовала практическая часть, возможность самостоятельно не только ознакомиться, но и "потрогать руками" технологию.
Участник тренинга
Отличный курс: комплексный подход к изложению: доступно, понятно, кратко, с примерами. Общий обзор продуктов, интересные реальные примеры. Особенно описание внутреннего устройства hdfs, Vanilla Hadoop, Apache Spark.
Участник тренинга
Очень хорошее погружение в инструмент. Достаточно глубоко и широко, особенно для первого знакомства. Рекомендую этот тренинг для тех, что хочет начать изучение Hadoop. Отличный старт.
Участник тренинга
Для меня очень полезным было рассмотрение архитектуры технологий, относящихся к Hadoop; понимание плюсов и минусов использования Hadoop, областей применения данных технологий. Очень понравился стиль изложения материала, метод преподавания тренера, эмоциональные ударения, удержание внимания аудитории.
Участник тренинга
Насыщенность курса превысила ожидания. Помимо верхнеуровневой архитектуры удалось познакомиться и с более низкоуровневыми особенностями и подходами к реализации и использованию.
Участник тренинга
Очень приятные впечатления от курса - от организации до наполнения. Обучение позволило собрать воедино разрозненные обрывки знаний и в дискуссиях с коллегами и тренером - повысить компетенцию.
Участник тренинга
Тренингом очень доволен, качественное погружение в интересующие аудиторию детали, алгоритмы. Тренер активно работает с аудиторией, грамотно и доступно преподносит материал.
Участник тренинга
Знания по теме приведены в порядок. После курса стало понятно, что же все-таки скрывается за громким словом "Hadoop". Однозначно после курса можно сделать вывод о применении Hadoop для решения прикладной задачи.

Рекомендуемые дополнительные материалы, источники:

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоративное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, управлению проектами, тестированию ПО, архитектуре ПО. Luxoft Training – единственный учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.