Основы Hadoop

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.
null
Курс: EAS-015
Длительность: 24 ч.

Описание

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.


Разбираемые темы

  • Основные концепции Hadoop®;
  • Установка и конфигурирование: локально и в облаке;
  • HDFS: Архитектура, репликация, чтение и запись данных;
  • Команды HDFS;
  • Структура классической MapReduce-программы;
  • Форматы данных для MapReduce;
  • Архитектура YARN;
  • Выполнение работ в классическом MapReduce и в YARN;
  • Распределенный кеш и счетчики;
  • Hadoop Streaming;
  • Экосистема и вендоры Hadoop®;
  • Введение в Pig™;
  • Введение в Hive;
  • Введение в Sqoop;
  • Введение в Flume;
  • Введение в Spark™;
  • Введение в Mahout™.

Цели

  • понимать ключевые концепции и архитектуру Hadoop®;
  • уметь записывать и читать данные в/из HDFS;
  • разрабатывать программы для классического MapReduce и для YARN;
  • работать с данными в HDFS из MapReduce-программ;
  • получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

Целевая аудитория

Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.

Предварительная подготовка

Базовые навыки программирования на Java. Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Москва
Пантелеев Максим Специалист в области управления базами данных (BigData)
Максим имеет более 10 лет опыта разработки и поддержки высоконагруженных систем (поисковые системы, антиспам, системы предиктивной аналитики и сбора данных, криптоаналитика) в качестве разработчика и руководителя группы. Также он является инициатором и организатором трехмесячной программы стажировки для более чем 10 человек. На данный момент в сферу профессиональных интересов входят проекты по обработке больших данных и машинного обучения в Batch- и Streaming-режимах. Евангелист Apache Spark, Flink.

В настоящее время  Максим занимается разработкой и поддержкой системы сбора и анализа телеметрии для одного из крупнейших разработчиков графических ускорителей и процессоров. 
Брейман Александр Специалист в области разработки и архитектуры ПО
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем. 

Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.

В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.

  • Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
  • Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

Профессиональный опыт

2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики. 
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).

Образование

1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
Данный курс запланирован в городах: Москва
27.11.2019 - 29.11.2019
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Пантелеев Максим
Специалист в области управления базами данных (BigData)
37 000 1

27.11.2019

27.01.2020 - 29.01.2020
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Брейман Александр
Специалист в области разработки и архитектуры ПО
37 000 1

27.01.2020 - 29.01.2020

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Москва 37 000 1
Санкт-Петербург 33 300 1
Омск 27 750 1
Киев 7 920 грн.
Одесса 7 100 грн.
Днепр 7 100 грн.
Отзывы:
Участник тренинга
Тренингом очень доволен, качественное погружение в интересующие аудиторию детали, алгоритмы. Тренер активно работает с аудиторией, грамотно и доступно преподносит материал.
Участник тренинга
Знания по теме приведены в порядок. После курса стало понятно, что же все-таки скрывается за громким словом "Hadoop". Однозначно после курса можно сделать вывод о применении Hadoop для решения прикладной задачи.
Участник тренинга
Отличное преподнесение информации, очень подробно и доходчиво. Отдельно порадовала практическая часть, возможность самостоятельно не только ознакомиться, но и "потрогать руками" технологию.
Участник тренинга
Для меня очень полезным было рассмотрение архитектуры технологий, относящихся к Hadoop; понимание плюсов и минусов использования Hadoop, областей применения данных технологий. Очень понравился стиль изложения материала, метод преподавания тренера, эмоциональные ударения, удержание внимания аудитории.
Участник тренинга
Насыщенность курса превысила ожидания. Помимо верхнеуровневой архитектуры удалось познакомиться и с более низкоуровневыми особенностями и подходами к реализации и использованию.
Участник тренинга
Очень хорошее погружение в инструмент. Достаточно глубоко и широко, особенно для первого знакомства. Рекомендую этот тренинг для тех, что хочет начать изучение Hadoop. Отличный старт.
Участник тренинга
Отличный тренинг. Получил общее понимание Hadoop и приложений из его экосистемы. Узнал цели использования, плюсы, минусы и т.п. Основы Spark и его преимущества/недостатки по сравнению с Hadoop. Спасибо!
Участник тренинга
Очень приятные впечатления от курса - от организации до наполнения. Обучение позволило собрать воедино разрозненные обрывки знаний и в дискуссиях с коллегами и тренером - повысить компетенцию.

Рекомендуемые дополнительные материалы, источники:

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоративное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, управлению проектами, тестированию ПО, архитектуре ПО. Luxoft Training – единственный учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.