Основы Hadoop

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные, на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.
Курс: EAS-015
Длительность: 24 ч.

Описание

Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные, на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.


Разбираемые темы

  • Основные концепции Hadoop®;
  • Установка и конфигурирование: локально и в облаке;
  • HDFS: Архитектура, репликация, чтение и запись данных;
  • Команды HDFS;
  • Структура классической MapReduce-программы;
  • Форматы данных для MapReduce;
  • Архитектура YARN;
  • Выполнение работ в классическом MapReduce и в YARN;
  • Распределенный кеш и счетчики;
  • Hadoop Streaming;
  • Экосистема и вендоры Hadoop®;
  • Введение в Pig™;
  • Введение в Hive;
  • Введение в Sqoop;
  • Введение в Flume;
  • Введение в Spark™;
  • Введение в Mahout™.

Цели

  • понимать ключевые концепции и архитектуру Hadoop®;
  • уметь записывать и читать данные в/из HDFS;
  • разрабатывать программы для классического MapReduce и для YARN;
  • работать с данными в HDFS из MapReduce-программ;
  • получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.

Целевая аудитория

Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.

Предварительная подготовка

Базовые навыки программирования на Java. Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Шевченко Андрей Специалист в области разработки ПО (Java)
Андрей занимается разработкой коммерческого ПО с 2010 г. (4 года на Java, включая разработку крупных портальных решений и систем мониторинга с использованием NoSQL-решений).

Продолжительное время работал старшим архитектором в одном из крупнейших банков, где занимался построением архитектуры отказоустойчивого и высокопроизводительного ядра единой банковской фронтальной системы, интеграцией с поставщиками данных, обеспечением технологического развития проекта и решением широкого круга задач от анализа исходных требований до внедрения компонентов системы в промышленную эксплуатацию. В настоящее время занимает должность ведущего архитектора в компании Luxoft.

Постоянно принимает участие в крупнейших российских конференциях по созданию высоконагруженных приложений и собраниях Java-разработчиков.

В свободное время занимается самообразованием в профессиональной сфере, интересуется вопросами создания корпоративной архитектуры и облачными вычислениями.
Шевченко Андрей Специалист в области разработки ПО (Java)
Андрей занимается разработкой коммерческого ПО с 2010 г. (4 года на Java, включая разработку крупных портальных решений и систем мониторинга с использованием NoSQL-решений).

Продолжительное время работал старшим архитектором в одном из крупнейших банков, где занимался построением архитектуры отказоустойчивого и высокопроизводительного ядра единой банковской фронтальной системы, интеграцией с поставщиками данных, обеспечением технологического развития проекта и решением широкого круга задач от анализа исходных требований до внедрения компонентов системы в промышленную эксплуатацию. В настоящее время занимает должность ведущего архитектора в компании Luxoft.

Постоянно принимает участие в крупнейших российских конференциях по созданию высоконагруженных приложений и собраниях Java-разработчиков.

В свободное время занимается самообразованием в профессиональной сфере, интересуется вопросами создания корпоративной архитектуры и облачными вычислениями.
Слободянюк Владимир Специалист в области хранилищ данных и интеграционных проектов
Владимир свою карьеру в сфере IT начал в 1993 г. В области архитектуры и проектирования работает с 2003 г. 
Обладает экспертизой практического использования различных case-средств и ETL-инструментов, имеет опыт внедрения и адаптации индустриальных моделей. 

В Luxoft работает с 2009 г., является руководителем Informatica и ETL Center of Excellence. За время работы в компании принимал участие в разработке 6 проектов хранилищ данных для украинских, российских и зарубежных банков. Предоставлял консультационные услуги по вопросам архитектуры и построения модели данных в более чем 10 интеграционных проектах.

В Luxoft Training Владимир проводил курсы для сотрудников таких компаний, как UBS, Альфа-Банк, Сбербанк-Технологии, CreditSuisse.


-10% ФИЗИЧЕСКИМ ЛИЦАМ
Данный курс запланирован в городах: Москва, Санкт-Петербург, Одесса
21.03.2018 - 23.03.2018
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Шевченко Андрей
Специалист в области разработки ПО (Java)
35 300 1

21.03.2018 - 23.03.2018

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
05.02.2018 - 07.02.2018
Время: 10:00-18:00
Локация: Санкт-Петербург
Длительность: 24 ч.
Тренер
Шевченко Андрей
Специалист в области разработки ПО (Java)

05.02.2018 - 07.02.2018

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
26.02.2018 - 02.03.2018
Время: 10:00-15:00
Локация: Одесса
Длительность: 24 ч.
Тренер
Слободянюк Владимир
Специалист в области хранилищ данных и интеграционных проектов
7 100 грн.
В корзину

26.02.2018 - 02.03.2018

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Москва 35 300 1
Санкт-Петербург 31 770 1
Омск 26 480 1
Киев 7 920 грн.
Одесса 7 100 грн.
Днепр 7 100 грн.
Отзывы:
Участник тренинга
Очень приятные впечатления от курса - от организации до наполнения. Обучение позволило собрать воедино разрозненные обрывки знаний и в дискуссиях с коллегами и тренером - повысить компетенцию.
Участник тренинга
Насыщенность курса превысила ожидания. Помимо верхнеуровневой архитектуры удалось познакомиться и с более низкоуровневыми особенностями и подходами к реализации и использованию.
Участник тренинга
Отличный курс: комплексный подход к изложению: доступно, понятно, кратко, с примерами. Общий обзор продуктов, интересные реальные примеры. Особенно описание внутреннего устройства hdfs, Vanilla Hadoop, Apache Spark.
Участник тренинга
Тренингом очень доволен, качественное погружение в интересующие аудиторию детали, алгоритмы. Тренер активно работает с аудиторией, грамотно и доступно преподносит материал.
Участник тренинга
Для меня очень полезным было рассмотрение архитектуры технологий, относящихся к Hadoop; понимание плюсов и минусов использования Hadoop, областей применения данных технологий. Очень понравился стиль изложения материала, метод преподавания тренера, эмоциональные ударения, удержание внимания аудитории.
Участник тренинга
Очень хорошее погружение в инструмент. Достаточно глубоко и широко, особенно для первого знакомства. Рекомендую этот тренинг для тех, что хочет начать изучение Hadoop. Отличный старт.
Участник тренинга
Отличный тренинг. Получил общее понимание Hadoop и приложений из его экосистемы. Узнал цели использования, плюсы, минусы и т.п. Основы Spark и его преимущества/недостатки по сравнению с Hadoop. Спасибо!
Участник тренинга
Отличное преподнесение информации, очень подробно и доходчиво. Отдельно порадовала практическая часть, возможность самостоятельно не только ознакомиться, но и "потрогать руками" технологию.

Рекомендуемые дополнительные материалы, источники:

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоротивное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
По запросу на education@luxoft.com мы ответим на любые дополнительные вопросы касательно обучения в нашем Luxoft Training.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Спасибо!
Форма отправлена успешно.