Курс: EAS-015
Длительность: 24 ч.
Длительность: 24 ч.
Описание
Этот тренинг дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop®.Разбираемые темы
- Основные концепции Hadoop®;
- Установка и конфигурирование: локально и в облаке;
- HDFS: Архитектура, репликация, чтение и запись данных;
- Команды HDFS;
- Структура классической MapReduce-программы;
- Форматы данных для MapReduce;
- Архитектура YARN;
- Выполнение работ в классическом MapReduce и в YARN;
- Распределенный кеш и счетчики;
- Hadoop Streaming;
- Экосистема и вендоры Hadoop®;
- Введение в Pig™;
- Введение в Hive;
- Введение в Sqoop;
- Введение в Flume;
- Введение в Spark™;
- Введение в Mahout™.
Цели
- понимать ключевые концепции и архитектуру Hadoop®;
- уметь записывать и читать данные в/из HDFS;
- разрабатывать программы для классического MapReduce и для YARN;
- работать с данными в HDFS из MapReduce-программ;
- получить представление об экосистеме, сложившейся вокруг Hadoop® и ее ключевых компонентах.
Целевая аудитория
Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.Предварительная подготовка
Базовые навыки программирования на Java. Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training