Курс: EAS-017
Длительность: 24 ч.
Длительность: 24 ч.
Описание
Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.Разбираемые темы
- Основные концепции и архитектура Spark;
- Программирование с RDD;
- Использование RDD с парами ключ/значение;
- Загрузка и сохранение данных;
- Аккумуляторы и широковешательные переменные;
- Spark SQL, DataFrames, Datasets;
- Spark Streaming;
- Машинное обучение с использованием MLLib и Spark ML;
- Анализ графов с использованием GraphX.
Цели
- Понимать ключевые концепции и архитектуру Spark;
- Разрабатывать программы обработки данных как последовательности преобразований RDD;
- Разрабатывать программы обработки данных на SQL;
- Обрабатывать потоковые данные;
- Использовать готовые алгоритмы машинного обучения и анализа графов;
- Уметь переносить данные между Spark и внешними системами (Kafka, Cassandra).
Целевая аудитория
Разработчики, архитекторы.Предварительная подготовка
- базовые навыки программирования на Java;
- умение работать в командной оболочке Unix/Linux (bash);
- опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training