Основы Apache Spark

Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.
Курс: EAS-017
Длительность: 24 ч.

Описание

Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark  (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.

Разбираемые темы

  • Основные концепции и архитектура Spark;
  • Программирование с RDD;
  • Использование RDD с парами ключ/значение;
  • Загрузка и сохранение данных;
  • Аккумуляторы и широковешательные переменные;
  • Spark SQL, DataFrames, Datasets;
  • Spark Streaming;
  • Машинное обучение с использованием MLLib и Spark ML;
  • Анализ графов с использованием GraphX.

Цели

  • Понимать ключевые концепции и архитектуру Spark;
  • Разрабатывать программы обработки данных как последовательности преобразований RDD;
  • Разрабатывать программы обработки данных на SQL;
  • Обрабатывать потоковые данные;
  • Использовать готовые алгоритмы машинного обучения и анализа графов;
  • Уметь переносить данные между Spark и внешними системами (Kafka, Cassandra).

Целевая аудитория

Разработчики, архитекторы.

Предварительная подготовка

  • базовые навыки программирования на Java;
  • умение работать в командной оболочке Unix/Linux (bash);
  • опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Москва Киев
Шевченко Андрей Специалист в области разработки ПО (Java)
Андрей занимается разработкой коммерческого ПО с 2010 г. (4 года на Java, включая разработку крупных портальных решений и систем мониторинга с использованием NoSQL-решений).

Продолжительное время работал старшим архитектором в одном из крупнейших банков, где занимался построением архитектуры отказоустойчивого и высокопроизводительного ядра единой банковской фронтальной системы, интеграцией с поставщиками данных, обеспечением технологического развития проекта и решением широкого круга задач от анализа исходных требований до внедрения компонентов системы в промышленную эксплуатацию. В настоящее время занимает должность ведущего архитектора в компании Luxoft.

Постоянно принимает участие в крупнейших российских конференциях по созданию высоконагруженных приложений и собраниях Java-разработчиков.

В свободное время занимается самообразованием в профессиональной сфере, интересуется вопросами создания корпоративной архитектуры и облачными вычислениями.
Слободянюк Владимир Специалист в области хранилищ данных и интеграционных проектов
Владимир свою карьеру в сфере IT начал в 1993 г. В области архитектуры и проектирования работает с 2003 г. 
Обладает экспертизой практического использования различных case-средств и ETL-инструментов, имеет опыт внедрения и адаптации индустриальных моделей. 

В Luxoft работает с 2009 г., является руководителем Informatica и ETL Center of Excellence. За время работы в компании принимал участие в разработке 6 проектов хранилищ данных для украинских, российских и зарубежных банков. Предоставлял консультационные услуги по вопросам архитектуры и построения модели данных в более чем 10 интеграционных проектах.

В Luxoft Training Владимир проводил курсы для сотрудников таких компаний, как UBS, Альфа-Банк, Сбербанк-Технологии, CreditSuisse.


-10% ФИЗИЧЕСКИМ ЛИЦАМ
Данный курс запланирован в городах: Москва, Киев
09.04.2018 - 11.04.2018
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Шевченко Андрей
Специалист в области разработки ПО (Java)
35 300 1

09.04.2018 - 11.04.2018

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
06.02.2018 - 08.02.2018
Время: 10:00-18:00
Локация: Киев
Длительность: 24 ч.
Тренер
Слободянюк Владимир
Специалист в области хранилищ данных и интеграционных проектов
6 875 грн.
В корзину

06.02.2018 - 08.02.2018

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Москва 35 300 1
Санкт-Петербург 31 770 1
Омск 26 480 1
Киев 6 875 грн.
Одесса 6 200 грн.
Днепр 6 200 грн.

Рекомендуемые дополнительные материалы, источники:

  • Frampton M. Mastering Apache Spark. – Packt, 2015. –  476 p.
  • Ryza S. et al. Advanced Analytics with Spark. – O’Reilly, 2015. – 261 p. 
  • Gupta S. Learning Real-time Processing with Spark Streaming. – Packt, 2015. –  271 p.
  • Карау Х. и др. Изучаем Spark: молниеносный анализ данных. – М.: ДМК Пресс, 2015. – 304 с.

Примечание:

Материалы курса представлены на английском языке.

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоротивное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
По запросу на education@luxoft.com мы ответим на любые дополнительные вопросы касательно обучения в нашем Luxoft Training.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Спасибо!
Форма отправлена успешно.