Основы Apache Spark

Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.
Курс: EAS-017
Длительность: 24 ч.

Описание

Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark  (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.

Разбираемые темы

  • Основные концепции и архитектура Spark;
  • Программирование с RDD;
  • Использование RDD с парами ключ/значение;
  • Загрузка и сохранение данных;
  • Аккумуляторы и широковешательные переменные;
  • Spark SQL, DataFrames, Datasets;
  • Spark Streaming;
  • Машинное обучение с использованием MLLib и Spark ML;
  • Анализ графов с использованием GraphX.

Цели

  • Понимать ключевые концепции и архитектуру Spark;
  • Разрабатывать программы обработки данных как последовательности преобразований RDD;
  • Разрабатывать программы обработки данных на SQL;
  • Обрабатывать потоковые данные;
  • Использовать готовые алгоритмы машинного обучения и анализа графов;
  • Уметь переносить данные между Spark и внешними системами (Kafka, Cassandra).

Целевая аудитория

Разработчики, архитекторы.

Предварительная подготовка

  • базовые навыки программирования на Java;
  • умение работать в командной оболочке Unix/Linux (bash);
  • опыт работы с базами данных желателен, но не обязателен.
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Москва Онлайн
Смирнов Денис Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
Денис - выпускник магистерской программы двойного диплома по Data Science Факультета Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ) и французского университета Клермон Овернь. Также Денис окончил бакалавриат ФКН НИУ ВШЭ по направлению "Программная инженерия".  

Денис имеет более пяти лет опыта разработки ПО и руководства командами программистов. Занимал позиции Главного Инженера в центре компетенций по Big Data в Сбербанк-Технологии и тимлида в практике интеграционных решений в AT Consulting. В настоящее время является аспирантом на Факультете Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ), а также работает в международном банке, где занимается разработкой аналитической платформы.

В течение пяти последних лет Денис работает учебным ассистентом на курсе «Базы данных» для студентов бакалавриата на Факультете Компьютерных Наук Высшей Школы Экономики.
Слободянюк Владимир Специалист в области хранилищ данных и интеграционных проектов
Владимир свою карьеру в сфере IT начал в 1993 г. В области архитектуры и проектирования работает с 2003 г. 
Обладает экспертизой практического использования различных case-средств и ETL-инструментов, имеет опыт внедрения и адаптации индустриальных моделей. 

В Luxoft работает с 2009 г., является руководителем Informatica и ETL Center of Excellence. За время работы в компании принимал участие в разработке 6 проектов хранилищ данных для украинских, российских и зарубежных банков. Предоставлял консультационные услуги по вопросам архитектуры и построения модели данных в более чем 10 интеграционных проектах.

В Luxoft Training Владимир проводил курсы для сотрудников таких компаний, как UBS, Альфа-Банк, Сбербанк-Технологии, CreditSuisse.


Данный курс запланирован в городах: Москва, Онлайн
14.09.2020 - 16.09.2020
Время: 10:00-18:00
Локация: Москва
Длительность: 24 ч.
Тренер
Смирнов Денис
Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
37 000 1

14.09.2020 - 16.09.2020

04.08.2020 - 13.08.2020
Время: 12:00-14:00
Локация: Онлайн
Длительность: 16 ч.
Тренер
Слободянюк Владимир
Специалист в области хранилищ данных и интеграционных проектов
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
04.08.2020 - 13.08.2020
Время: 12:00-14:00
Локация: Онлайн
Длительность: 16 ч.
Тренер
Слободянюк Владимир
Специалист в области хранилищ данных и интеграционных проектов

04.08.2020 - 13.08.2020

Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
04.08.2020 - 13.08.2020
Время: 12:00-14:00
Локация: Онлайн
Длительность: 16 ч.
Тренер
Слободянюк Владимир
Специалист в области хранилищ данных и интеграционных проектов
array (
  'datecoursestart' => '04.08.2020',
  'schedule_id' => '102414',
  'name' => 'Основы Apache Spark',
  'schedule_city_id' => '14909',
  'startdate' => '04.08.2020 - 13.08.2020',
  'time' => '12:00-14:00',
  'duration' => '16',
  'price' => '37000',
  'schedule_discount' => 0,
  'course_id' => '68169',
  'course_code' => 'EAS-017',
  'cat_id' => '83007',
  'prepod_surname' => 'Слободянюк',
  'prepod_code' => 'slobodyanyuk',
  'prepod_short' => 'Специалист в области хранилищ данных и интеграционных проектов',
  'prepod_name' => 'Владимир',
  'prepod_photo' => 
  array (
    'ID' => '2831',
    'TIMESTAMP_X' => '22.07.2011 13:35:45',
    'MODULE_ID' => 'iblock',
    'HEIGHT' => '100',
    'WIDTH' => '100',
    'FILE_SIZE' => '4605',
    'CONTENT_TYPE' => 'image/jpeg',
    'SUBDIR' => 'iblock/398',
    'FILE_NAME' => 'jgwrqzbmxl.jpg',
    'ORIGINAL_NAME' => 'Слободянюк.jpg',
    'DESCRIPTION' => '',
    'HANDLER_ID' => NULL,
    'EXTERNAL_ID' => NULL,
    '~src' => false,
    'SRC' => '/upload/iblock/398/jgwrqzbmxl.jpg',
  ),
  'detail_page_url' => '/edu/catalog/course.html?ID=102414',
  'schedule_city' => 'Онлайн',
  'currency' => 'Рубли',
  'online_id' => NULL,
  'schedule_yes_basket' => NULL,
  'time_interval' => '',
  'CURRENCY_NEW' => ' 1',
  'discount' => 0,
  'discount_type' => NULL,
  'no_basket' => NULL,
  'schedule_course_sale' => NULL,
)
37 000 1
В корзину
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Онлайн 37 0001

Рекомендуемые дополнительные материалы, источники:

  • Frampton M. Mastering Apache Spark. – Packt, 2015. –  476 p.
  • Ryza S. et al. Advanced Analytics with Spark. – O’Reilly, 2015. – 261 p. 
  • Gupta S. Learning Real-time Processing with Spark Streaming. – Packt, 2015. –  271 p.
  • Карау Х. и др. Изучаем Spark: молниеносный анализ данных. – М.: ДМК Пресс, 2015. – 304 с.

Примечание:

Материалы курса представлены на английском языке.

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоративное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, управлению проектами, тестированию ПО, архитектуре ПО. Luxoft Training – единственный учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
   Подпишись на ежемесячный DigestLT
Успешная форма подписки.
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.