Фреймворк Apache Spark для разработчиков: продвинутый уровень

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL и Spark Streaming.
Курс: EAS-024
Длительность: 24 ч.

Описание

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst. 

Разбираемые темы

  • Внутренняя архитектура Spark, Spark Runtime Environment

  • Настройка Spark Context, SparkConf

  • Внутреннее устройство RDD, логический план

  • Лучшие практики программирования с RDD

  • Физический план: работы, стадии, задачи

  • Планировщики и выполнение физического плана

  • Настройка памяти, сериализация, кеширование, сборка мусора

  • Datasource API, внутреннее представление данных Tungsten, форматы файлов

  • Оптимизатор Catalyst

  • Микропакетный Spark Streaming: получение и выдача данных

  • Structured Streaming: получение и выдача данных

Цели

  • Понимать внутреннее устройство Spark;
  • Понимать механизмы запуска и настройки компонентов Spark на разных кластерах (Standalone, YARN, Mesos);
  • Научиться оптимизировать программы, обрабатывающие RDD;
  • Понимать механизмы оптимизации программ на Spark SQL;
  • Понимать механизмы оптимизации программ, обрабатывающих потоковые данные, как в микропакетах, так и в Dataset.

Целевая аудитория

Разработчики, архитекторы

Предварительная подготовка

Опыт разработки на Java или Scala под Apache Spark от 3 месяцев. 
После окончания курса выдаётся сертификат на бланке Luxoft Training
Тренер в Онлайн
Смирнов Денис Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
Денис - выпускник магистерской программы двойного диплома по Data Science Факультета Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ) и французского университета Клермон Овернь. Также Денис окончил бакалавриат ФКН НИУ ВШЭ по направлению "Программная инженерия".  

Денис имеет более пяти лет опыта разработки ПО и руководства командами программистов. Занимал позиции Главного Инженера в центре компетенций по Big Data в Сбербанк-Технологии и тимлида в практике интеграционных решений в AT Consulting. В настоящее время является аспирантом на Факультете Компьютерных Наук Высшей Школы Экономики (ФКН НИУ ВШЭ), а также работает в международном банке, где занимается разработкой аналитической платформы.

В течение пяти последних лет Денис работает учебным ассистентом на курсе «Базы данных» для студентов бакалавриата на Факультете Компьютерных Наук Высшей Школы Экономики.
Раcписание курса в Цены
Данный курс запланирован в городах: Онлайн
29.11.2021 - 03.12.2021
Время: 10:00-15:00
Локация: Онлайн
Длительность: 24 ч.
Тренер
Смирнов Денис
Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
37 000 руб.
9 900 грн.

29.11.2021

29.11.2021 - 03.12.2021
Время: 10:00-15:00
Локация: Онлайн
Длительность: 24 ч.
Тренер
Смирнов Денис
Специалист в области разработки ПО, обработки и анализа больших данных, машинном обучении.
37 000 руб.
9 900 грн.
Не подходят даты, время или хотите заказать корпоративное обучение для команды?
+
Предложите свой вариант
Онлайн 37 000 руб.
9 900 грн.

Рекомендуемые дополнительные материалы, источники:


  1. Mike Frampton. Mastering Apache Spark. – Packt, 2015. –  476 pp.

  2. Sandy Ryza et al. Advanced Analytics with Spark– O’Reilly, 2015. –261 pp. 

  3. Sumit Gupta. Learning Real-time Processing with Spark Streaming. – Packt, 2015. –  271 pp.

  4. Х. Карау и др. Изучаем Spark: молниеносный анализ данных. – М.: ДМК Пресс, 2015. – 304 с.

array (
  0 => 
  array (
    'NAME' => 'Фреймворк Apache Spark для разработчиков: продвинутый уровень',
    'CODE' => 'EAS-024',
    'DATE' => '29.11.2021 - 03.12.2021',
    'DATE_BEGIN' => '29.11.2021',
    'EVENT_CITY' => 'Онлайн',
    'ID_TIME' => '112253',
  ),
)

Записаться на курс

Выбрать дату
Если Вам не подходят дата и место проведения тренинга, Вы можете оставить заявку на участие в нем в любом из городов, где представлены филиалы Luxoft Training. Для этого выберите вариант "Открытая дата" и укажите желаемое место проведения курса.
Желаемое место проведения курса
Вы можете оставить заявку на корпоративное обучение сотрудников Вашей компании в любом городе России или Украины, выбрав вариант "Другой город"
Фамилия *

Имя *

Отчество

Контактный E-mail *

Компания *

Телефон *

Город *

Комментарий
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Luxoft Training – первый учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
Остались вопросы?
Связаться с нами
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.