Основы Kafka
Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Вы рассмотрите архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.
24 ак.ч.
Онлайн
EAS-026
Основы Kafka
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-026
Расписание и цены
21.03.2022 - 25.03.2022
37 000 руб.
9 900 грн.
Планируете обучить команду из 7-8 или более человек?
Закажите корпоративное обучение с учетом ваших потребностей
Основы Kafka
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-026
Расписание и цены
21.03.2022 - 25.03.2022
37 000 руб.
9 900 грн.
Планируете обучить команду из 7-8 или более человек?
Закажите корпоративное обучение с учетом ваших потребностей

Описание

Этот тренинг поможет вам получить представление об архитектуре и функционировании Apache Kafka – платформы распределенной потоковой передачи событий с открытым исходным кодом.

Вместе с тренером вы будете отправлять и получать сообщения из Java- и REST-клиентов, обсудите варианты конфигурации кластера и клиентов для достижения требуемых характеристик доставки сообщений (латентности, пропускной способности, сохранности и доступности). Вы рассмотрите настройку нескольких кластеров для одного приложения, поскольку это жизненно важно для достижения отказоустойчивости и повышения масштабируемости. Рассмотрите, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами (СУБД, файловая система и др.). Узнаете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.

После прохождения курса выдается
сертификат на бланке Luxoft Training

Цели

Во время обучения вы научитесь:
  • Понимать архитектуру Kafka.
  • Разбираться в развертывании и настройке Kafka.
  • Использовать REST-доступ к Kafka.
  • Разрабатывать Java-клиентов для Kafka.
  • Проектировать архитектуры из нескольких кластеров.
  • Использовать инструменты Kafka Connect.
  • Создавать приложения Kafka Streams.

Целевая аудитория

Разработчики, архитекторы, дата-инженеры.

Предварительная подготовка

Опыт разработки на Java от 3 месяцев.

Разбираемые темы

1. Обзор (теория – 1 ч)
  • Что такое Kafka.
  • Примеры удачного и неудачного использования Kafka.
  • Kafka и база данных: сходства и различия.
  • Kafka и очередь сообщений: сходства и различия.
  • Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
  • Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
  • Клиенты и API.

2. Настройка Кластера (практика – 1 ч)
  • Практика 2.1: запуск кластера Kafka с помощью Docker.
  • Установка Zookeeper.
  • Установка брокеров Kafka.

3. Разработка приложений на Java (теория – 2,5 ч, практика – 2,5 ч)
  • Kafka Producer API: основы.
  • Практика 3.1: Отправка одного сообщения.
  • Практика 3.2: Отправка нескольких сообщений.
  • Практика 3.3: Отправка нескольких сообщений с явным партиционированием.
  • Практика 3.4: Отправка сообщений без ключей.
  • Kafka Consumer API: основы, группы потребителей.
  • Практика 3.5: Один получатель.
  • Практика 3.6: Несколько получателей в одной группе.
  • Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
  • Практика 3.7: Отправитель без пакетов и повторов.
  • Практика 3.8: Идемпотентный Отправитель.
  • Практика 3.9: Транзакционный Отправитель.
  • Практика 3.10: Отправка и получение в транзакции.
  • Практика 3.11: Получение-обработка-отправка в транзакции.

4. Внешний доступ к кластеру Kafka (теория – 2 ч, практика – 2 ч)
  • Безопасность: SSL, SASL, Kerberos.
  • REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
  • Практика 4.1: доступ через REST Proxy.
  • Schema Registry: реестр схем.
  • Практика 4.2: использование REST Proxy со Schema Registry.

5. Обслуживание и мониторинг (теория – 1 ч, практика – 1 ч)
  • Настройка кластера под разные цели.
  • Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
  • Практика 5.1: Мониторинг кластера Kafka с помощью Prometheus.

6. Несколько кластеров (теория – 1 ч, практика – 1 ч)
  • Для чего могут понадобиться несколько кластеров в Kafka?
  • MirrorMakerAccess.
  • Практика 6.1: Использование MirrorMaker для синхронизации кластеров.
  • Confluence Replicator.

7. Kafka Connect (теория – 2 ч, практика – 2 ч)
  • Архитектура Kafka Connect.
  • Приемники данных Kafka Connect.
  • Практика 7.1: Файловый приемник FileStream.
  • Практика 7.2: Приемник JDBC.
  • Источники данных Kafka Connect.
  • Практика 7.3: Источник FileStream.
  • Практика 7.4: Источник JDBC.

8. Основы Kafka Streams (теория – 2 ч, практика – 2 ч)
  • Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
  • Демонстрация 8.1: Реализация топологии Streams.
  • Демонстрация 8.2: Создание приложения Streams с помощью StreamBuilder.
  • Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
  • Схемы данных в Kafka: сериализация в JSON-схемы, схемы Avro, реестр схем, эволюция схем.
  • Демонстрация 8.3: Использование схем JSON.
  • Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
  • KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
  • Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
  • Соединение: поток с потоком, KTable с KTable, поток с KTable.

Раcписание курсов
Вид:
21.03.2022 - 25.03.2022
10:00-15:00
Локация:Онлайн
Длительность:24 ак.ч.
Время:10:00-15:00
37 000 руб.
9 900 грн.
Записаться
Смотреть полное расписание
Тренеры
Брейман Александр
Эксперт в области разработки и архитектуры ПО
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем. 

Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.

В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.

  • Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
  • Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

Профессиональный опыт

2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики. 
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).

Образование

1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
Ваши преимущества
Экспертность
Тренеры-эксперты из реальных проектов крупнейших компаний, лидеров в своей отрасли
Живое обучение
“Живая” коммуникация с тренером даже в онлайн-формате
Практика
Максимально наполненные практикой занятия, работа в группах, выполнение домашних заданий
Для физических лиц
10%
Скидка на любой курс
5%
Бонус от стоимости курса после прохождения
5%
Бонус за рекомендацию курсов Luxoft Training
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Luxoft Training – первый учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
Остались вопросы?
Связаться с нами
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.