Основы Kafka
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-026
21.03.2022 - 25.03.2022
37 000 руб.
9 900 грн.
Планируете обучить команду из 7-8 или более человек?
Закажите корпоративное обучение с учетом ваших потребностей
Закажите корпоративное обучение с учетом ваших потребностей
Описание
Этот тренинг поможет вам получить представление об архитектуре и функционировании Apache Kafka – платформы распределенной потоковой передачи событий с открытым исходным кодом.
Вместе с тренером вы будете отправлять и получать сообщения из Java- и REST-клиентов, обсудите варианты конфигурации кластера и клиентов для достижения требуемых характеристик доставки сообщений (латентности, пропускной способности, сохранности и доступности). Вы рассмотрите настройку нескольких кластеров для одного приложения, поскольку это жизненно важно для достижения отказоустойчивости и повышения масштабируемости. Рассмотрите, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами (СУБД, файловая система и др.). Узнаете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.
После прохождения курса выдается
сертификат на бланке Luxoft Training
сертификат на бланке Luxoft Training
Цели
Во время обучения вы научитесь:
- Понимать архитектуру Kafka.
- Разбираться в развертывании и настройке Kafka.
- Использовать REST-доступ к Kafka.
- Разрабатывать Java-клиентов для Kafka.
- Проектировать архитектуры из нескольких кластеров.
- Использовать инструменты Kafka Connect.
- Создавать приложения Kafka Streams.
Целевая аудитория
Разработчики, архитекторы, дата-инженеры.
Предварительная подготовка
Опыт разработки на Java от 3 месяцев.
Разбираемые темы
1. Обзор (теория – 1 ч)
2. Настройка Кластера (практика – 1 ч)
3. Разработка приложений на Java (теория – 2,5 ч, практика – 2,5 ч)
4. Внешний доступ к кластеру Kafka (теория – 2 ч, практика – 2 ч)
5. Обслуживание и мониторинг (теория – 1 ч, практика – 1 ч)
6. Несколько кластеров (теория – 1 ч, практика – 1 ч)
7. Kafka Connect (теория – 2 ч, практика – 2 ч)
8. Основы Kafka Streams (теория – 2 ч, практика – 2 ч)
- Что такое Kafka.
- Примеры удачного и неудачного использования Kafka.
- Kafka и база данных: сходства и различия.
- Kafka и очередь сообщений: сходства и различия.
- Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
- Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
- Клиенты и API.
2. Настройка Кластера (практика – 1 ч)
- Практика 2.1: запуск кластера Kafka с помощью Docker.
- Установка Zookeeper.
- Установка брокеров Kafka.
3. Разработка приложений на Java (теория – 2,5 ч, практика – 2,5 ч)
- Kafka Producer API: основы.
- Практика 3.1: Отправка одного сообщения.
- Практика 3.2: Отправка нескольких сообщений.
- Практика 3.3: Отправка нескольких сообщений с явным партиционированием.
- Практика 3.4: Отправка сообщений без ключей.
- Kafka Consumer API: основы, группы потребителей.
- Практика 3.5: Один получатель.
- Практика 3.6: Несколько получателей в одной группе.
- Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
- Практика 3.7: Отправитель без пакетов и повторов.
- Практика 3.8: Идемпотентный Отправитель.
- Практика 3.9: Транзакционный Отправитель.
- Практика 3.10: Отправка и получение в транзакции.
- Практика 3.11: Получение-обработка-отправка в транзакции.
4. Внешний доступ к кластеру Kafka (теория – 2 ч, практика – 2 ч)
- Безопасность: SSL, SASL, Kerberos.
- REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
- Практика 4.1: доступ через REST Proxy.
- Schema Registry: реестр схем.
- Практика 4.2: использование REST Proxy со Schema Registry.
5. Обслуживание и мониторинг (теория – 1 ч, практика – 1 ч)
- Настройка кластера под разные цели.
- Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
- Практика 5.1: Мониторинг кластера Kafka с помощью Prometheus.
6. Несколько кластеров (теория – 1 ч, практика – 1 ч)
- Для чего могут понадобиться несколько кластеров в Kafka?
- MirrorMakerAccess.
- Практика 6.1: Использование MirrorMaker для синхронизации кластеров.
- Confluence Replicator.
7. Kafka Connect (теория – 2 ч, практика – 2 ч)
- Архитектура Kafka Connect.
- Приемники данных Kafka Connect.
- Практика 7.1: Файловый приемник FileStream.
- Практика 7.2: Приемник JDBC.
- Источники данных Kafka Connect.
- Практика 7.3: Источник FileStream.
- Практика 7.4: Источник JDBC.
8. Основы Kafka Streams (теория – 2 ч, практика – 2 ч)
- Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
- Демонстрация 8.1: Реализация топологии Streams.
- Демонстрация 8.2: Создание приложения Streams с помощью StreamBuilder.
- Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
- Схемы данных в Kafka: сериализация в JSON-схемы, схемы Avro, реестр схем, эволюция схем.
- Демонстрация 8.3: Использование схем JSON.
- Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
- KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
- Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
- Соединение: поток с потоком, KTable с KTable, поток с KTable.
Раcписание курсов
Вид:
Тренеры
Брейман Александр
Эксперт в области разработки и архитектуры ПО
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем.
Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.
В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
Профессиональный опыт
2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики.
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).
Образование
1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
Александр – канд. техн. наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем. За это время прошел путь от программиста до начальника отдела информационных систем.
Имеет большой опыт преподавательской деятельности: с 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой ПО.
В данный момент является доцентом кафедры управления разработкой программного обеспечения отделения программной инженерии факультета бизнес-информатики в одном из ключевых вузов России – Высшей школы экономики. Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
- Член IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
- Член ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).
Профессиональный опыт
2014 – наст. вр. – тренер Luxoft Training.
2010 – наст. вр. – доцент кафедры управления разработкой ПО отделения программной инженерии факультета бизнес-информатики Национального исследовательского университета Высшая школа экономики;
1994–2013 – доцент (c 1998 г.) кафедры персональных компьютеров и сетей, Московский государственный университет приборостроения и информатики.
1996–наст. вр. – начальник отдела информационных технологий ЗАО «ТИТАН МЕТА», разработка, внедрение и поддержка системы управления производственным предприятием (клиент/серверная система, контролирующая товарный склад, расчеты с потребителями, материально-техническое снабжение, планирование производства).
Образование
1994–1997 – Московская академия приборостроения и информатики, кафедра персональных компьютеров и сетей, очная аспирантура, кандидат технических наук.
1989–1994 – Московский институт приборостроения, факультет информатики, кафедра системного программного обеспечения (диплом с отличием).
Оценка и обучение ИТ-специалистов по ключевым направлениям разработки программного обеспечения. Курсы от экспертов-практиков по языкам программирования, системному и бизнес-анализу, архитектуре ПО, ручному и автоматизированному тестированию ПО, Big Data и машинному обучению, управлению проектами и Agile. Luxoft Training – первый учебный центр в России, авторизованный IIBA. Действует скидка 10% на обучение физических лиц.
