[Специалист] Основы Apache Kafka- 2022 (Сергей Шуйков)

[Балеринка]

Ссылка на картинку

В процессе обучения вы познакомитесь с возможностями ПО Apache Kafka для интеграции приложений, рассмотрите практические примеры по созданию распределенных приложений.

Apache Kafka – открытый распределенный высокопроизводительный программный брокер сообщений. Apache Kafka обеспечивает наращивание пропускной способности как при росте числа и нагрузки со стороны источников, так и количества систем-подписчиков.

Цель курса – получение и систематизация знаний по использованию ПО Apache Kafka для интеграции приложений. В процессе обучения вы познакомитесь с возможностями данного ПО и практическими примерами по созданию распределенных приложений.

Курс рекомендован:
1. Разработчикам ПО на языке Java, желающим научиться использовать ПО Apache Kafka для интеграции различных систем.
2. Компаниям-разработчикам ПО, которым нужны квалифицированные разработчики с использованием ПО Apache Kafka.
3. Архитекторам ПО и руководителям проектов желающим изучить современные технологии по созданию распределенных приложений.

Вы научитесь:
1. Выполнять основные команды по настройке и администрированию сервера Apache Kafka.
2. Создавать распределенные приложения для обмена сообщениями.
3. Выполнять публикацию и прием сообщений с использованием Kafka Streams API.
4. Использовать язык DSL для настройки потоков данных.

Спойлер: Программа

Модуль 1 - Основы Apache Kafka

• Введение в ПО Apache Kafka. Область применения и примеры использования. Сравнение с Spark, Flint, Storm.
• Компоненты и архитектура Apache Kafka.
• Основные концепции Apache Kafka.
• Брокеры. Поставщики и потребители данных. Работа с сообщениями.
• Развертывание ПО Apache Kafka. Основные команды по настройке и администрированию сервера.
• Базовые операции Apache Kafka.
• Сценарии интеграции с Apache Kafka.

Модуль 2 - Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени

• Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени
• Режимы работы Apache Kafka. Отличия и выбор режима работы.
• Управление и работа с Topic-ами сообщений. Использование API.
• Публикация и примем сообщений. Практические примеры.
• Общие понятия Kafka Stream. Работа с потоками.
• Kafka Stream DSL — язык для настройки потоков данных.
• Использование Processor API.
• Лабораторная работа: использование API поставщиков и потребителей для обмена сообщениями между распределенными приложениями.

Модуль 3 - Выполнение REST-запросов для обмена данными с сервером

• Интеграция с внешними системами.
• Основные принципы Kafka Connect. Виды Connector-ов в Apache Kafka и их применения.
• Режимы работы и принципы применения.
• Конфигурирование Connector-ов. Использование REST API.
• Интеграция с системами: Apache Spark, Apache Storm, Amazon Web Services.
• Выполнение трансформации данных. Пересылка сообщений.