Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Личный кабинет
Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
AIRF

Практический курс Data Pipeline на Apache Airflow и Apache Hadoop

Вендор
Длительность
24 ак. часов
Ближайшая дата
04 мар 2024
Стоимость
72 000 RUB
72 000 RUB
Описание
3-хдневный  курс обучения по Airflow позволит вам получить и систематизировать знания по использованию этого фреймворка для разработки, планирования и мониторинга рабочих процессов с большими данными.  Курс содержит расширенные сведения по установке распределенного кластера Apache Airflow, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).
Кому полезен курс

Курсы обучения по Airflow ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем, которые хотят получить практические знания и навыки по работе с batch-процессами и конвейерами обработки больших данных:

  • понять, что такое Apache Airflow;
  • уяснить отличия Airfow от NiFi;
  • освоить принципы работы с задачами, операторами и DAG’ами;
  • научиться настраивать рабочее окружение для Airflow;
  • освоить методы администрирования и мониторинга кластера Airflow;
  • интегрировать Apache Aiflow с другими Big Data фреймворками (Hadoop, Spark) и внешними системами.
Необходимая подготовка
  • Знание базовых команд Linux (опыт работы с командной строкой, файловой
    системой , POSIX, текстовыми редакторами vi, nano)
  • Начальный опыт программирования Python/bash
  • Начальный опыт в экосистеме Apache Hadoop
Ваш результат обучения
Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этого инструмента и узнаете некоторые особенности управления кластером Airflow. Преподаватель курса по Apache Airflow подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
На практике вы развернете собственный кластер Apache Airflow, настроив его конфигурацию, создадите свои сценарии и схемы пакетной обработки информации, реализовав собственный конвейер данных (data pipeline) и операторы DAG. 
Программа курса
  1. Введение в AirFlow
    • История появления, решаемые задачи, место в наборе инструментов по обработке данных
    • Основные объекты (DAG, оператор и task, сенсор, объединение компонентов в DAG)
    • Процесс исполнения (worker-ы и executor-ы, параллельное и последовательное исполнение)
    • Планирование и график исполнения DAG
    • Компоненты Airflow (scheduler, административный web-интерфейс)
    • Алерты и логирование
    • Переменные и xcomm
    • Connection и работа с источниками данных
  2. Разработка Data Flow с Apache AirFlow
    • Процесс создания DAG
    • Основные операторы
    • Создание (настройка) python и bash операторов
    • Создание собственных операторов и сенсоров
    • Использование connection
    • Hooks и практические примеры использования
    • xcomm и переменные: зачем нужны и что дают
    • Возможности макроязыка (Jinja)
    • Настройка расписания и его особенности
  3. Развертывание и настройка Airflow
    • Установка Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
    • Основные параметры конфигурации
    • Использование Celery executor
    • Кластеризация (масштабируемость, отказоустойчивость)
  4. Особенности разработки и использования Airflow
    • Отладка и тестирование
    • Поиск информации в лог-файлах
    • Нюансы встраивания Airflow в CI/CD конвейеры и системы управления версиями
    • Airflow и Apache Spark

Практические занятия:

  • Создание простых DAG
  • Настройка python и bash операторов
  • Разработка операторов и сенсоров
  • Работа с источниками данных
  • Взаимодействие с Apache Spark

! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)

Доступные формы обучения
Описание фомата

Очная форма – это классическая форма обучения. Студенты посещают занятия в специально оборудованном классе на территории учебного центра в соответствии с установленным расписанием.

Занятие длится 8 академических часов в день, стандартное время начала обучения – 10:00.

Преимущество очного обучения – это личный контакт с тренером-преподавателем и с остальными студентами курса. Во время обучения студенты сдают лабораторные работы вендоров, к которым предоставляется доступ, а также лабораторные работы, специально разработанные тренерами-преподавателями. Обучающиеся выполняют практические занятия, получая доступ к оборудованию или при помощи его эмуляции.

Описание фомата

Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.

Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.

Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.

Данный формат обучения позволяет существенно сократить командировочные издержки.

Расписание курса
Выберите удобную для вас дату
мар 2024
04 мар - 06 мар
Москва
Очная Очная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
мар 2024
04 мар - 06 мар
Москва
Дистанционная Дистанционная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
мая 2024
27 мая - 29 мая
Москва
Дистанционная Дистанционная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
мая 2024
27 мая - 29 мая
Москва
Очная Очная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
Если в расписании нет удобных для Вас дат, напишите нам - мы разработаем удобные варианты специально для Вас!
Слушатели рекомендуют нас
5.0
5.0
FAQ

Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.

Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.

Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.

Очное обучение проходит на территории Учебного центра Микротест по адресу: Москва, Дербеневская наб. д. 7 стр.5, 5 этаж.

За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.

Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.

  1. Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
  2. Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
  3. Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
  4. Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.

По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).

Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)

Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза

Эксперты в обучении:

  • Сети передачи данных и связь
  • ОС Linux и платформы виртуализации
  • Центры обработки данных и СХД

Опытные преподаватели с мультивендорной экспертизой

Расширенный лабораторный полигон для практики

Подготовка ИТ-специалистов по государственным профессиональным стандартам

Образовательный девелопер

Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»

Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды

Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами

Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры

Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!