🎥 Сегодня вышло девятое видео посвященное Airflow!
🎥 Сегодня вышло девятое видео посвященное Airflow! А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏 В этом видео: 🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!) 🔌 Подключаем его к Airflow
23-08-2025 13:42 (МСК)
🎥 Сегодня вышло девятое видео посвященное Airflow! А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏 В этом видео: 🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!) 🔌 Подключаем его к Airflow, как настоящих друзей 🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется) Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды? Идеально для тех, кто только втягивается в мир Data Pipelines. Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉 👉 Смотреть видео: Vk: https://vkvideo.ru/video-231048746_456239025 Youtube: https://youtu.be/hwo6aOfMl9c 📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md — Базовый курс Airflow плавно подходит к логическому завершению. Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow. А потом — вперёд в ETL-дикую природу! 🌿 Планирую развивать тему реальных ETL-пайплайнов с использованием: 📦 Apache Kafka — для потоковой передачи данных 📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность) 🔗 Их интеграцию с Airflow для построения современного data orchestration Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez. Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально. Готовы к настоящему data-путешествию? Поехали! 🚀 #КакРаботаютДанные #airflow