🎂Это десятое видео из серии про Airflow — и оно особенное.
🎂Это десятое видео из серии про Airflow — и оно особенное. Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось: ETL-пайплайн, где всё работает вместе. В этом видео: 🔹 Генерируем данные о клиентах за последние 5 дней 🔹 Загружаем их в PostgreSQL — чер
30-08-2025 17:00 (МСК)
🎂Это десятое видео из серии про Airflow — и оно особенное. Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось: ETL-пайплайн, где всё работает вместе. В этом видео: 🔹 Генерируем данные о клиентах за последние 5 дней 🔹 Загружаем их в PostgreSQL — через DBeaver, как настоящие аналитики 🔹 Настраиваем DAG, который ежедневно выгружает данные за день 🔹 Сохраняем в CSV во временный файл 🔹 И, наконец, отправляем каждый файл в MinIO — наше локальное S3-хранилище Это оркестрация: PostgreSQL → Airflow → tempfile → MinIO → порядок в данных😇 Объединим знания: ● PostgresHook и S3Hook — для манипуляции с данными ● XCom — для передачи пути к файлу между задачами ● Динамические даты: {{ ds }}, catchup, start_date без хардкода ● И как всё это работает по расписанию и учитывается при запросах к базе Это видео — финальная точка в основах Airflow. Здесь мы соединили всё, что проходили: подключения, операторы, XCom, DAG-зависимости, работу с БД и S3. А впереди — новые горизонты: Airflow + Kafka, отслеживание lineage, инкрементальные загрузки, CI/CD для DAG’ов и многое другое. Спасибо, что были со мной в этом цикле. Теперь вы не просто смотрите на DAG — вы его строите. 🎥 Смотреть видео: ▶️ VK: https://vkvideo.ru/video-231048746_456239026 ▶️ YouTube: https://youtu.be/sCd0s9ha_Vc P.S. А вы заметили, что я сменил микрофон? Теперь в записи нет звука моего дыхания — только чистый звук и жужжание DAG’ов.☺️ Приятного просмотра — а завтра попробуйте сломать этот DAG. Уверен, он выдержит! #КакРаботаютДанные #Airflow