Apache Spark. SparkSession и работа с партициями
Apache Spark. SparkSession и работа с партициями В этом видео: Почему дефолтные 200 партиций могут убить производительность в продакшене? Разбираем на живом демо: 8 партиций vs 2000. Покажу, как неправильная конфигурация shuffle.partitions замедляет джобы, и почему адаптивный реж
31-01-2026 14:00 (МСК)
Apache Spark. SparkSession и работа с партициями В этом видео: Почему дефолтные 200 партиций могут убить производительность в продакшене? Разбираем на живом демо: 8 партиций vs 2000. Покажу, как неправильная конфигурация shuffle.partitions замедляет джобы, и почему адаптивный режим (AQE) может быть полезен. Смотреть на YouTube: https://youtu.be/RqWQpgwQuWE Смотреть на VK: https://vkvideo.ru/video-231048746_456239043 Материалы: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/19_spark_session P.S. В следующем выпуске: Почему формат хранения может быть важнее вашего кода (CSV vs Parquet). #КакРаботаютДанные #ApacheSpark