Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Валерия расскажет про Hadoop-кластер, где запускаются сотни ежедневных и тысячи ежечасных Spark-расчётов. Все расчёты очень разные и со своим SLA. В такой ситуации тюнить силами инженеров нереально. Поэтому они построили и внедрили полностью автоматическую систему тюнинга, основанную на логах, которые пишет сам Spark.
Валерия покажет, как удобно в офлайн-режиме извлечь море информации из этих логов и на что смотреть при автоматическом тюнинге spark.executor.memory. Она также подробно расскажет, как устроена их система тюнинга и что позволяет им постоянно подстраиваться под изменения. Доклад будет интересен тем, кто уже имеет дело со Spark и представляет себе его устройство.