Максим Стаценко - Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет.
Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Доклад Максима будет про плюсы и минусы различных решений для хранения данных: облака или bare metal, Hadoop&CO, Vertica, ClickHouse, ExaSol, GreenPlum (ArenaDataDB), RDBMS, Teradata и др.
Работая в крупных компаниях, спикер попробовал много решений, сравнил их на одинаковых данных и задал вопросы их разработчикам/поставщикам. В итоге Максим поделится опытом и размышлениями, какие решения для каких случаев подходят больше, а для каких меньше.
Если вы собираетесь построить/перестроить свое хранилище данных, то данный доклад поможет вам сократить список технологий, которые стоит попробовать перед выбором решения, которое подходит именно вам.
Пікірлер: 9
Спасибо за отличные доклады! Было очень интересно послушать!
@dataengineer3961
3 жыл бұрын
Подскажите пожалуйста, кто знает - возможно ли свичнуться джуном в Data Engineering? За плечами опыт администрирования баз данных и немного умею в разработку на Java, сейчас изучаю Scala на Coursera.
Спасибо!
Интересный обзор. Спасибо!!! Teradata не имеет своего аркестратора, если, конечно, не имелся в виду SLJM))). Не понятен пункт про транзакционность для MPP систем. Просто, как пункт по которому можно сравнивать (аля просто наличие, или отсутствие)? Ну или пример не очень удачно выбран. Для MPP систем транзакционный характер потоков загрузки данных, как правило говорит о недостаточной проработке архитектуры решения. Еще бы предложил добавить в обзор про особенности построения решений Active DWH (не загрузка данных пачками по регламенту, а потоковая загрузка) для этих систем, там множество нюансов вылазит
Сборка выключателя тоже собственная?)
сейчас уже никакие новые проекты на хадупе уже на стартуют
@Kovelart
Жыл бұрын
А на чем тогда?
@ivani3237
Жыл бұрын
@@Kovelart на облаке, с S3 или Azure Data Lake + snowflake + какой-нить DBT
Нагрепать данных в интернете )) Звучит смешно. Мы все живём в матрице, а матрица работает на линуксе.