Различие DWH и Datalake, и с чего начать лучше?
Много слов сказано про Data Lakes, и многие берутся за построение именно озер данных. Прекрасная идея - все данные в любом виде пусть хранятся, пусть их будет много, и вот тогда мы всё проанализируем! Или нет?
Для чего нужны Data Lake, почему их построение часто заканчивается Data Swamp (болотом данных), и почему бизнесу приоритетнее строить DWH (структурированное хранилище данных).
Спикер: Андрей Путин, CEO KT.Team
0:00 Когда подходит концепция Data Lake - хранилище сырых (в исходном виде) данных предприятия
1:53 Когда подходит концепция DWH (Data Warehouse), структурированное хранение данных
3:26 Как Data Lake может превратиться в Data swamp (болото данных)
Задать вопрос по проекту: www.kt-team.ru/
Полезные ссылки:
А если все интеграции сделать через Kafka?
• А если все интеграции ...
Интеграции как индикатор качества вашей IT-архитектуры
• Интеграции как индикат...
#Андрей_Путин #Data_Lake #База_данных #Хранилище_данных #структурированное_хранилище #корпоративное_хранилище #хранение_информации #сырые_данные #анализ_данных #DWH #DWH_аналитика #Данные_DWH #CRM #CRM_системы #Слабая_связанность #интеграции #IT_интеграции #ИТ_контур #ИТархитектура #IT_контур #IT_архитектура #ит_монолит
Пікірлер: 3
Я правильно понимаю, что вы предлагаете использовать аналитический инструмент (dwh) для интеграции между системами?
@andrey_putin
5 ай бұрын
Если буквально, DWH - это склад данных. Я не считаю, что DWH - (только) аналитический инструмент. То, что его часто (только) так используют, не оценивая побочные эффекты такого отношения - другая история. Если у вас все интеграции делаются через middleware, то во-первых это делает ваш контур слабо связанным, а если у вас данные выходов всех бизнес-процессов уже в DWH, то подключить к этому BI - задача на часы и дни, даже в очень крупных контурах.
@BASic_37
5 ай бұрын
@@andrey_putin мне кажется тут могут быть проблемы с точки зрения размытия зоны ответственности систем, пытаясь сделать универсальный инструмент. Например, dwh это больше про пакетный сбор, в то время, как классическая интеграция через брокеры/шины чаще про потоковый сбор, пытаясь использовать систему не по назначению, мы начинаем костылить усложняя ее и давая не свойственную нагрузку.