Алексей Сидоров - Современные архитектуры данных на примере Data Mesh и других
Такие подходы как Agile, DevOps, микросервисная архитектура в корне изменили принципы разработки программного обеспечения в последнее десятилетие. Однако в вопросах управления данными мы до сих пор опираемся на архитектурные решения, предложенные в конце прошлого века.
Движение по пути цифровой трансформации требует обработки огромных массивов очищенных, унифицированных данных, доступных в реальном времени. В то же время ИТ-организации упорно продолжают пытаться собрать все данные в едином монолитном репозитории, будь то хранилище или озеро данных.
Как же будет выглядеть ландшафт данных XXI века? Ответ очевиден - мы переходим к парадигме управления данными в распределенном, виртуальном виде.
В докладе рассмотрим современные виртуальные архитектуры, которые набирает все большую популярность среди профессионалов в области управления данными.
Пікірлер: 4
Но так же соглашусь и про виртуализацию данных, её важность. Фактически, для ИИ, который видит всю цепочку происхождения данных - больше не так нуждается в классическом отмоделленом на core-слое DWH, зная цепочку - ее можно раскрутить до источника сразу, без завязки на технологический процесс затягивания всего и вся в ХД
И как бы - для чего нужна централизация, - генеративный ИИ, который пришел в наш век особенно активно с Мая 2023 - это по-сути глобальный чекпойнт и следующий этап развития- для того, чтобы ИИ действительно классно работал и бизнес видел свои эффекты в этой всей истории - данные должны быть не просто качественными, а супер подготовленными; метаданные выходят на тот же план по важности, что и основные/справочные данные. По-сути - data lineage любого инфопотока, сведения о происхождении любого датасета - становятся краеугольным камнем. Имхо Data Mesh, в своей несколько колхозной парадигме неспособен обеспечить такой же уровень качества, который требуется генеративному ИИ. А этот ИИ - следующий шаг в развитии по видению того же Gartner - 4х ступенчатый уровень развития - от информационного портала -> аналитическая мастерская -> лаборатория Data Science -> AI Hub
data mesh a не mash)))