Ủa Database, Datalake, Data Warehouse là gì ? Giải thích bởi Senior Data Engineer
Chào các bạn, ở video này mình giải thích cho về các khái niệm siêu cơ bản của Data Engineer: Database - Datalake và Data Warehouse nha. Bonus thêm DataMart và vai trò của Data Engineer, Data Analytics, Data Scientist khi làm việc với hệ thống nữa.
Một số thuật ngữ mà mình sử dụng: OLTP, OLAP, Snowflake, Star Schema, Data Modeling
Fanpage: dataguystory
About me: www.calvinio.com/about/
Chúc mọi người xem video vui vẻ.
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore với 5 năm kinh nghiệm. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Credits:
Feelin Good by Kevin MacLeod được under license Creative Commons Attribution (creativecommons.org/licenses/...)
Source: incompetech.com/music/royalty...
Artist: Kevin MacLeod (incompetech.com/)
#dataengineer #datawarehouse #datalake
Пікірлер: 71
Cái mô hình từ Database - Datalake - Data Warhouse này là ELT nhé. Sorry mọi người
Cám ơn ý kiến của một bạn, mình xin đính chính database là cơ sở dữ liệu chứ không phải hệ quản trị cơ sở dữ liệu nhé. Xin lỗi anh chị em :)
@ourworld7206
2 жыл бұрын
Mình từ ngành khác - bây giờ muốn tìm hiểu data analyst thì mình bắt đầu từ đâu. Thks bạn.
@minhly650
2 жыл бұрын
@@ourworld7206 Bắt đầu bằng việc học Python. Sau đó tìm hiểu về các library của Python dùng để xử lí và hiển thị dữ liệu là Pandas, Numpy...
Video nào của anh cũng chất lượng hết trơn ❤️❤️
Tuyệt quá tìm mãi mới thấy anh để hiểu về cái này. Cám ơn a rất nhiều
Cảm ơn anh về video. Rất ngắn gọn và dễ hiểu. Mong anh ra nhiều video hơn về ngành DE này ạ
Giải thích và cho vd dễ hiểu, cảm ơn anh nhiều nhé, chúc a thành công ^^
Video chất lượng cho người mới tìm hiểu như em anh ạ
cảm ơn anh về những chia sẽ ^^ hóng từng video một của anh
Video rất bổ ích. Cảm ơn Cảnh!
Cảm ơn anh Cảnh. dễ hiểu và hữu ích lắm anh
Anh giải thích dễ hiểu quá ạ
Video hữu ích lắm, cảm ơn Cảnh nhiều 👍👍👍
Hóng video mới ạ! 😍
Hay và dễ hiểu lắm anh. Cám ơn anh nhiều ạ
mong anh ra thêm video cần học và làm gì để có thể định hướng trở thành DE ạ. Xem vid của anh cuốn quá ạ !!!
Video rất hay, cảm ơn anh.
Cảm ơn bạn, rất dễ hiểu ạ
Video rất hay, rất mong anh làm một video về xây dựng một data warehouse
Video của anh không dài, tần suất ra ít, nhưng ra cái nào là chất cái đó :)))
Cảm ơn anh rất nhiều! Chúc anh luôn thành công, hạnh phúc và gặp nhiều may mắn trong cuộc sống. Anh có thể làm video về quá trình sự nghiệp của anh được không ạ?
cảm ơn video của anh, đúng lúc project có cái này luôn
cảm ơn a ạ. Video rất hay, anh có thể làm một video hướng dẫn về ETL một cách chi tiết được không ạ.
Anh thêm các Tut trong chủ đề này nữa đi hả. Xem rất dễ hiểu, đúng là Senior có khác ạ
Ok, tôi đã bấm đăng ký kể từ video này
Hay...mình kg phải chuyên ngành này nhưng cũng làm việc liên quan lên số liệu và data nên cần phân tích số liệu để đưa ra cái nhìn trực quan hơn .
Worked , thanks a lot!
Hay quá b
Still working as of today, ty!
Rất chi tiết
anh ơi video rất bổ ích ạ. Nhưng ngoài ra a có thể nói thêm về các cách để chuyển từ datawarehouse sang datamart như nào không ạ???
Awesome! More please !!!
@DataGuyStory
3 жыл бұрын
On it! :D
anh có thể làm một ví dụ cụ thể nào đó về một quá trình ETL được không ạ, Cảm ơn anh
Cảm ơn anhh
cám ơn bạn
From Toi di code dao with love
Anh có thể làm kèm theo demo được không ạ.
được vl anh ơi :D
Cho mình hỏi mình học hệ thống thông tin làm về Data engineer dc k vậy bác ?
úi database chỉ là dữ liệu cơ sở thôi chứ anh nhỉ? hệ qtri CSDL em nhớ là DBSM thì phải. Hy vọng trong tương lai a sẽ làm video emphasize rõ hơn role của Data Scientist khi liên hệ với business side ạ! Btw keep up with your good work anh, videos của anh rất dễ hiểu và xúc tích 👍👍
@DataGuyStory
3 жыл бұрын
DBMS, có đính chính lại ùi á :D
@vuhuynh4592
3 жыл бұрын
là BDSM chứ =))
@mindset5228
2 жыл бұрын
"A database system, also called a database management system (DBMS), consists of a collection of interrelated data, known as a database" Sách Data Mining nè bác. Gọi như nhau.
Hi ạ! Anh có thể làm video chia sẻ về AWS được không ạ? Giả dụ công ty đã sử dụng AWS rồi, thì có cần phải tuyển thêm Data Engineer, Data Analyst,.. nữa không ạ? Em cảm ơn anh!
@DataGuyStory
3 жыл бұрын
AWS chỉ là nền tảng. Không có DE, DA thì AWS đâu để làm gì em
hay vl, subscribe ngay và lon
data lake co ve giong staging
data Science can trang bi nhung gi ha a , e cam on a
giá mak biết sớm hơn về kênh
a ơi, vậy nếu như mỗi cái nhu cầu báo cáo, phân tích khác nhau thì dữ liệu mình đổ vào data warehouse sẽ khác nhau, vậy thì với một datalake mình sẽ có nhiều data warehouse đúng k ạ
@DataGuyStory
Ай бұрын
Data Warehouse chỉ có một thôi nhé. Nên người ta mới gọi là Single Source of Truth
A học trường nào vậy ạ
Anh Cảnh cho em hỏi: Case thứ 2 nếu như extract từ Datalake ra Report và send email cho sếp. Nếu như mình ko cần lưu thì mình tới Data warehouse làm gì a nhỉ?
@DataGuyStory
Жыл бұрын
Thông thường là đều lưu lại hết em. Còn nếu không cần lưu thì khỏi cần DWH nha
@angkhoanguyen7566
Жыл бұрын
@@DataGuyStory Thanks a. Anyway cho em hỏi về quá trình Ingestion, các phương thức Ingestion theo em tìm hiểu thì có Batch - Stream - ELT - API. Thì khi nào mình áp dụng phương thức cho mỗi DB vậy anh Cảnh nhỉ? Thứ 2 cho em hỏi về việc backup data ở trong Datalake, giữa real-time backup và T-1 backup thì cách thức hoạt động của nó sẽ như nào a ha?
Data Engineer co phai cung la database manager lun khong anh
@DataGuyStory
3 жыл бұрын
Không em. Database là khác nữa
Dạ a ứi, hiện tại bên Việt Nam một số bạn làm hệ thống crm có thêm một từ khoá là cdp customer data platform. A cho e hỏi đó là gì và sao câc bạn crm lại cho ra hệ thống đó ạ
@DataGuyStory
3 жыл бұрын
À, Customer Data Platform (CDP) là một hệ thống data riêng và phục vụ duy nhất cho Marketing team. Data Warehouse thì nó phục vụ toàn bộ công ty, còn CDP chỉ phục vụ cho một team, tối ưu cho việc marketing để segment khách hàng và target customers cho marketing campaign. Thường thì nếu công ty nhỏ mà xây dựng Data Warehouse chỉ cho việc phân tích dữ liệu Marketing thì có thể xài CDP. Còn nếu công ty lớn đã có sẵn Data Warehouse rồi thì việc xây dựng hệ thống CDP con từ DW có sẵn lại dễ dàng hơn nữa.
@loutruong8000
3 жыл бұрын
@@DataGuyStory Dạ a, tại e làm mkt á a, lead của customer của e đổ vào trong CRM. Khi e cần visualize 1 cái ad hoc hypothesis thì các anh DE bảo sẽ là phải đổ vào trong CDP để làm sạch r từ đó e mới query ra thành bảng mà đi visualize lại
@DataGuyStory
3 жыл бұрын
@@loutruong8000 mình nghĩ do bên bạn hệ thống data chủ yếu là cho marketing nên các bạn DE mới xây dựng CDP, phương pháp tốt nhất mà hiệu quả nhất rồi :)
First like =))))
anh cho em hỏi data load vô data lake sao lại là ETL vậy anh? Vì theo em biết thì quy trình ETL không có support data lake thì phải.
@DataGuyStory
2 жыл бұрын
Nó là ELT đó em. Anh vẽ lộn cái lười edit đó
@DataGuyStory
2 жыл бұрын
Với anh có cái comment đính chính lại á em. 1 năm trước nên nó trôi mất tiêu thì phải
mình đanh vướng mắc ở phần OLAP, có ai support mình kh ạ 😢
Mình ở đây vì hông muốn giống bò :))))
Vứt
Cô đọng và dễ hiểu.