Cấu trúc team Data Engineer? Data Platform Engineer, Data Engineer, Data Analytics Engineer

Hello mọi người,
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.

Пікірлер: 89

  • @kivisatedomotoji5956
    @kivisatedomotoji59562 ай бұрын

    Video dễ hiểu lắm ạ. Thank kiu anh

  • @TinTran-ch9tr
    @TinTran-ch9trАй бұрын

    video dễ hiểu quá, cảm ơn A. Chúc A sức khỏe

  • @BaoHoTrong
    @BaoHoTrong9 күн бұрын

    cảm ơn video của anh đã giúp em hình dung rõ hơn về công việc của một data engineer

  • @nguyenngocphat2965
    @nguyenngocphat29652 ай бұрын

    Lặn lâu quá anh ơi, rất vui khi anh đã quay lại ạ

  • @trungkiennguyen4878
    @trungkiennguyen48782 ай бұрын

    Lâu lắm r mới thấy a lên video. Video rất hay. Chúc anh nhiều sức khoẻ

  • @thungachauthi1774
    @thungachauthi1774Ай бұрын

    Video của bạn rất hữu ích, cảm ơn bạn❤

  • @quangthinh96
    @quangthinh962 ай бұрын

    Chào anh, lâu lắm rồi mới thấy anh lên video, bắt đầu xem anh từ hồi mới chập chững học DE để chuyển ngành, nay em mới được nhận vào vị trí fresher rồi, bữa chuẩn bị phỏng vấn có lục lại video của anh để ôn lại kiến thức, cảm ơn anh nhiều. Chúc anh nhiều sức khoẻ và thành công.

  • @glight16
    @glight162 ай бұрын

    lâu lắm rồi mới thấy anh lên lại video. Chúc anh sức khỏe để chóng ra video chia sẻ mới kk

  • @Charles-my2pb
    @Charles-my2pb2 ай бұрын

    lâu lắm mới thấy anh lên videos, em theo dõi anh từ hồi năm nhất, qua các kiểu từ research đến applied CV, cuối cùng đang chuẩn bị quay qua làm MLOps thì anh lên video :)) đúng ý trời luôn ạ

  • @huyle-ve8qi
    @huyle-ve8qiАй бұрын

    Xem ông anh từ hồi mình mới chập chững bước vào data giờ cũng thấp thoáng 2.5 năm rùi cảm thấy xem vẫn có động lực theo đuổi data như hồi mới ngày nào

  • @namquach73
    @namquach732 ай бұрын

    hay quá a!!!

  • @PhanNguyen_010
    @PhanNguyen_0102 ай бұрын

    cảm ơn anh vì những chia sẻ hữu ích, mới những ngày đầu còn nghe anh để đi phỏng vấn thực tập mà bây h đã đi làm tới công ty thứ 3 rồi, mục tiêu vẫn kiên định vì càng học càng thấy mình chẳng biết gì nhiều, tương lai cũng mong trở thành 1 senior về DE ạ, cảm ơn chia sẻ quý báu của anh ạ

  • @hieutrinhminh7851
    @hieutrinhminh78512 ай бұрын

    Hello a, lâu lắm mới thấy a comeback

  • @giahuytran1428
    @giahuytran14282 ай бұрын

    Bọn em chờ a lâu lắm gòi

  • @TynE
    @TynE2 ай бұрын

    Ôi vãi, anh lặn lâu kinh vậy😄😄. Nhưng mà cũng chào mừng anh quay trở lại nhé hahaha👏👏👏

  • @datbui8807
    @datbui88072 ай бұрын

    chào mừng anh quay lại : D

  • @user-ut2dz4gf7c
    @user-ut2dz4gf7c2 ай бұрын

    hello a, lâu rùi không có video của anh để xem

  • @syyvuu699
    @syyvuu6992 ай бұрын

    Mong anh ra thêm các video về các kiến trúc hệ thống data lake, lakehouse

  • @quocnguyeninh32
    @quocnguyeninh322 ай бұрын

    Lâu rồi mới thấy anh! Coi anh từ lúc chật vật kiếm job cho tới khi có job ạ hehe :3 Cảm ơn anh đã cho em mindset đúng đắn hơn về mảng này ạ :3

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Xịn, chúc mừng em nha

  • @nguyeninhan8542
    @nguyeninhan85422 ай бұрын

    hay a oi

  • @MaheshNair27
    @MaheshNair272 ай бұрын

    Long time no see!

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    boss, haha

  • @tpt0701
    @tpt07012 ай бұрын

    Lời khuyên đúng và bổ ích, giống hết với case của mình làm DE xong sang DevOps Engineer giờ có cả skill của hai mảng. Nếu các bạn muốn tăng lương hoặc kiếm cơ hội nên học cloud và Terraform!

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Xịn, vậy là lương giờ cao lắm nè :))

  • @tpt0701

    @tpt0701

    2 ай бұрын

    @@DataGuyStory Hên xui anh ah kk, em mời ra trường thôi trước em thực tập DE gần 1 năm sau đó được offer DevOps, với một phần em làm ở Mĩ nên mức lương nó cũng cao hơn mặt bằng chung tương đối :))

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Vậy là ông nhận lương cao nhá =]] tui nói không có sai :)))

  • @danhpro5866
    @danhpro58662 ай бұрын

    lâu quá mới thấy a

  • @linh-phgvu
    @linh-phgvu2 ай бұрын

    Lâu lắm rồi mới thấy chủ xị 🙌 Lâu tới nỗi em không còn theo DE nữa huhu =)))))) Nhưng mà vẫn like video rồi nha 😸

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Lâu quá không gặp, cám ơn cô gái nha

  • @nguyenvankhanhduy3958
    @nguyenvankhanhduy39582 ай бұрын

    Lâu quá mới thấy anh làm clip lại.

  • @andylee8283
    @andylee82832 ай бұрын

    longtime no see

  • @huyhandes
    @huyhandes2 ай бұрын

    Chỗ em có 2 ông làm từ Platform đến Analytics luôn. Có devops support, còn phía analytics có thêm BA support

  • @AlanTran18
    @AlanTran182 ай бұрын

    Lâu rồi mới thấy anh lên video, coi anh từ hồi học đại học, ra trường làm IoT + Backend. Giờ bén duyên du học Master Data Science. Hy vọng anh có nhiều thời gian lên video chia sẻ nhiều hơn ạ. Chúc anh thật nhiều sức khỏe 😉😉

  • @trungbac_

    @trungbac_

    2 ай бұрын

    dạ anh có thể cho em xin contact để hỏi về việc đi du học master DS được k ạ, em cảm ơn

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Ủa ngon dị, du học ở đâu á em. Chúc mừng hen :3

  • @AlanTran18

    @AlanTran18

    2 ай бұрын

    ​@@DataGuyStory Dạ em du học ở Úc, e thì tốt nghiệp BKHCM ngành Automation, ra làm IoT + BE được 1 năm thì đi du học luôn. Trong 3 hướng DA, DS, DE thì em nhận thấy mình thích ngồi code, build hệ thống và design này nọ hơn là communicate với customer. Ở bang của em mảng Natural Resource and Energy rất phát triển, họ tuyển DS chủ yếu làm những thứ như video của anh luôn nên em không thích hướng Research cho lắm ạ

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Nghe nói mảng niche vậy hơi bị xịn. Tính ra mấy mảng như vậy lại ít cạnh tranh thì phải, giờ ai cũng apply AI nên mấy cái như vậy người ta tuyển nhiều về nghiên cứu. Mà chắc nghiên cứu xong cũng cần người build code này nọ mà.

  • @AlanTran18

    @AlanTran18

    2 ай бұрын

    @@DataGuyStory dạ e mới vào học thôi, nhưng e du học ở Tây Úc thì mảng năng lượng này luôn là thế mạnh ở đây. Nên em nghĩ 2 3 năm tới vẫn còn chỗ để mình “aim to” Thank you anh 💪

  • @datha1605
    @datha16052 ай бұрын

    Với trend AI như hiện tại, thì việc định hướng học data cơ được ko bạn nhỉ, và chi tiết hơn là nên học chuyên sâu ra sao

  • @hn_ac6865
    @hn_ac68652 ай бұрын

    chời ơi lâu lắm r mới thấy a ra video, không biết a còn nhớ không nhma từng có 1 bạn sv năm nhất nhắn hỏi a về lộ trình trở thành một DE và bây giờ bạn đó chuẩn bị nhắn nhờ a review cv thực tập DE nè :333

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    xịn, quăng cv qua anh xem thử tiến bộ tới đâu rồi :D

  • @charathip223
    @charathip2232 ай бұрын

    Anh ơi em muốn làm DS thì có cần phải học ctdl và gth ko a ?

  • @ducdoX
    @ducdoX2 ай бұрын

    lau lam moi thay anh len hinh lai

  • @user-jk7gh7ch6h
    @user-jk7gh7ch6hАй бұрын

    Chào a Duy. E hiện tại đang làm trong ngành logistics. Em chưa từng học IT và chưa từng làm qua bất vị trí nào trong ngành IT. Bây giờ e muốn chuyển sang làm data engineer. Với ng tất cả từ con số 0 như em có thể học để trở thành data engineer ko a ? Nếu có thể thì sẽ bắt đầu từ đâu và lộ trình như thế nào ạ. Xin a tư vấn cho em với ạ. Em thật sự muốn trở thành 1 data engineer. Em cảm ơn a.

  • @tuyetinhthianh871
    @tuyetinhthianh8717 күн бұрын

    anh có ra vid về schema chưa ạ

  • @littlerain1268
    @littlerain126817 күн бұрын

    Chào a , e muốn hỏi một vấn đề , hiện tại hệ thống đang có đâu đó 1xxx các ETL chạy bằng lambda của aws để insert data vào dwh cũng như các hệ thống khác , thì có cách nào để visualize data flow không ạ

  • @DataGuyStory

    @DataGuyStory

    13 күн бұрын

    Nếu stack xài aws thì có cái aws quickSight á. Em thử cho read metadata sang quickSight để làm data lineage xem

  • @francotrinh5692
    @francotrinh56922 ай бұрын

    Làm Data Engineer thì ngôn ngữ R có hữu ích không anh

  • @anhquanmai9500
    @anhquanmai95005 күн бұрын

    anh ơi cái quyển sách về DE anh sắp ra mắt đâu r ạ

  • @kientrung-io4jt
    @kientrung-io4jtАй бұрын

    em chào anh ạ, anh ơi em thấy xu hướng hiện tại đẩy mọi thứ lên cloud thì anh có thấy rằng data platform engineer có đang mất dần chỗ đứng không ạ, và mình nên đi theo hướng nào hợp lý ạ

  • @DataGuyStory

    @DataGuyStory

    Ай бұрын

    Ủa Data Platform còn cần hơn DE khi chuyển mọi thứ lên cloud mà em. Sao lại mất dần chỗ đứng =))

  • @kientrung-io4jt

    @kientrung-io4jt

    Ай бұрын

    @@DataGuyStory Ví dụ như Hadoop và spark bây giờ mình không cần lo cài nữa mà cloud có thể lo hết việc đó luôn rồi, đối với thị trường vn là thế nên em thấy hơi lo lắng ạ

  • @parkhhp
    @parkhhp2 ай бұрын

    dạ em chào anh, hiện em là sinh viên năm 2 chuyên ngành khoa học dữ liệu, em tính đi theo hướng DS. Vậy theo anh DS có cần phải đi theo hướng research không (research trong lab)? Sau khi research thì có ra làm việc được không? hoặc nếu không đi research thì em nên học những gì để có thể phục vụ cho nghề DS ạ? Em cảm ơn.

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Nếu em định làm AI Engineer thì không cần. Còn nếu theo DS thì cố gắng học sau đại học nha. Không nhất thiết research trong lab mà research ở R&D center của công ty cũng được á

  • @parkhhp

    @parkhhp

    2 ай бұрын

    @@DataGuyStory dạ em cũng có tính sau khi tốt nghiệp đại học thì cố gắng xin hb master (cụ thể là các qg như hàn, sin). anh có thể cho em hỏi yếu tố nào quan trọng để xin được học bổng master k (gpa, ielts, paper,...). Các bài báo khoa học có phải là điều kiện cần để có thể xin được học bổng k ạ?

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Cái này ngắn gọn hơi khó nói. Điều kiện học bổng còn tuỳ thuộc vào từng trường nữa á. Em nhắn fanpage anh nhé, anh hỗ trợ cụ thể hơn

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Cơ bản thì có thể là các bài nghiên cứu khoa học, thành tích học tập. Còn tiếng anh sẽ là bắt buộc á em

  • @parkhhp

    @parkhhp

    2 ай бұрын

    @@DataGuyStory dạ anh

  • @thangnguyen3786
    @thangnguyen37862 ай бұрын

    Chào anh em, cho mình hỏi là không có gốc gác về kinh tế có học được BI hoặc Business Engineer không. Mình là 100% bên kỹ thuật-cntt, đang học về DE và hiện cũng đang kiếm việc làm nhưng mà ít job DE intern/fresher/entry level quá.

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    được nhé, cứ thử apply thôi sợ gì nè.

  • @thangnguyen3786

    @thangnguyen3786

    2 ай бұрын

    @@DataGuyStory Hi anh, dạo này thị trg DE ít job cho newbie quá. Em cũng đã làm vài projects, có tiếng anh, có IBM cert nhưng cũng khó kiếm job quá anh. Hầu hết là min 1.5y- 2y exp :((((

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Thật sự nhiều khi cái min experiences nó cũng không quan trọng đâu. Công ty họ tìm người biết làm là chủ yếu, nhiều khi kinh nghiệm 3 năm mà cũng không biết làm ấy chớ. Em ping CV của em sang fanpage anh xem thử thế nào nhé

  • @huyvu4741
    @huyvu47412 ай бұрын

    A ơi e là sinh viên muốn theo hướng DE thì nên làm đồ án về đề tài gì để có lợi cho sau này ạ

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Em thử tìm mấy cái đồ án liên quan tới dwh hoặc etl ấy

  • @BaoHoTrong
    @BaoHoTrong9 күн бұрын

    Đọc bình luận thôi cũng thấy 1 đống kiến thức =)))

  • @phanhuyhoang3720
    @phanhuyhoang37202 ай бұрын

    Hiện tại tầng trên cùng sẽ tích hợp với domain và người ta hay gọi là DA DS BI 😁😁😁😁😁

  • @nguyenquoctuan2161
    @nguyenquoctuan21612 ай бұрын

    E muốn làm cả DA và DE thì có ổn k a?

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Được á, nhưng mà nên chọn 1 trong 2 cho chuyên sâu thôi em. Đường dài mà chuyên 1 cái ổn hơn á

  • @NamNguyen-pn1od
    @NamNguyen-pn1od2 ай бұрын

    năm ngoái còn nhắn hỏi anh về vụ set up data stack và dc anh giao task build cái app nho nhỏ dùng airflow lấy api từ dummy đầy vào mysql r dùng spark ETL vào hadoop, mà h em đang fresher DE rồi :))) k biết anh có nhớ em không :v

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Xịn vậy, rồi cái data stack đó có làm đc ko hay có việc trc khi xong rồi 😂😂

  • @NamNguyen-pn1od

    @NamNguyen-pn1od

    2 ай бұрын

    @@DataGuyStory haha, em làm được rùi anh ui, mà anh cho em hỏi với h cty em đang dùng prefect để automate ETL trên google cloud platform, e đang tính triển khai cloud composer thì nó có tối ưu hơn prefect không anh nhỉ

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    @@NamNguyen-pn1od à, để so sánh thì phải tùy vào công ty thôi. Prefect nó mới hơn nên hỗ trợ từ cộng đồng sẽ ít hơn airflow. Airflow kiểu lão làng nên đa phần các bug/issue/tasks đều sẽ kiếm được solution. Còn về performance hay tối ưu thì tùy thuộc vào người dùng, airflow cũng có cách để tối ưu performance hay workflow tốt hơn. Prefect có thể dễ hơn vì nó mới và hỗ trợ được những cái thiếu sót của airflow. Nếu mà chỉ làm việc đơn thuần với scheduling, workflow này nọ thì prefect với airflow là nhưng nhau thôi. Còn nếu em quyết định làm những task khó hơn đòi hỏi complex workflow and tối ưu thì anh recommend airflow vì support từ cộng đồng tốt hơn.

  • @NamNguyen-pn1od

    @NamNguyen-pn1od

    2 ай бұрын

    @@DataGuyStory dạ em cảm ơn anh ạ

  • @hochiuc2706
    @hochiuc27062 ай бұрын

    Em đang tự học. Mà khó tìm được nguồn dữ liệu để thực hành quá 😥😢

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Nhiều lắm mà em, ví dụ nè www.kaggle.com/code/benhamner/competitions-with-largest-datasets

  • @hochiuc2706

    @hochiuc2706

    2 ай бұрын

    @@DataGuyStory Em cảm ơn anh

  • @TuanAnhTran-ue8ed
    @TuanAnhTran-ue8edАй бұрын

    cho em xin in4 đồng hồ anh đeo với a Cảnh

  • @DataGuyStory

    @DataGuyStory

    Ай бұрын

    Tudor BB 54 nha

  • @theyuhtahn6207
    @theyuhtahn62072 ай бұрын

    .

  • @Scorpisces1911
    @Scorpisces19112 ай бұрын

    Hic anh tui anh tui :(

  • @Scorpisces1911

    @Scorpisces1911

    2 ай бұрын

    Tâm huyết thế này phải bật $Thank$ đi anh :x

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    Thôi, ai lại thế =))

  • @dangtran9405
    @dangtran94052 ай бұрын

    Này đa phần chắc chỉ có bên cty ở nc ngoài thôi, chứ việt nam thì đa phần doanh nghiệp mún 1 ông data phải biết tuốt từ data science, data analyst, data engineer, kiêm hết 😂

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    chuẩn rồi, lương 10tr nhiều khi còn phải viết content nữa mà =))

  • @duyvuba5289

    @duyvuba5289

    Ай бұрын

    Đúng òi, 1 người phụ trách tất tần tần về data chứ ko có chia role gì hết 😆. Đc cái như vầy thì exp lên nhanh do việc gì cũng đến tay

  • @ductdadamn
    @ductdadamn2 ай бұрын

    anh ơi em sắp thi đại học và định hướng tương lai làm DE, cho em hỏi anh thấy học ngành khoa học dữ liệu của đại học khoa học tự nhiên hay ngành hệ thống dữ liệu của đại học công nghệ tốt hơn ạ?(cả 2 trường đều thuộc đhqg Hà Nội ạ)

  • @DataGuyStory

    @DataGuyStory

    2 ай бұрын

    anh không rõ nữa, em có thể xem thử chương trình đào tạo của 2 trường, xem bên nào liên quan đến data engineer nhiều hơn nha

  • @syyvuu699

    @syyvuu699

    2 ай бұрын

    bạn mình học ngành DS của KHTN thì chương trình học chủ yếu là về DS/AI (không liên quan đến DE lắm). Bạn nên nghiên cứu chương trình học của 2 ngành đó nếu thấy có những học phần như: Cơ sở dữ liệu, Kho dữ liệu và kinh doanh thông minh thì phù hợp với định hướng DE