Cấu trúc team Data Engineer? Data Platform Engineer, Data Engineer, Data Analytics Engineer
Hello mọi người,
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.
Пікірлер: 89
Video dễ hiểu lắm ạ. Thank kiu anh
video dễ hiểu quá, cảm ơn A. Chúc A sức khỏe
cảm ơn video của anh đã giúp em hình dung rõ hơn về công việc của một data engineer
Lặn lâu quá anh ơi, rất vui khi anh đã quay lại ạ
Lâu lắm r mới thấy a lên video. Video rất hay. Chúc anh nhiều sức khoẻ
Video của bạn rất hữu ích, cảm ơn bạn❤
Chào anh, lâu lắm rồi mới thấy anh lên video, bắt đầu xem anh từ hồi mới chập chững học DE để chuyển ngành, nay em mới được nhận vào vị trí fresher rồi, bữa chuẩn bị phỏng vấn có lục lại video của anh để ôn lại kiến thức, cảm ơn anh nhiều. Chúc anh nhiều sức khoẻ và thành công.
lâu lắm rồi mới thấy anh lên lại video. Chúc anh sức khỏe để chóng ra video chia sẻ mới kk
lâu lắm mới thấy anh lên videos, em theo dõi anh từ hồi năm nhất, qua các kiểu từ research đến applied CV, cuối cùng đang chuẩn bị quay qua làm MLOps thì anh lên video :)) đúng ý trời luôn ạ
Xem ông anh từ hồi mình mới chập chững bước vào data giờ cũng thấp thoáng 2.5 năm rùi cảm thấy xem vẫn có động lực theo đuổi data như hồi mới ngày nào
hay quá a!!!
cảm ơn anh vì những chia sẻ hữu ích, mới những ngày đầu còn nghe anh để đi phỏng vấn thực tập mà bây h đã đi làm tới công ty thứ 3 rồi, mục tiêu vẫn kiên định vì càng học càng thấy mình chẳng biết gì nhiều, tương lai cũng mong trở thành 1 senior về DE ạ, cảm ơn chia sẻ quý báu của anh ạ
Hello a, lâu lắm mới thấy a comeback
Bọn em chờ a lâu lắm gòi
Ôi vãi, anh lặn lâu kinh vậy😄😄. Nhưng mà cũng chào mừng anh quay trở lại nhé hahaha👏👏👏
chào mừng anh quay lại : D
hello a, lâu rùi không có video của anh để xem
Mong anh ra thêm các video về các kiến trúc hệ thống data lake, lakehouse
Lâu rồi mới thấy anh! Coi anh từ lúc chật vật kiếm job cho tới khi có job ạ hehe :3 Cảm ơn anh đã cho em mindset đúng đắn hơn về mảng này ạ :3
@DataGuyStory
2 ай бұрын
Xịn, chúc mừng em nha
hay a oi
Long time no see!
@DataGuyStory
2 ай бұрын
boss, haha
Lời khuyên đúng và bổ ích, giống hết với case của mình làm DE xong sang DevOps Engineer giờ có cả skill của hai mảng. Nếu các bạn muốn tăng lương hoặc kiếm cơ hội nên học cloud và Terraform!
@DataGuyStory
2 ай бұрын
Xịn, vậy là lương giờ cao lắm nè :))
@tpt0701
2 ай бұрын
@@DataGuyStory Hên xui anh ah kk, em mời ra trường thôi trước em thực tập DE gần 1 năm sau đó được offer DevOps, với một phần em làm ở Mĩ nên mức lương nó cũng cao hơn mặt bằng chung tương đối :))
@DataGuyStory
2 ай бұрын
Vậy là ông nhận lương cao nhá =]] tui nói không có sai :)))
lâu quá mới thấy a
Lâu lắm rồi mới thấy chủ xị 🙌 Lâu tới nỗi em không còn theo DE nữa huhu =)))))) Nhưng mà vẫn like video rồi nha 😸
@DataGuyStory
2 ай бұрын
Lâu quá không gặp, cám ơn cô gái nha
Lâu quá mới thấy anh làm clip lại.
longtime no see
Chỗ em có 2 ông làm từ Platform đến Analytics luôn. Có devops support, còn phía analytics có thêm BA support
Lâu rồi mới thấy anh lên video, coi anh từ hồi học đại học, ra trường làm IoT + Backend. Giờ bén duyên du học Master Data Science. Hy vọng anh có nhiều thời gian lên video chia sẻ nhiều hơn ạ. Chúc anh thật nhiều sức khỏe 😉😉
@trungbac_
2 ай бұрын
dạ anh có thể cho em xin contact để hỏi về việc đi du học master DS được k ạ, em cảm ơn
@DataGuyStory
2 ай бұрын
Ủa ngon dị, du học ở đâu á em. Chúc mừng hen :3
@AlanTran18
2 ай бұрын
@@DataGuyStory Dạ em du học ở Úc, e thì tốt nghiệp BKHCM ngành Automation, ra làm IoT + BE được 1 năm thì đi du học luôn. Trong 3 hướng DA, DS, DE thì em nhận thấy mình thích ngồi code, build hệ thống và design này nọ hơn là communicate với customer. Ở bang của em mảng Natural Resource and Energy rất phát triển, họ tuyển DS chủ yếu làm những thứ như video của anh luôn nên em không thích hướng Research cho lắm ạ
@DataGuyStory
2 ай бұрын
Nghe nói mảng niche vậy hơi bị xịn. Tính ra mấy mảng như vậy lại ít cạnh tranh thì phải, giờ ai cũng apply AI nên mấy cái như vậy người ta tuyển nhiều về nghiên cứu. Mà chắc nghiên cứu xong cũng cần người build code này nọ mà.
@AlanTran18
2 ай бұрын
@@DataGuyStory dạ e mới vào học thôi, nhưng e du học ở Tây Úc thì mảng năng lượng này luôn là thế mạnh ở đây. Nên em nghĩ 2 3 năm tới vẫn còn chỗ để mình “aim to” Thank you anh 💪
Với trend AI như hiện tại, thì việc định hướng học data cơ được ko bạn nhỉ, và chi tiết hơn là nên học chuyên sâu ra sao
chời ơi lâu lắm r mới thấy a ra video, không biết a còn nhớ không nhma từng có 1 bạn sv năm nhất nhắn hỏi a về lộ trình trở thành một DE và bây giờ bạn đó chuẩn bị nhắn nhờ a review cv thực tập DE nè :333
@DataGuyStory
2 ай бұрын
xịn, quăng cv qua anh xem thử tiến bộ tới đâu rồi :D
Anh ơi em muốn làm DS thì có cần phải học ctdl và gth ko a ?
lau lam moi thay anh len hinh lai
Chào a Duy. E hiện tại đang làm trong ngành logistics. Em chưa từng học IT và chưa từng làm qua bất vị trí nào trong ngành IT. Bây giờ e muốn chuyển sang làm data engineer. Với ng tất cả từ con số 0 như em có thể học để trở thành data engineer ko a ? Nếu có thể thì sẽ bắt đầu từ đâu và lộ trình như thế nào ạ. Xin a tư vấn cho em với ạ. Em thật sự muốn trở thành 1 data engineer. Em cảm ơn a.
anh có ra vid về schema chưa ạ
Chào a , e muốn hỏi một vấn đề , hiện tại hệ thống đang có đâu đó 1xxx các ETL chạy bằng lambda của aws để insert data vào dwh cũng như các hệ thống khác , thì có cách nào để visualize data flow không ạ
@DataGuyStory
13 күн бұрын
Nếu stack xài aws thì có cái aws quickSight á. Em thử cho read metadata sang quickSight để làm data lineage xem
Làm Data Engineer thì ngôn ngữ R có hữu ích không anh
anh ơi cái quyển sách về DE anh sắp ra mắt đâu r ạ
em chào anh ạ, anh ơi em thấy xu hướng hiện tại đẩy mọi thứ lên cloud thì anh có thấy rằng data platform engineer có đang mất dần chỗ đứng không ạ, và mình nên đi theo hướng nào hợp lý ạ
@DataGuyStory
Ай бұрын
Ủa Data Platform còn cần hơn DE khi chuyển mọi thứ lên cloud mà em. Sao lại mất dần chỗ đứng =))
@kientrung-io4jt
Ай бұрын
@@DataGuyStory Ví dụ như Hadoop và spark bây giờ mình không cần lo cài nữa mà cloud có thể lo hết việc đó luôn rồi, đối với thị trường vn là thế nên em thấy hơi lo lắng ạ
dạ em chào anh, hiện em là sinh viên năm 2 chuyên ngành khoa học dữ liệu, em tính đi theo hướng DS. Vậy theo anh DS có cần phải đi theo hướng research không (research trong lab)? Sau khi research thì có ra làm việc được không? hoặc nếu không đi research thì em nên học những gì để có thể phục vụ cho nghề DS ạ? Em cảm ơn.
@DataGuyStory
2 ай бұрын
Nếu em định làm AI Engineer thì không cần. Còn nếu theo DS thì cố gắng học sau đại học nha. Không nhất thiết research trong lab mà research ở R&D center của công ty cũng được á
@parkhhp
2 ай бұрын
@@DataGuyStory dạ em cũng có tính sau khi tốt nghiệp đại học thì cố gắng xin hb master (cụ thể là các qg như hàn, sin). anh có thể cho em hỏi yếu tố nào quan trọng để xin được học bổng master k (gpa, ielts, paper,...). Các bài báo khoa học có phải là điều kiện cần để có thể xin được học bổng k ạ?
@DataGuyStory
2 ай бұрын
Cái này ngắn gọn hơi khó nói. Điều kiện học bổng còn tuỳ thuộc vào từng trường nữa á. Em nhắn fanpage anh nhé, anh hỗ trợ cụ thể hơn
@DataGuyStory
2 ай бұрын
Cơ bản thì có thể là các bài nghiên cứu khoa học, thành tích học tập. Còn tiếng anh sẽ là bắt buộc á em
@parkhhp
2 ай бұрын
@@DataGuyStory dạ anh
Chào anh em, cho mình hỏi là không có gốc gác về kinh tế có học được BI hoặc Business Engineer không. Mình là 100% bên kỹ thuật-cntt, đang học về DE và hiện cũng đang kiếm việc làm nhưng mà ít job DE intern/fresher/entry level quá.
@DataGuyStory
2 ай бұрын
được nhé, cứ thử apply thôi sợ gì nè.
@thangnguyen3786
2 ай бұрын
@@DataGuyStory Hi anh, dạo này thị trg DE ít job cho newbie quá. Em cũng đã làm vài projects, có tiếng anh, có IBM cert nhưng cũng khó kiếm job quá anh. Hầu hết là min 1.5y- 2y exp :((((
@DataGuyStory
2 ай бұрын
Thật sự nhiều khi cái min experiences nó cũng không quan trọng đâu. Công ty họ tìm người biết làm là chủ yếu, nhiều khi kinh nghiệm 3 năm mà cũng không biết làm ấy chớ. Em ping CV của em sang fanpage anh xem thử thế nào nhé
A ơi e là sinh viên muốn theo hướng DE thì nên làm đồ án về đề tài gì để có lợi cho sau này ạ
@DataGuyStory
2 ай бұрын
Em thử tìm mấy cái đồ án liên quan tới dwh hoặc etl ấy
Đọc bình luận thôi cũng thấy 1 đống kiến thức =)))
Hiện tại tầng trên cùng sẽ tích hợp với domain và người ta hay gọi là DA DS BI 😁😁😁😁😁
E muốn làm cả DA và DE thì có ổn k a?
@DataGuyStory
2 ай бұрын
Được á, nhưng mà nên chọn 1 trong 2 cho chuyên sâu thôi em. Đường dài mà chuyên 1 cái ổn hơn á
năm ngoái còn nhắn hỏi anh về vụ set up data stack và dc anh giao task build cái app nho nhỏ dùng airflow lấy api từ dummy đầy vào mysql r dùng spark ETL vào hadoop, mà h em đang fresher DE rồi :))) k biết anh có nhớ em không :v
@DataGuyStory
2 ай бұрын
Xịn vậy, rồi cái data stack đó có làm đc ko hay có việc trc khi xong rồi 😂😂
@NamNguyen-pn1od
2 ай бұрын
@@DataGuyStory haha, em làm được rùi anh ui, mà anh cho em hỏi với h cty em đang dùng prefect để automate ETL trên google cloud platform, e đang tính triển khai cloud composer thì nó có tối ưu hơn prefect không anh nhỉ
@DataGuyStory
2 ай бұрын
@@NamNguyen-pn1od à, để so sánh thì phải tùy vào công ty thôi. Prefect nó mới hơn nên hỗ trợ từ cộng đồng sẽ ít hơn airflow. Airflow kiểu lão làng nên đa phần các bug/issue/tasks đều sẽ kiếm được solution. Còn về performance hay tối ưu thì tùy thuộc vào người dùng, airflow cũng có cách để tối ưu performance hay workflow tốt hơn. Prefect có thể dễ hơn vì nó mới và hỗ trợ được những cái thiếu sót của airflow. Nếu mà chỉ làm việc đơn thuần với scheduling, workflow này nọ thì prefect với airflow là nhưng nhau thôi. Còn nếu em quyết định làm những task khó hơn đòi hỏi complex workflow and tối ưu thì anh recommend airflow vì support từ cộng đồng tốt hơn.
@NamNguyen-pn1od
2 ай бұрын
@@DataGuyStory dạ em cảm ơn anh ạ
Em đang tự học. Mà khó tìm được nguồn dữ liệu để thực hành quá 😥😢
@DataGuyStory
2 ай бұрын
Nhiều lắm mà em, ví dụ nè www.kaggle.com/code/benhamner/competitions-with-largest-datasets
@hochiuc2706
2 ай бұрын
@@DataGuyStory Em cảm ơn anh
cho em xin in4 đồng hồ anh đeo với a Cảnh
@DataGuyStory
Ай бұрын
Tudor BB 54 nha
.
Hic anh tui anh tui :(
@Scorpisces1911
2 ай бұрын
Tâm huyết thế này phải bật $Thank$ đi anh :x
@DataGuyStory
2 ай бұрын
Thôi, ai lại thế =))
Này đa phần chắc chỉ có bên cty ở nc ngoài thôi, chứ việt nam thì đa phần doanh nghiệp mún 1 ông data phải biết tuốt từ data science, data analyst, data engineer, kiêm hết 😂
@DataGuyStory
2 ай бұрын
chuẩn rồi, lương 10tr nhiều khi còn phải viết content nữa mà =))
@duyvuba5289
Ай бұрын
Đúng òi, 1 người phụ trách tất tần tần về data chứ ko có chia role gì hết 😆. Đc cái như vầy thì exp lên nhanh do việc gì cũng đến tay
anh ơi em sắp thi đại học và định hướng tương lai làm DE, cho em hỏi anh thấy học ngành khoa học dữ liệu của đại học khoa học tự nhiên hay ngành hệ thống dữ liệu của đại học công nghệ tốt hơn ạ?(cả 2 trường đều thuộc đhqg Hà Nội ạ)
@DataGuyStory
2 ай бұрын
anh không rõ nữa, em có thể xem thử chương trình đào tạo của 2 trường, xem bên nào liên quan đến data engineer nhiều hơn nha
@syyvuu699
2 ай бұрын
bạn mình học ngành DS của KHTN thì chương trình học chủ yếu là về DS/AI (không liên quan đến DE lắm). Bạn nên nghiên cứu chương trình học của 2 ngành đó nếu thấy có những học phần như: Cơ sở dữ liệu, Kho dữ liệu và kinh doanh thông minh thì phù hợp với định hướng DE