Chuyện cổ tích, bạn Dê làm Data Engineer

Xin chào mọi người ,
Có rất nhiều bạn thắc mắc về công việc của Data Engineer. Cụ thể Data Engineer là làm những gì, có giống với mấy khác hay không. Mình làm làm video để giải thích sơ sơ về một quá trình làm việc của Data Engineer từ khi mới ra trường đến trở thành senior nhé.
Thuật ngữ được sử dụng
- ETL, ELT, Extract Load Transform, Data Lake, Data Warehouse, Ingestion, Pipeline
- Data Governance, Data Catalog, Data Security, Data Platform, Data Service
- Kappa Architecture, Delta lake
#datagengineer
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore với 5 năm kinh nghiệm. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Songs: Tokyo Music Walker - Summer Time
Creative Commons - Attribution 3.0 Unported - CC BY 3.0
Music promoted by Audio Library • Summertime - Tokyo Mus...

Пікірлер: 69

  • @camvinh3522
    @camvinh35223 жыл бұрын

    Video rất bổ ích! Mong a ra nhiều video hướng dẫn một số tài liệu để học vì ở trường các môn học không nhiều liên quan DE

  • @giangvuong9179
    @giangvuong91793 жыл бұрын

    A giải thích vừa sinh động vừa dễ hiểu quá ạ, hy vọng a sẽ ra nhiều video hơn nữa ạ. Cảm ơn anh!

  • @Peter-Donate
    @Peter-Donate2 жыл бұрын

    Cảm ơn anh Cảnh nhiều ạ! Thích kiểu chia sẻ này cực anh ạ! Mong anh có nhiều video ntn để truyền động lực cho em, 1 người đang làm Editor muốn chuyển hướng qua Data như anh ạ

  • @dinhnguyen1037
    @dinhnguyen10373 жыл бұрын

    em đang làm sinh viên năm 3, cũng muốn học về data mong anh ra thêm video hướng dẫn về data science cũng như hướng dẫn thêm về python ạ, anh đang truyền cảm hứng cho em rất nhiều ạ! và hy vọng anh lúc làm video cũng chèn thêm giải thích những từ khóa tiếng anh chuyên ngành để em cũng như các viewer có thể dễ tiếp cận hơn ạ! cảm ơn anh!

  • @oanquocnhan6604
    @oanquocnhan66043 жыл бұрын

    Em là sinh viên năm 4 CNTT nhưng không theo ngành Data Science, nhưng từ khi xem các video em bắt đầu tìm hiểu về nó là đang đăng kí làm đồ án về Data Science ( chủ yếu là tự mò học ) em chỉ viết để cảm ơn anh đã truyền cảm hứng cho em thôi ạ

  • @tinpham2122
    @tinpham21222 жыл бұрын

    xem xong 3 video của anh có thể thấy đc cả 1 đoạn đường dài sự nghiệp phía trước. Thanks a

  • @oanquocnhan6604
    @oanquocnhan66043 жыл бұрын

    Vừa thấy anh bên Code dạo quay qua check kênh anh liền mà anh chưa có video mới :< . Em đang làm đồ án hóng video anh phân tích data để có cảm hứng làm tiếp

  • @HuyenPham-ho7ok
    @HuyenPham-ho7ok7 ай бұрын

    Những chia sẽ của anh rất dễ hiểu, em cảm ơn anh nhìu ạ 🤩, mong anh ra nhiều video hơn nữa.

  • @hungtranmau710
    @hungtranmau710 Жыл бұрын

    cảm ơn ad rất nhiều về bài chia sẻ ạ, quá tuyệt vời ad ơi

  • @thungachauthi1774
    @thungachauthi1774 Жыл бұрын

    Cảm ơn bạn rất nhiều, những video của bạn thật hữu ích.

  • @NganPham-ik7yf
    @NganPham-ik7yf9 ай бұрын

    Cảm ơn bạn đã chia sẻ kiến thức. Rất hay có ý nghĩa

  • @phongnguyentien127
    @phongnguyentien1273 жыл бұрын

    A có thể ra video nói về quá trình a học data scientist được không ạ

  • @HoangHoang-gf5mo
    @HoangHoang-gf5mo3 жыл бұрын

    vừa thấy video phát vào xem a luôn!

  • @kangggchan1849
    @kangggchan18493 жыл бұрын

    Thích cách nói chuyện của anh trong livestream của a Hoàng hơn 😙

  • @nguyentrongtienk16_hcm
    @nguyentrongtienk16_hcm Жыл бұрын

    Em rất cảm ơn video của anh ạ :>

  • @entertainmentufm3559
    @entertainmentufm35593 жыл бұрын

    ước đc làm editor cho anh cảnh, và đc anh chỉ thêm về học phân tích ạ!

  • @minhnguyenquang198
    @minhnguyenquang1983 жыл бұрын

    Anh có thể chia sẻ thêm về Business Intelligence đc k anh

  • @nghiatran1509
    @nghiatran15092 жыл бұрын

    Bạn có biết cách nào để chuyển database từ XBRL sang Microsoft Access không ?

  • @phqtin901
    @phqtin9013 жыл бұрын

    Anh ơi hướng dẫn làm code để Auto Game được không ạ

  • @vanthapnguyen2588
    @vanthapnguyen25882 жыл бұрын

    Hay quá anh ơi.

  • @TrungNguyen-kp3nb
    @TrungNguyen-kp3nb8 ай бұрын

    Em cảm ơn anh ạ❤

  • @nguyenngocphat2965
    @nguyenngocphat29653 жыл бұрын

    Bạn Dê đỉnh quá anh ơi!

  • @minhnguyenquang198
    @minhnguyenquang1983 жыл бұрын

    Tks a, rất bổ ích

  • @luomnguyen3270
    @luomnguyen32702 жыл бұрын

    hiện tại trường đại học toàn dậy về data science nhưng em muốn tiềm hiểu về data engineer vậy thì học ngành data science đi lên rồi chuyển hướng dược khoog anh và hiện nay có chuyên nghành nào dẫn vào trực tieps không ạ em tìm kiếm toàn thấy khóa học không ạ

  • @duyleminh7033
    @duyleminh70332 жыл бұрын

    cái này anh có bài thực hành thực tế ko anh để có thể nắm rõ thông tin anh truyền tải

  • @maituong3919
    @maituong39193 жыл бұрын

    hay quá a ơi

  • @dido8577
    @dido85773 жыл бұрын

    Cảm ơn đã cho em động lực để chuyển qua Data Engineer. Em sv năm cuối và đang đi làm bên web thì công việc cũng ổn định những xem xong video này em đã quyết định nghỉ việc tập trung vào học để theo đuổi Data Engineer. Hi vọng là quyết định đúng

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Cố gắng sẽ thành công thôi em. Nếu cần tư vấn thì ping fanpage của anh nhé :)

  • @luonginh3326

    @luonginh3326

    2 жыл бұрын

    Mình cũng giống như bạn

  • @linh-phgvu
    @linh-phgvu3 жыл бұрын

    Long time no seeeeeee

  • @nguyenngocthien7368
    @nguyenngocthien73683 жыл бұрын

    Lâu quá ko thấy a ra vid :v

  • @Kimkim13576
    @Kimkim135763 жыл бұрын

    Công ty anh còn nhiều người giỏi và đẹp trai như anh không ạ? Để em apply chuyển công ty gấp.

  • @tuannguyentranle7151
    @tuannguyentranle71513 жыл бұрын

    Anh Cảnh dùng phần mềm vẽ gì vậy anh, nghe truyện lôi cuốn thực sự 💯

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Ipad + vẽ tay đó bạn

  • @vanvu1656
    @vanvu16563 жыл бұрын

    Xin lỗi comment ko liên quan là anh Cảnh nói chuyện dễ thương ghê :)

  • @minhvunguyen5114
    @minhvunguyen51143 жыл бұрын

    anh có thể giới thiệu một vài nguồn tài liệu ETL được không ạ.Em cảm ơn anh nhiều

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Thông thường thì tụi anh hay tham khảo trên blog của Grab, Goject, Uber, Airbnb đó em.

  • @luattranbinh9474
    @luattranbinh94743 жыл бұрын

    Anh ơi, định hướng Data Engineer thì có cần hiểu sâu về toán cũng như biết các model máy học hay deep learning không ạ. Vì em thấy DE chuẩn bị cho DS, nên em nghĩ phải có nền tảng tốt mới chuẩn bị tốt được ạ. Mong anh giải đáp giúp em

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Không có DE nào chuẩn bị cho DS hết nha em. DE là DE, DS là DS mỗi người làm việc khác nhau, không liên quan gì đến nhau hết.

  • @sockbenzero10
    @sockbenzero103 жыл бұрын

    hay qua anh oi

  • @xuanloc7583
    @xuanloc75833 жыл бұрын

    em muốn tìm hiểu về các công nghệ đó thì nên đọc những quyển sách nào ạ cám ơn anh

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Thường những cái này không có sách đâu bạn. Đa số là nằm ở những cái blog về engineer của uber, grab, airbnb

  • @minhtrancong3010
    @minhtrancong30103 жыл бұрын

    Hi a, em có thấy tên anh ở một chương trình mentor, em không nhớ rõ tên, hi vọng anh cho em thêm thông tin, cũng như nếu anh vẫn nhận mentor cho data engigneer thì em có thể đăng kí qua kênh nào ạ

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Cái đó là dự án Give it Back đó em. Mà hình như hồ sơ đóng rồi

  • @phuongnguyenhoai8846
    @phuongnguyenhoai88463 жыл бұрын

    E đang học lp 12. E có xét học bạ vào đại học ngành cntt mà e lại thiếu điểm nên e xét qua kỹ thuật dữ liệu. K bt 2 ngành này khác nhau nhiều k ạ

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    học cơ bản thì như nhau thôi nha em, học chuyên ngành mới khác

  • @PhatNguyenHuuKoS
    @PhatNguyenHuuKoS3 жыл бұрын

    Ok Cảnh dê 😍

  • @khanhang7543
    @khanhang75432 жыл бұрын

    Dốt toán làm dc data engineer k ạ

  • @diegononolive4383
    @diegononolive43833 жыл бұрын

    Tại sao bạn không có video dạy liên quan đến data engineer nhỉ?

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    mình làm cho vui thôi bạn, khi nào rảnh thì sẽ làm

  • @anhdev99
    @anhdev99 Жыл бұрын

    Em có nghe anh đề cập là phải "giỏi toán" vậy để theo này thì cần phải học những loại toán nào vậy anh?

  • @DataGuyStory

    @DataGuyStory

    Жыл бұрын

    linear algebra và statistics nha

  • @thinhnguyenthanh8492
    @thinhnguyenthanh84923 жыл бұрын

    Anh Cảnh ơi, em muốn getstarted với Data analyst, về kiến thức học thuật em đã tìm hiểu và định vị được các phần cần nắm rõ từ video chia sẻ của anh và nhiều nguồn, vậy với phần cứng máy tính, em cần chuẩn bị thêm gì để đi xa hơn ạ ?

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Máy tính tốt nhất là 16gb, còn lại thì cứ sử dụng google collab nha

  • @thinhnguyenthanh8492

    @thinhnguyenthanh8492

    3 жыл бұрын

    @@DataGuyStory em cũng tìm hiểu qua một số bài viết, blog chia sẻ của nước ngoài, thì hầu hết họ đều hướng tướng sử dụng GPU, kĩ thuật lượng tử 8bit để xử lí song song từng bài toán bằng cách sử dụng 2 3 GPU, hiện tại em đang muốn tìm hiểu nhanh và hướng tới tìm kiếm một công việc để học hỏi thêm, việc sử dụng GPU và các kĩ thuật liên quan có cần thiết ko ạ. Mong anh ra nhiều video hơn và có thêm 1 xíu nội dung phân tích về những điểm mạnh của PGU có làm Data Analyst "rảnh" hơn ko ạ? Em cảm ơn ạ.

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    thường thì GPU đa phần để xây dựng mô hình dữ liệu trong trường hợp em là Data Scientist. Data Analyst thì không cần tới mức đó. Nếu em cần thì mua cái gói google collab 10usd/tháng là sử dụng được GPU dành cho data rồi. Khi nào cần xài thì mua vẫn rẻ hơn lắp 1 dàn PC mà không để làm gì.

  • @thinhnguyenthanh8492

    @thinhnguyenthanh8492

    3 жыл бұрын

    @@DataGuyStory Ui, cảm ơn anh đã trả lời tận tình giúp em ạ. Nhờ anh em đã định hình được những mục tiêu cần sắm và chuẩn bị cho mình ạ. Em cảm ơn ạ.

  • @45-leanhvu68
    @45-leanhvu683 жыл бұрын

    Anh ơi! Cho em hỏi có những khó khăn, mặt tối của DE đc ko ạ? Và nếu em học DS thì em có chuyển qua làm DE đc ko ạ?

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Sẽ có video về những khó khăn, mặt tối của DE nhé

  • @45-leanhvu68

    @45-leanhvu68

    3 жыл бұрын

    @@DataGuyStory Anh ơi! Em học IT mà chuyên ngành ko có mảng Data thì em nên làm j ạ? chỉ có SE,CS,IS.

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Học cái gì mà có giải thuật, sql với python ấy, làm nền tảng trước sau đó data học sau nhé

  • @ngocnghiatran1864

    @ngocnghiatran1864

    2 жыл бұрын

    @@45-leanhvu68 SE chắc gần nhất rồi

  • @ngoctunguyen222
    @ngoctunguyen2223 жыл бұрын

    Hellu Data guys and mọi người, mình là Junior DE, cho mình hỏi hiện cty mình còn đang bị nhập nhằng giữa 2 khái niệm data catalog và data governance. Cho mình hỏi nếu là 1 công ty local thì 2 khái niệm này gần như là 1 đúng k ạ? (chỉ tách biệt khi là các cty global)

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    2 khái niệm này khác nhau hoàn toàn nha bạn - Data Governance là khái niệm dùng để chỉ ra việc sắp xếp, tổ chức và quản lý data dựa theo một bộ nguyên tắc nào đó (có thể tùy theo lĩnh vực công ty như ngân hàng, chứng khoán) hoặc là dựa theo luật pháp của quốc gia. - Data Catalog có thể hiểu như data inventory. Nó là khái niệm (và có cả công cụ hỗ trợ đi kèm) để quản lý thông tin, thuộc tính của data như ý nghĩa columns, tables, PII. Mục đích chính của Data Catalog là để người dùng có thể dễ dàng tìm kiếm data mà mình cần.

  • @ngoctunguyen222

    @ngoctunguyen222

    3 жыл бұрын

    @@DataGuyStory okie anhhhhh 😂 em sẽ verify kĩ hơn

  • @ngoknghekvailiz
    @ngoknghekvailiz3 жыл бұрын

    comment đầu :*

  • @tamvuong7511
    @tamvuong75113 жыл бұрын

    Không liên quan lắm, "bạn Dê", vậy ad sinh năm 91 hả? :D

  • @DataGuyStory

    @DataGuyStory

    3 жыл бұрын

    Sao ai cũng nghĩ bạn Dê là tui vậy ta =))

  • @buison6454
    @buison64543 ай бұрын

    mô tả công việc Data Engineer chuẩn luôn.

Келесі