Nhiều bạn thắc mắc cái tool mà tui sử dụng trong video. Đây là cái tool tui tự chế dùng library faker, bạn nào quan tâm thì link đây nha github.com/canhtran/dgscli

@tamhuynh8868

9 ай бұрын

Dạ a ơi, e có tải tool của a trên gib và về generate data thử nhưng cứ bị báo lỗi "ModuleNoteFoundError: No module named 'click'". Nếu có thể a cho e hỏi e cần làm thêm bước nào để chạy được tool ạ. E cảm ơn a!!!

@DataGuyStory

9 ай бұрын

@@tamhuynh8868 cài click vào nhé. pip install click

@tamhuynh8868

8 ай бұрын

@@DataGuyStory e cảm ơn a lắm ạ !!

Hay quá a Cảnh ơi, đừng bỏ channel nhé anh ơi vì anh là 1 trong số ít những người ở VN làm các chủ đề về Data Engineer. Dù giá trị kinh tế có thể mang lại không được bao nhiêu so với công sức, nhưng giá trị anh mang lại cộng đồng những người đang theo đuổi lĩnh vực data là rất lớn, keep up the good work! As a new grad engineer của Holistics, thật vui khi Holistics được anh mention tới cùng với 2 ông lớn BI PowerBi và Tableau trong các blog và youtube video của anh. Là 1 BI product của người Việt, hy vọng tool sẽ được mọi người gọi tên và biết tới nhiều hơn hehe

@DataGuyStory

Жыл бұрын

haha, cám ơn Triết. Nói anh Huy tài trợ cho anh để anh làm video về Holistics nào, nghèo quá không có bản quyền để làm demo :)))

@trietle6785

Жыл бұрын

@@DataGuyStory Sure thing anh :)))

hay quá a ơi

video chất lượng quá, cảm ơn Cảnh. Lâu nay chưa hình dung được HDFS lưu file như thế nào. Nay đã clear được rồi. Hy vọng Cảnh tiếp tục những series như vậy

mình thực sự cảm ơn Cảnh nhiều nha, thực sự bổ ích đừng bỏ channel nhé Cảnh ơi vì anh là 1 trong số ít những người ở VN làm các chủ đề về Data Engineer. Dù giá trị kinh tế có thể mang lại không được bao nhiêu so với công sức, nhưng giá trị anh mang lại cộng đồng những người đang theo đuổi lĩnh vực data là rất lớn

Mình không chuyên về data nhưng thấy bạn giải thích dễ hiểu nên thật sự mình hy vọng bạn ra nhiều videos hơn để mọi người có thể học tập thêm. Nếu có tut thì càng tốt. Chúc bạn thành công

hay quá a ơi 😍😍😍 A làm video kiểu này hay nè a...nó giúp có một cái nhìn tổng quan hơn cho các bạn đang học DE. Mong a ra thêm nhiều vid như này nữa

theo dõi anh từ những clip dầu vì thích cách edit và dẫn dắt của anh. Và khi nghe anh nói là anh sẽ đọc hết comment của mọi người, em cảm thấy rất trân trọng. Em cũng đang mày mò học thêm về Spark. Hóng 1 clip a chia sẻ chuyên sâu 1 chút về các cách tối ưu khi xài Spark SQL join

Mình thích các video tổng quan thế này. Nó dễ tiếp cận với đại đa số người mới như mình. Cái khó nhất của một người mới như mình là họ cần biết là kiến thức đó nó giải quyết được gì. Và mình thấy các video của bạn đã làm được điều đó.

Nếu được thì nhờ bạn có thể làm tiếp series phần 2 với nguồn vào đổ vào datalake thêm một nguồn nữa là NoSQL, sau đó phần ETL kết hợp giữa 2 loại dữ liệu SQL và NoSQL để đổ vào datawarehouse

Video quá hay. Cấu trúc dễ hiểu mạch lạc, thao tác với terminal + Vim cực mượt mà. Xem đã mắt ghê gớm.

Mình cũng đang nghiên cứu triển khai data lake cho công ty mình. Mong bác ra nhiều video về data lake, data warehouse, các công cụ thiết kế data pipeline, etl, ingestion để học hỏi thêm. Cám ơn bạn nhiều nhé !

hay quá anh ơi, mong anh tiếp tục ra video kiểu này. Em đang từ BE chuyển sang học DE, video của anh hữu ích quá. Em chúc anh sức khỏe và tiếp tục ra những video như này ạ.

em không phải Data Engineer nhưng yêu thích xem mọi người làm gì với data, xem video của anh cuốn lắm ạ. Không quá nặng về kỹ năng code - em không biết code sql mà xem vẫn thấy hay, video thiên về tư duy logic để giải quyết vấn đề, video hay lắm anh ạ. Bật chuông đợi video tiếp theo của anh ạ hehe :v

Cám ơn anh Cảnh. Em có biết anh thông qua vài video của anh Hoàng code dạo, mà không biết là anh có kênh youtube riêng. Em làm software bên Canada, tuy không chuyên về data nhưng video của anh giúp em có thêm ý tưởng để giải quyết một vài vấn đề hiện tại trong công ty. Hy vọng anh có thể ra thêm nhiều video hay như thế này nữa. Chúc anh sức khoẻ!

Video của anh hay quá ạ. Kiến thức rất bổ ích

Cảm ơn anh vì những kiến thức bổ ích ạ. Hi vọng anh sẽ cố gắng ra thêm nhiều video anh nhé!

Xịn quá anh. Nhờ có anh mà mấy khái niệm, kiến trúc về data đỡ mờ mịt hơn

Video rất hay, đúng thứ mình đang tìm kiếm. Hy vọng bác sẽ ra thêm nhiều video nữa.

Quá đã a ơi. Video được edit nhìn hút hơn hẳn

Video hữu ích lắm ạ! Mình có thể nói là chưa hiểu 100% về big data nhưng xem video của bạn xong thì độ tự tin của mình tăng hẳn :D

hay quá. chờ a mãi. đó giờ cứ thắc mắc dữ liệu lưu dạng nào, hình thù ra sao. nay dc a giải thích.

Cực thích video kiểu này nha anh. Cho 2 like luôn !

hay quá bạn ơi. Giúp các bạn chưa biết tới Data có cái nhìn trực quan, dễ hiểu hơn. THanks b nhiều

Hay quá anh ơi, dễ hiểu bằng cả 1 khóa học Big Data em học ở trường đại học.

oh my god luôn, em rất thích video dạng như này luôn á anh tại em cũng đang là sinh viên năm 3 chuyên ngành khoa học dữ liệu giống anh nên kiểu coi video như học được những cái hay ho vì vậy mong anh hãy ráng ra video nha anhhh.

Video của bạn hay và bổ ích quá. Mình mới chuyển qua Data Analysis nên rất cần những video như thế này.

Cám ơn bạn đã tạo ra video rất bổ ích. Hy vọng bạn tiếp tục ra những video tiếp theo. Cám ơn bạn một lần nữa.

Hóng lâu lắm rồi giờ mới ra clip 🥺

cám ơn anh vì video hữu ích. mong chờ những video chia sẻ tiếp theo ạ.

em còn nhớ bài về JAV của anh mà giờ anh ra tới cái này rồi hay quá. Em thấy đa phần tụi em có thể tự học phần code, học trên mạng nhiều tài liệu tuy nhiên tụi em bị thiếu về phần ý tưởng để thực hiện và công cụ nào thực hiện các steps đó. Mong anh ra video dạng đó nhiều hơn em cám ơn anh ạ.

Cám ơn anh đã làm ra một video thú vị dành cho các bạn mới vào nghề ạ

hay quá anh ơi. Mong anh ra nhiều video hơn ạ. Cảm ơn anh.

Video hay a ơi ^^ a chia sẻ thêm về cách để sắp xếp và làm sạch dữ liệu thô để lưu vào DWH với ạ

Cảm ơn anh đã có một video trực quan.

hay quá anh ! Hy vọng anh ra nhiều video hơn nữa ạ

nghe xong choáng váng quá

A Cảnh mãi đỉnh 😍

Cảm ơn anh nhiều lắm ạ Rất bổ ích

Video bổ ích lắm ạ. Em đang học thêm về DE, hi vọng anh có thể public link project em tự cài cắm nghiên cứu thêm ạ, thank anh

Video quá hay, quá thực tế. Cảm ơn anh!

Hay lắm anh ơi mong anh ra nhiều bài về DE DA nhiều hơn nữa

tuyệt quá a xem xong có động lực lắm

Chờ anh ra thêm nhiều video ạ

hay quá anh ơi, mong anh làm thêm nhiêu video

Giờ mới được mở rộng tầm mắt. Thnx. 👍. Có thể cho mình hỏi nếu muốn học về những công nghệ này mình phải chạy trên MacOS ko bạn?

đang ngồi học sql, data lại nhớ đến a. lâu quá rồi không thấy a ra clip mới. mong a sớm trở lại.

Phần sử dụng hive nằm trên tầng HDFS để xem dữ liệu dưới dạng table thì e mới được thấy lần đầu. Cảm ơn a nhiều nhé.

Hay quá anh ơi, anh có thể phóng to code ra tí thì quá tốt :>

Cảm ơn anh rất nhiều vì video cực kì bổ ích ạ

Hi, your videos are very intriguing. I'm also working in Data Engineering and BI in Toronto. Glad to know you and hope to have a chat about this area in the future

Hay quá, làm thêm nhiều video nữa nhé anh

đỉnh quá anh, video tới làm về data lake vs data warehouse vs data lakehouse đi anh. Cảm ơn anh vì những video bổ ích

@DataGuyStory

Жыл бұрын

có luôn nhé. Anh đang định làm cho video tiếp theo á

Em cảm ơn anh rất nhiều, em mới bắt đầu học DE, những video của anh giúp em rất nhiều luôn ạ

@vuxuanhuy9079

Жыл бұрын

bạn ơi bạn có ròadmap k mình xin vs

Cảm ơn rất nhiều ! It's very helpful.

cảm ơn anh ạ! quá hay và bổ ích

hay quá ạ❤ Cảm ơn anh rất nhiều

a làm thêm về elastic search vs redis trong proj data thực tế đi ạ. tks a

cảm ơn anh! video quá hay

Em cảm những chia sẻ thú vị và hữu ích của anh ạ

new intro ngầu quá ạ 😤

@DataGuyStory

Жыл бұрын

không uổng công mướn hàng xịn về làm :))

video của bạn rất là hay, cảm ơn bạn

Tuyệt vời quá a ơi

anh làm thêm về datalakehouse đi anh nghe thấy ngta bảo kiến trúc vượt trội lắm

This is an amazing project. Many thanks from Indonesia. God bless you. 🙏

hay quá! mình đang muốn làm data engineer mà coi xong cũng thấy nhiều công cụ chưa biết quá. hơi buồn nhẹ

Cảm ơn bạn nhiều, video hay lắm

Anh ơi cho em hỏi là giữa scala2 và scala3 thì mình thường sẽ sử dụng phiên bản nào tại em thấy giữa 2 phiên bản này về các câu lệnh, cú pháp có vẻ khác nhau và liệu nó có chạy hiệu quả hơn với scala3 không vì tại nó là phiên bản mới. Em cảm vì anh đã ra những video chất lượng về chủ đề Data Engineer này và mong a sớm ra video mới.

Bổ ích quá thanks bạn

Không cần tutorial step by step đâu a Cảnh. Chỉ cần hướng dẫn flow etl từ a tới z ntn cho những proj và cv thực tế của DE là dc. Tụi e tự học để làm dc như v hay hơn tutorial nhìn code.

tuyệt vời luôn anh ơi, keep it up 😍

Cảm ơn bạn. Thích :)

Chuyên sâu và dễ hiểu, vui tính + đẹp trai :v e like + sub vào 1:47

Em cảm ơn anh nhiều ạ :)

Mình tay ngang từ iOS, xem cuốn quá ❤

Cảm ơn bạn nhiều nhé.

Hi a , e đang tìm hiểu về big data, e thấy video của a rất hay nhưng do mới tìm hiểu nên ko hiểu tại sao lại code bằng file đuôi jar. E đã biết sẳn ngôn ngữ typescript vậy có thể dùng typescrip ko ạ.

Anh chính là người cho em cảm hứng để theo DE, lâu rồi anh mới ra video mà video kiểu thực chiến như này ok lắm anh. Chúc anh nhiều sức khoẻ để có thể ra thêm nhiều video bổ ích nha.

@BaoHoTrong

6 күн бұрын

Chào anh, anh có biết nguồn nào về data engineer roadmap không ạ

hay quá, cảm ơn anh

hữu ích anh ơi 👍👍

Cho em hỏi câu hỏi là nếu mình có rất nhiều file ( tầm triệu hay vài chục triệu bảng) định dạng data như .csv, .xls thì mình sẽ đọc dữ liệu vào postgres SQL như thế nào là tối ưu nhất ạ?

quá xịn

Thanks for your sharing guy

đã lâu rồi không thấy anh đăng video mới, dạy Data...

anh cho em hỏi lúc anh connect superset với data warehouse thông qua sparksql, hive hay là presto vậy ạ, em có sử dụng superset và metabase để connect với thông qua hive hay sparksql đều được nhưng khi thực hiện các câu truy vấn count, join sum, cơ bản hay vẽ chart thì nó không hiện gì cả,

Video rất hay anh ơi, 1000 likes cho anh. Mà trên server của big data sẽ chạy tự động như thế nào trong thực tế ạ? Và việc incremental loading sẽ lấy update record từ application như thế nào anh?

@DataGuyStory

Жыл бұрын

Thực tế chạy tự động, người ta sẽ sử dụng scheduler như airflow hoặc luigi em nhé. Còn incremental loading thì đa phần là append và insert. Muốn upsert hiệu quả nhất thì em có thể tham khảo CDC (Change Data Capture)

Cảm ơn bạn giải ngố cho mình🎉

anh ơi , em nghe video của anh rất cuốn ạ ? nhưng em là người mới bắt đầu , em chưa có thể làm theo anh được . Anh có thể cho em xin link để học tutorial dành cho beginner được không ạ . Em cày cả tuần video của anh mà vẫn không biết làm sao , làm như nào có thể ra được như vậy ạ

anh dùng docker để chạy ubuntu, rồi cài đặt hadoop, hive, spark trên ubuntu phải ko anh

dạ em chào anh, em đã làm được tới bước thiết lập xong apache superset, nhưng em có thắc mắc là hive khi em sử dụng những câu lệnh như count, sum đều không được vì thế superset em không thể hiển thị được các chart kiểu như anh, anh có thể cho em biết vấn đề này xuất phát từ đâu được không ạ.

Quá đỉnh

ủng hộ channel

Rất hữu ích

anh cho em hỏi cái assemblyMergeStrategy đó áp dụng cho mọi chương trình scala ạ ?

Cảm ơn a.Cảnh đã ra video giải thích rất rõ. Nhưng mà em có 1 thắc mắc cho em hỏi là lúc mình ingestion thì chắc chắn là để dạng raw data rồi, và trong video em thấy anh lưu ở định dạng parquet, vậy còn những định dạng readable khác thì sao ạ, ví dụ: csv, json,... Trong thực tế mình làm thì mình luôn ưu tiên raw data là parquet hay sao ạ.

@DataGuyStory

Жыл бұрын

yea, trong thực tế thì người ta prefer lưu ở parquet hoặc arvo hơn. Trừ những trường hợp bất khả kháng như heavily nested json hoặc âm thanh, hình ảnh. Parquet/Arvo nó nén với tối ưu hóa chi phí.

Học về data thì nên mua laptop như nào vậy a , tầm giá 20tr ạ

A nên chỉnh phóng to màn hình lên để đt xem đc nhé

Good job man. 👍

Em đang học môn này trên trường nhưng toàn lý thuyết, nhờ video của anh em hiểu rõ hơn. Cảm ơn anh nhiều, mong anh ra nhiều video tương tự ạ

@longgg1215

Жыл бұрын

Mình nghĩ quan trọng là setup ntn thôi

Hi vọng được xem tutorial của anh trên github :)