Tại sao Junior Data không nên lạm dụng Google Cloud ?
Ở video này mình chia sẻ về Google Cloud và tại sao các bạn Junior / Newbie không nên lạm dụng những công cụ có sẵn.
Một số từ khóa mà mình đề cập trong video:
Big Query, Dataflow, Data Pipeline, Datalake, Data Warehouse, ETL, Spark Job.
Facebook: dataguystory
About me: www.calvinio.com/about/
Subscribe: / @dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore với 5 năm kinh nghiệm. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Credits:
Feelin Good by Kevin MacLeod được under license Creative Commons Attribution (creativecommons.org/licenses/...)
Source: incompetech.com/music/royalty...
Artist: Kevin MacLeod (incompetech.com/)
#data #dataengineer
Пікірлер: 26
Em nghĩ điều này ko chỉ đúng với mới ngành data mà còn đúng với tất cả các vị trí trong IT nói chung.
Cảm ơn anh vì chia sẻ rất hay ạ.
cảm ơn anh Cảnh nhìu
Còn về Azure thì sao anh nó có tương tự như Google cloud không anh vì nó có khá nhiều công cụ hỗ trợ cho DE khá nhiều liệu nó có giống với gg Cloud hay không và chi phí nó có như thế hay không anh?
Em nghĩ là còn tuỳ thuộc vào dung size dữ liệu nữa, với dữ liệu vừa nhỏ như nhiều doanh nghiệp VN thì GCL là giải pháp tối ưu nhất, 1 tháng không có nhiêu tiền thay vì phải bỏ tiền ra nuôi 1 team bảo trì, DBA, rồi chỗ thuê đặt server nữa thì không khả thi.
@DataGuyStory
3 жыл бұрын
Đúng rồi bạn, mình cũng có đề cập á, GCP thường là giải pháp tối ưu nhất cho doanh nghiệp vừa và nhỏ. Còn lớn hơn người ta cũng xài GCP mà đa phần là xài GKS (Kubernetes) chứ không xài nhiều vào tool của nó
Nếu so sánh về giá thì dùng PaaS cũng có lợi thế khá lớn là pay-per-use, khi tự dựng trên K8s mình vẫn phải trả tiền infra cho cluster và storage tương tự, kèm theo chi phí maintain, HA cho hệ thống, nên nhiều khi tính ra phí cũng gần bằng nhau mà tốn nhiều effort hơn. mà cũng đồng ý với anh là cái gì cũng phải vọc tay đã rồi mới biết cách tự động được :D
@DataGuyStory
3 жыл бұрын
Mình có benchmark rồi đó bạn. Với hệ thống AWS EMR Spark thì mỗi tháng bên mình phải trả 24k USD. Nhưng lên Spark on K8s thì chi phí giảm đi 1 nửa. Thực chất dựng k8s chỉ xài kops + instances / vm thì chi phí thấp lắm. Storage cũng thấp. Nếu ko tính lương anh em engineers để maintain, HA. Còn PaaS mà công ty lớn, nhiều người process nó đội vốn kinh khủng lắm. Lúc đó cũng phải trả tiền cho engineer tìm cách tối ưu process cho đỡ tốn chi phí nữa mà :D Đó là lý do nếu bạn xem blog engineering của grab, uber, gojek, airbnb họ thường customise hơn là sử dụng PaaS á
@MrBaddy12
3 жыл бұрын
@@DataGuyStory hè hè chắc em chưa đụng vào mấy dạng hardcore dựng từ đầu bao giờ. anh cho em hỏi thêm là hiện nay spark thấy có vẻ dụng nhiều hơn là hadoop thì giữa việc bỏ thời gian ngâm cứu về hadoop architect mình có thể skip hadoop dành thời gian tìm hiểu sâu về spark không anh nhỉ, chẳng hạng để hiểu và optimize, master được data brick thì cũng tốn kha khá thời gian rồi. không biết thị trường bên mảng data này đang như nào vậy anh ? em bên cloud đang mò mẫm thêm về phần data analytics này :D
@DataGuyStory
3 жыл бұрын
@@MrBaddy12 Databrick thì mình không rành lắm. Tại nó cũng là một dạng PaaS, chi phí khá là mắc. Còn Hadoop, mình thấy bây giờ nó chỉ đóng vai trò để store data (HDFS) thôi chứ không làm gì khác. Nên việc skip nó để tập trung vào Spark cũng ổn. Nhưng mà thường Hadoop người ta chỉ cần bạn hiểu map reduce là được. Thỉnh thoảng xử lý dữ liệu viết Map Reduce nhanh hơn viết spark á =]]
anh ơi cho em hỏi bây giờ em muốn theo data thì cần học những gì ạ em đã biết sql và python rồi ạ
@DataGuyStory
3 жыл бұрын
Em đọc thêm bên blog của anh nhé. www.dataguystory.com
Anh ơi... em hỏi thăm..... khi hệ thống mình còn nhỏ ...mình dùng của aws hay gc......khi hệ thống mình lớn....mình tự xậy hạ tầng riêng như của facebook...thì có vấn đề gì không anh. ( Khi tách ra hoàn toàn không dùng nữa / với vẫn dùng x% ) Em cảm ơn ạ ^^
@vunguyentranduy2356
Жыл бұрын
ba ông cloud mình nghĩ cũng same same nhau hết ấy, phù hợp cho công ty nhỏ và vừa. Còn công ty lớn lên thì chuyển dần từ PAAS sang Spark trên Kubernetes hoặc on premise là quá trình bình thường mà
Hệ thống cube gì ấy anh nhỉ ??
@DataGuyStory
3 жыл бұрын
Kubernetes nhé 😂
1000$ chắc lương dành cho dân VN :))) nước ngoài thì gần 10k chứ ko ít :D
@DataGuyStory
3 жыл бұрын
1000$ là ở nước ngoài ấy chứ. Bảo DE nghèo không ai tin =]] 10k thì tiền như lá mít rồi
@hoangnguyendinh1107
3 жыл бұрын
@@DataGuyStory Shopee Singapore năm nay trả lương SWE/DE intern >> $1k :))))
@DataGuyStory
3 жыл бұрын
@@hoangnguyendinh1107 intern lúc nào chả thấp, tuyển vào làm mấy cái vớ vẩn xong rồi đuổi thôi. EZ =]]
@darkknight0258
3 жыл бұрын
job remote, freelance đấy ông, nếu mà ông phải dành 8 tiếng để làm job này thì nên học thêm :)))
data engineer 1000 đô 1 tháng , sau 1 năm 4 ông bị đuổi còn 1 ông. Data engineer giờ thê thảm vậy :)))))))
@DataGuyStory
3 жыл бұрын
thích thì đuổi thôi, ko cần lý do hen =]]
@khanhnam61
3 жыл бұрын
@@DataGuyStory thật ah bạn, sao phũ vậy :((
@blinkkeebs
3 жыл бұрын
@@khanhnam61 Nhiều khi vận hành trơn tru r, ít task mới thách thức thì mấy ông cũng chán chán tìm thử thách mới thôi à :))
@lananhto527
3 жыл бұрын
@@khanhnam61 uhmm cuộc sống mà