Mantap pak eko, sebagai DE(Data Engineer) saya berasa refresh knowledge hehe

pak kapan kapan bahas multitenant architecture dan bestpractice nya.

Wii dah nyenggol2 DE ni, lanjut Pa Eko

trimakasih banyak pak 🙏

Mantap, Ini yang saya cari untuk implementasi di fitur Display Dashboard di kantor

Buat video tentang pemahaman data engineering pak eko, kaya tools apa aja yg perlu di kuasai dan menjaga data integrity dari data ingestion sampai ke user

@ProgrammerZamanNow

2 ай бұрын

Noted

@ciptaputra9019

2 ай бұрын

Setuju

baru bikin ini pake kafka dan debezium, gara2 ini naik gaji 😂

@ProgrammerZamanNow

2 ай бұрын

mantul sekali

@mohammadrachman1344

2 ай бұрын

Bikin tutorial nya pak hehe

@nonono9700

2 ай бұрын

Wah mantep gan

@heruprasetyo2901

2 ай бұрын

iya, jadi awalnya di kantor gw ada prosess ETL dari mysql ke clickhouse dan itu jalan setiap malem pake cronjob, jadi data yang masuk data H-1, dan disitu gw kepikiran gimana ETL itu bisa realtime , akhirnya bikin deh pake kafka sama debezium

@raptyaxa5771

Ай бұрын

Cara biar hemat memory gmn ya? Default config-nya consume banyak memory soalnya.

Makasih Pak Eko 👍🙏

Menarik, kalo di terapkan di machine learning menarik juga buat trigger data training

makasih banyak abangkuh!👏🏻👌🏻

Metode ya lebih ke Data Streaming dengan skala besar atau big data .... mantap 👍

wah pas banget ni studi kasusnya, baru denger debzium, udah hampir 4 tahun buat dan maintain listener bikinan sendiri, buat listen perubahan di oracle lalu di insert ke elastic.

baru aja beres pake Debezium sama kafka, terus nyoba flink juga enak sih flink

mantab pak, request bikinkan tutorial spring security dari pemula sampe mahir pak sekaligus integrasi sama keycloack. Jadi course berbayar juga gk apa2. likenya temen2 jika setuju :)

Subangna dimana a' ? Hoyong ameng lah 😁

Bikin seri data engineering pak

@ciptaputra9019

2 ай бұрын

Setuju

Next tutorial tools pke pentahoo dong pak eko

Permisi pak Eko izin mau tanya, untuk contoh case penggunaan debezium ini seperti aplikasi RealTime dashboard begitu ya pak?

Untuk display antrian arsitekturnya gmn ya mas, biar selalu dapat data realtime

Kalau ETL di industri itu gimana pak?

Sama kayak Hibernate envers ya pak

wahh makasih Kang, saat ini saya ngelisten change di db nya pake cronjob setiap 2 detik sekali, wkwkwk

@ProgrammerZamanNow

Ай бұрын

rajin sekali

@Fuji-gn9nx

Ай бұрын

bikin overheat sistemnya ga tuh?

@Fuji-gn9nx

Ай бұрын

coba cek penggunaan cpu, ram, dll setelah menggunakan cara itu naik drastis ga bang?

apa beda ny dgn Audit Trail ?

mas sama SCD sama kah?

lagi riset pake SQL SERVER + CDC Debezium + kafka. Ada problem, mungkin bisa di koreksi. Ketika struktur tabel berubah, perubahan struktur juga tidak langusng berubah. Jadi perlu di "disable/enable" kembali CDC nya. Mungkin ada yang mengalami, apakah memang harus seperti itu ya?

selama ini saya ngandelin Postgres notify ama listen

@Fuji-gn9nx

Ай бұрын

pakai ini aja udah cukup harusnya kalau kamu cuma pakai database postgres, karena biasanya udah dioptimasi untuk postgres karena yang buat postresnya langsung

Pak bahas database transactional jika kita menggunakan lebih dari 1 jenis database dong

@ProgrammerZamanNow

2 ай бұрын

Gak bisa kalo itu

@fauzanar5074

2 ай бұрын

Solusinya gimana ya pak? Apakah harus 1 proses di endpoint tersebut harus pake 1 tipe database?

Pak eko, saya pernah coba pake debezium buat listen postgresql, tapi pas initial data copy ke kafka jadi bloated bgt, datanya emg hampir 1m tapi storage hampir tembus 1tb buat nampung data capture nya aja di kafka. Apakah saya ada salah implementasi di / settingan debeziu ato kafkanya ya?

@ProgrammerZamanNow

2 ай бұрын

Di kafka bisa di setting retention nya, misal 100Gb jadi lebih dari itu otomatia data lama hilang

@ajiahyana4302

2 ай бұрын

berarti consume datanya harus cepet juga ya pak eko?, itu padahal datanya masih belum ada 1/4 nya.. kalo sepengalaman pak eko buat data yang mayan besar apakah emang butuh server yang gede pula storage nya buat catch up datanya? belom lagi kafka node nya harus minimal 3. cmiiw

mau nerapin CDC juga di tempat kerja, tapi archive log di oracle nya ga mau dibuka karena alasan storage, jadi bingung pak 🤣 jadinya ya cdc trigger based, ga bisa log based, mohon kalo ada inspirasi lain 😅

@ProgrammerZamanNow

Ай бұрын

kenapa gak mau dibuka?

@pawrfecto

Ай бұрын

@@ProgrammerZamanNow alasan storage kata dba nya pak, kalo lognya dibuka nanti storagenya lama2 besar

Keren ilmunya pak! sehat2 terus

kalau setelah mendengarkan perubahan maunya bukan kirim ke db lain, tapi mau call suatu api itu gimana pak ?

@ProgrammerZamanNow

Ай бұрын

kirim ke kafka, trus bikin listener di kafka untuk manggil api lain

Ini connector MySQL nya bs dipakek utk MariaDB kah Pak?

@ProgrammerZamanNow

Ай бұрын

harusnya bisa

@hexantra

Ай бұрын

@@ProgrammerZamanNow ok Pak thx ingfo

Pak eko, mau tanya bedanya change data capture sama database replication apa ya ?

@ProgrammerZamanNow

2 ай бұрын

itu replica sesama database yang sama

@kiva7413

Ай бұрын

@@ProgrammerZamanNow Terima kasih pak eko pencerahannya

wih gw butuh sh cmn dbnya udh 4.5TB, backup aja pun gk ada :'(

@ProgrammerZamanNow

2 ай бұрын

kalo corrupt datanya, langsung gak bisa tidur

@glowiever

2 ай бұрын

@@ProgrammerZamanNow saya tiap hari berdoa supaya cepat pindah 😭

@muhamadrafipamungkas4465

Ай бұрын

@@glowiever pindah db apa pindah kerja

Untuk Perubahan yuk bilang AMIN (All in 01 Anies-Muhaimin)

@isana4071

Ай бұрын

ada masalah apa sih kawan