Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.

Ғылым және технология

Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/nzp90
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit

Пікірлер: 100

  • @NikolaPushkin
    @NikolaPushkin Жыл бұрын

    Вау! Все по полочкам! четко и без воды! Продолжать однозначно.

  • @valbv
    @valbv Жыл бұрын

    Спасибо за информативное видео! Как раз решил почитать про кафку поподробнее и тут выходит видос )

  • @barma1309
    @barma1309 Жыл бұрын

    Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.

  • @jozz3235
    @jozz3235 Жыл бұрын

    ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть

  • @STAP2011
    @STAP2011 Жыл бұрын

    Огромное спасибо за твои видео! Максимально короткие и полезные)

  • @romann1295
    @romann1295 Жыл бұрын

    Огромное спасибо! Не останавливайся, продолжай пилить контент

  • @sptica
    @sptica Жыл бұрын

    Спасибо, очень в тему. Ждём продолжения :-)

  • @iraklidavitaia
    @iraklidavitaia Жыл бұрын

    Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.

  • @dasydasy9268
    @dasydasy9268 Жыл бұрын

    Все точно без лишней инфы. Большое спасибо! Точно продолжайте

  • @MainDevOps
    @MainDevOps Жыл бұрын

    Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )

  • @nikolai_kelin
    @nikolai_kelin Жыл бұрын

    Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))

  • @IvanIvanov-ix3vj
    @IvanIvanov-ix3vj Жыл бұрын

    3:50 перепутано понятие партиции и реплики. Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер) В партициях находятся РАЗНЫЕ сообщения одного топика.

  • @yavener

    @yavener

    5 ай бұрын

    верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).

  • @ricardomilos857

    @ricardomilos857

    2 ай бұрын

    К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию

  • @Aticinsane
    @Aticinsane Жыл бұрын

    Спасибо! Продолжайте, тема полезная!

  • @Max-hf8ju
    @Max-hf8ju Жыл бұрын

    Как раз пришел в компанию администрировать кафку) Продолжай!

  • @user-jh9zk8ts5y
    @user-jh9zk8ts5y Жыл бұрын

    Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами

  • @Dodexpwnz
    @Dodexpwnz Жыл бұрын

    Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.

  • @Silver-Parallaxis

    @Silver-Parallaxis

    Жыл бұрын

    как успехи с трудоустройством?)

  • @andrewnatalin7647
    @andrewnatalin7647 Жыл бұрын

    Спасибо большое, Антон, очень понятно объяснили!

  • @porovozikthomas2971
    @porovozikthomas2971 Жыл бұрын

    Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)

  • @user-iu6lp5ui9c
    @user-iu6lp5ui9c Жыл бұрын

    Очень доступно рассказываете, спасибо!

  • @wandos777
    @wandos777 Жыл бұрын

    Конечно, продолжай снимать видео !

  • @Lammax2012
    @Lammax2012 Жыл бұрын

    Классно. Интересно. Почти понятно. Нужно ещё )

  • @FBIYgolek
    @FBIYgolek Жыл бұрын

    Ждем продолжения!

  • @coffeepanda722
    @coffeepanda722 Жыл бұрын

    Спасибо за видео ролики. Очень полезно

  • @v1tbrah
    @v1tbrah11 ай бұрын

    Спасибо большое, интересно, доступно, понятно!

  • @OlgaBelova
    @OlgaBelova Жыл бұрын

    Очень нужно продолжение!

  • @user-qm2zu3rk4b
    @user-qm2zu3rk4b9 ай бұрын

    Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka

  • @marusiad2784
    @marusiad2784 Жыл бұрын

    Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.

  • @annoil1
    @annoil1 Жыл бұрын

    продолжай, тема интересная. Жги!

  • @suntwo91
    @suntwo91 Жыл бұрын

    Очень классное видео, спасибо!

  • @sovrinfo
    @sovrinfo Жыл бұрын

    Спасибо за видео.Коммент в поддержку!

  • @turumpurum9374
    @turumpurum9374 Жыл бұрын

    спасибо, очень актуально, буду ждать продолжения

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Продолжение есть на канале. Его не смотрели

  • @turumpurum9374

    @turumpurum9374

    Жыл бұрын

    @@pavlenkoat , уже посмотрела, теперь жду ещё)

  • @smokzpolski
    @smokzpolski Жыл бұрын

    Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.

  • @maxNamarra
    @maxNamarra Жыл бұрын

    Очень познавательно, спасибо большое 👍🏻

  • @mironovnikolay
    @mironovnikolay Жыл бұрын

    Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.

  • @alexkpvts
    @alexkpvts Жыл бұрын

    Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.

  • @natielsanti407
    @natielsanti407 Жыл бұрын

    Спасибо за ролик!

  • @TESSkyrimV
    @TESSkyrimV Жыл бұрын

    А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.

  • @uvesel4ak
    @uvesel4ak Жыл бұрын

    Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.

  • @odessatester4792
    @odessatester4792 Жыл бұрын

    Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)

  • @annachurkina2588
    @annachurkina2588 Жыл бұрын

    Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍 А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗

  • @Mr4E4ETKA
    @Mr4E4ETKA Жыл бұрын

    Очень нужно. Я как раз столкнулся с этим.

  • @QAWayAuto
    @QAWayAuto Жыл бұрын

    Спасибо огромное! :)

  • @DunSety
    @DunSety Жыл бұрын

    хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста

  • @efajunk
    @efajunk Жыл бұрын

    Тема интересная. Продолжать определенно стоит

  • @ivanivanov-hl7ry
    @ivanivanov-hl7ry Жыл бұрын

    Спасибо за видео Антон! Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.

  • @yuridrozdov4069
    @yuridrozdov4069 Жыл бұрын

    Познавательно. Спасибо.

  • @yosapanaitov
    @yosapanaitovАй бұрын

    Спасибо!

  • @imabouttobe
    @imabouttobe Жыл бұрын

    Интересно!)

  • @Dragoncheg
    @Dragoncheg Жыл бұрын

    Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.

  • @rostislav-nikolaiev
    @rostislav-nikolaiev Жыл бұрын

    Спасибо

  • @kawaikaino5277
    @kawaikaino5277 Жыл бұрын

    Очень хотелось бы на практике рассмотреть, в вашем исполнении

  • @rafiqmammedzade9689
    @rafiqmammedzade9689 Жыл бұрын

    Отличное видео

  • @vshefer
    @vshefer Жыл бұрын

    Давай дальше по кафку, интересно!

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Последнее видео не зашло как наберёт. 4000 просмотров продолжу

  • @romancomit9210
    @romancomit92106 күн бұрын

    Кайфовый выпуск

  • @user-zf9ur8sy5n
    @user-zf9ur8sy5n Жыл бұрын

    огонь

  • @tswtcjahhgg
    @tswtcjahhgg Жыл бұрын

    Интересно

  • @GerasimovNikita
    @GerasimovNikita Жыл бұрын

    Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?

  • @vladdrzd6484
    @vladdrzd6484 Жыл бұрын

    поставил лайк, написал коммент

  • @Mitlas
    @Mitlas Жыл бұрын

    было бы ещё интересно сравнить кафку с rmq и прочими

  • @user-il6hw4dp5n
    @user-il6hw4dp5nАй бұрын

    В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД

  • @yarrdd2589
    @yarrdd2589 Жыл бұрын

    зашёл просто для лайка

  • @laiza1fox
    @laiza1fox Жыл бұрын

    Ой, а можно еще раз про топики, зачем и как они работают.

  • @brodlovherrsov7097
    @brodlovherrsov7097 Жыл бұрын

    Круто, готов купить ваш платный курс по кафка

  • @user-sv3ne7jg9n
    @user-sv3ne7jg9n Жыл бұрын

    Заваривайте вашу любимую кафку. ))) Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.

  • @samrybkin9184
    @samrybkin9184 Жыл бұрын

    Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?

  • @popalex1990
    @popalex1990 Жыл бұрын

    Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)

  • @lRickl
    @lRickl Жыл бұрын

    Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.

  • @eduardmart1237
    @eduardmart1237 Жыл бұрын

    В чем преимущество у Кафки перед rabbitmq?

  • @RedLegioner
    @RedLegioner Жыл бұрын

    Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    События, логов, пересылка сообщений между приложений. В бигдате его используют.

  • @Eustrop
    @Eustrop Жыл бұрын

    Посмотрел. Понравилось. Продолжать. А сколько всего уроков запланировано? Или "как пойдёт"? Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана. P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать.. P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.

  • @kumb61
    @kumb61 Жыл бұрын

    Примеры были бы очень кстати

  • @user-zx8en4tb3h
    @user-zx8en4tb3h Жыл бұрын

    More Kafka

  • @user-fr4di4jv6q
    @user-fr4di4jv6q Жыл бұрын

    А разве через admin api не удалить сообщения? deleteBefore например по офсету

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Пользователю оно недоступно.

  • @mikhaildiesperov2345
    @mikhaildiesperov2345 Жыл бұрын

    Так, мне задачу делать надо. Где продолжение?)

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    kzread.info/dash/bejne/mo1tuciPgrmsgKg.html Но увы не зашло видео без напоминания))))

  • @timyarmatoff5291
    @timyarmatoff5291 Жыл бұрын

    Все же, без теоретической подготовки computer science тяжеловато понять.

  • @kote315
    @kote315 Жыл бұрын

    И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах. Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно. Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже) В то же время забивать голову ненужной фигней тоже не хотелось бы. Такие дела...

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.

  • @vladdeiy572
    @vladdeiy572 Жыл бұрын

    +

  • @eduardmart1237
    @eduardmart1237 Жыл бұрын

    А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Они не никогда не удаляются скорее их нельзя удалить

  • @user-qi8xp5xi3c
    @user-qi8xp5xi3c Жыл бұрын

    В этом видео мы подключаемся к очереди, а не к потоку)

  • @pavlenkoat

    @pavlenkoat

    Жыл бұрын

    Ну да ты прав

  • @krionick
    @krionick Жыл бұрын

    Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))

  • @Diadema566
    @Diadema56610 ай бұрын

    фигасе у вас аллегории.

  • @ricardomilos857
    @ricardomilos8572 ай бұрын

    Очень много инфы расходится

  • @nikolaifedorov685
    @nikolaifedorov685Ай бұрын

    Снимай дальше! На безрыбье и рак - рыба.

Келесі