Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.
Ғылым және технология
Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/nzp90
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit
Пікірлер: 100
Вау! Все по полочкам! четко и без воды! Продолжать однозначно.
Спасибо за информативное видео! Как раз решил почитать про кафку поподробнее и тут выходит видос )
Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.
@pavlenkoat
Жыл бұрын
Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.
ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть
Огромное спасибо за твои видео! Максимально короткие и полезные)
Огромное спасибо! Не останавливайся, продолжай пилить контент
Спасибо, очень в тему. Ждём продолжения :-)
Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.
Все точно без лишней инфы. Большое спасибо! Точно продолжайте
Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )
Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))
3:50 перепутано понятие партиции и реплики. Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер) В партициях находятся РАЗНЫЕ сообщения одного топика.
@yavener
5 ай бұрын
верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).
@ricardomilos857
2 ай бұрын
К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию
Спасибо! Продолжайте, тема полезная!
Как раз пришел в компанию администрировать кафку) Продолжай!
Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами
Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.
@Silver-Parallaxis
Жыл бұрын
как успехи с трудоустройством?)
Спасибо большое, Антон, очень понятно объяснили!
Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)
Очень доступно рассказываете, спасибо!
Конечно, продолжай снимать видео !
Классно. Интересно. Почти понятно. Нужно ещё )
Ждем продолжения!
Спасибо за видео ролики. Очень полезно
Спасибо большое, интересно, доступно, понятно!
Очень нужно продолжение!
Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka
Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.
продолжай, тема интересная. Жги!
Очень классное видео, спасибо!
Спасибо за видео.Коммент в поддержку!
спасибо, очень актуально, буду ждать продолжения
@pavlenkoat
Жыл бұрын
Продолжение есть на канале. Его не смотрели
@turumpurum9374
Жыл бұрын
@@pavlenkoat , уже посмотрела, теперь жду ещё)
Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.
Очень познавательно, спасибо большое 👍🏻
Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.
@pavlenkoat
Жыл бұрын
Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.
Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.
Спасибо за ролик!
А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.
Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.
Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)
Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍 А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗
Очень нужно. Я как раз столкнулся с этим.
Спасибо огромное! :)
хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста
Тема интересная. Продолжать определенно стоит
Спасибо за видео Антон! Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.
@pavlenkoat
Жыл бұрын
Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.
Познавательно. Спасибо.
Спасибо!
Интересно!)
Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.
Спасибо
Очень хотелось бы на практике рассмотреть, в вашем исполнении
Отличное видео
Давай дальше по кафку, интересно!
@pavlenkoat
Жыл бұрын
Последнее видео не зашло как наберёт. 4000 просмотров продолжу
Кайфовый выпуск
огонь
Интересно
Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?
поставил лайк, написал коммент
было бы ещё интересно сравнить кафку с rmq и прочими
В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД
зашёл просто для лайка
Ой, а можно еще раз про топики, зачем и как они работают.
Круто, готов купить ваш платный курс по кафка
Заваривайте вашу любимую кафку. ))) Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.
Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?
Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)
Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?
@pavlenkoat
Жыл бұрын
Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.
В чем преимущество у Кафки перед rabbitmq?
Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?
@pavlenkoat
Жыл бұрын
События, логов, пересылка сообщений между приложений. В бигдате его используют.
Посмотрел. Понравилось. Продолжать. А сколько всего уроков запланировано? Или "как пойдёт"? Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана. P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать.. P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)
@pavlenkoat
Жыл бұрын
Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.
Примеры были бы очень кстати
More Kafka
А разве через admin api не удалить сообщения? deleteBefore например по офсету
@pavlenkoat
Жыл бұрын
Пользователю оно недоступно.
Так, мне задачу делать надо. Где продолжение?)
@pavlenkoat
Жыл бұрын
kzread.info/dash/bejne/mo1tuciPgrmsgKg.html Но увы не зашло видео без напоминания))))
Все же, без теоретической подготовки computer science тяжеловато понять.
И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах. Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно. Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже) В то же время забивать голову ненужной фигней тоже не хотелось бы. Такие дела...
@pavlenkoat
Жыл бұрын
Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.
+
А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?
@pavlenkoat
Жыл бұрын
Они не никогда не удаляются скорее их нельзя удалить
В этом видео мы подключаемся к очереди, а не к потоку)
@pavlenkoat
Жыл бұрын
Ну да ты прав
Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))
фигасе у вас аллегории.
Очень много инфы расходится
Снимай дальше! На безрыбье и рак - рыба.