Очень толковый доклад, большое спасибо !

Так мало таких докладов! Спасибо!

Великолепный доклад. Спасибо большое!

Крутейший доклад смотрю повторно дабы запомнить эти важные особенности работы

на мой взгляд, один из самых достойных докладов из всей конференции.

РЕально круто интересно! Спасибо огромное

Спасибо за доклад! На 38:40 показывается разница в производительности диска для щедулеров NOOP и CFQ. Подскажите, пожалуйста, на серверах стоят HDD или SSD?

7:03 replica.fetch.wait.max.ms 10:20 replica.max.lag.ms 15:30 unclean.leader.election.enable

5:14 Консьюмеры разве только с лидера Партиции читают?

Сдерживающий слёзы от болей и обид В объёме обжитой, дряхлеющей клетки, почти пожелтейшей от солнца, родной, пружины матраса, кроватная сетка от пролитых слёз покрываются ржой. Прокуренной пастью я вою в подушку, в бумагу вписав мой слагающий дар, оставив чуть кофе в загаженной кружке, как в гильзе снаряда прохладный нагар. Плаксивую сущность скрываю от мира, какой равнодушен ко мне, да и к ней. Иные кричат за столом, за трактиром, а я в своей келье средь тёмных теней. От вылитых влаг и прокусанных гладей сгнила ни одна уже смена белья! Однажды, паркет промолчив под кроватью, к соседям я рухну средь ночи иль дня...

7:07 говорится, что параметр `replica.fetch.wait.max.ms` по сути отвечает за то, как часто реплика будет опрашивать лидера, однако в документации написано "`replica.fetch.wait.max.ms`: max wait time for each fetcher request issued by follower replicas", что можно понять как максимальное время ожидания ответа от лидера при запросе данных со стороны реплики В таком случае каким образом этот параметр влияет на частоту запросов?

молодец, Денис! Интересно и четко. А вот если бы назвал доклад "Моя борьба" и усики наклеил - больше народу бы набрал в зал. Слава котам!

Ответ на первый вопрос, нету проблем у расказчиков потому что они используют кафку на малых нагрузках, там где она воббще не нужна

Доклад интересный, но я смотрел в недоумении. Вы не живете в Java мире, зачем вы Kafka выбрали? Все тоже самое и больше есть в RabbitMQ.

@ribapolosataya

4 жыл бұрын

да только кролик может максимум на запись около 20к и не умеет толком в кластер из коробки, когда как кафка льет в себя 100-200-400к, умеет кластер из коробки. и опять же, кролик это умная очередь, тупой консьюмер, а кафка это тупая очередь, умный консьюмер. разные подходы

@evgeniym29

4 жыл бұрын

@@ribapolosataya Кролик умеет из коробки в кластер. По поводу 20к не уверен, сам таких замеров не проводил. В общем, поставить кластер из Кроликов значительно менее ресурсоемко, чем из Kafka. Ну да и бог с ними. Захотели Kafka получили, поделились опытом, спасибо им за это.

@ArtemDenisov201

4 жыл бұрын

Как человек, который долгое время занимался очередями в Badoo, могу сказать что RabbitMQ тестировали и не раз. Основная проблема с тем, что он очень хрупкий и часто корраптится/теряет данные в случае проблем даже при относительно небольшом трафике. У нас же одно из основных требований - at least once delivery. Если запускаешь RabbitMQ в параноидальном режиме, он ничего не теряет, но чудовищно деградирует по производительности. По поводу Java мира - как мне кажется, Kafka давно уже вышла за его пределы и, например, для многих языков есть отличная поддержка и клиентские библиотеки. Ну и как правильно заметили выше, разница в производительности чудовищная - когда бенчмаркали, Kafka даёт на одну (!) партицию около 140k eps на чтение, и упирается чаще всего в сеть, а не ресурсы сервера :)

@evgeniym29

4 жыл бұрын

@@ArtemDenisov201 Спасибо, за такой полный ответ.

@andreismirnov9993

3 жыл бұрын

@@ArtemDenisov201 c RabbitMQ все понятно, да и вообще он скорее для других паттернов (например response-request). А не пробовали Apache Pulsar вместо Kafka?

Я айтишник и знаком с этим сервисом, но, сука, я открыл этот видос, чтобы послушать про один из самых непонятных рассказов Кафки. Автор доклада, я оценил твой прикол

@maratgarifulin4798

2 жыл бұрын

Я тоже искал это ,а попав на это слегка обалдел.

Толково!

Доклад в целом полезный, но: 1) дикция ужасная 2) зачем он 5 лет на одном месте работал? Фанатик?