Григорий Кошелев - Когда всё пошло по Кафке 2: Разгоняем продьюсеров

Ғылым және технология

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
. . . Продолжение доклада «Когда всё пошло по Кафке», но основное внимание будет уделено Producer: разберёмся, что находится у него под капотом и как это работает. Этот доклад будет про тюнинг производительности Producer: поиск узких мест и выбор оптимальных параметров по требованиям.
Мы подробно разберём работу Producer:
Какие настройки влияют на его производительность;
Какие перформанс-метрики есть и что они значат;
Поиск узких мест;
Выбор параметров под внешние требования (latency, throughput, reliability).

Пікірлер: 4

  • @DudeSkinnyTall
    @DudeSkinnyTall2 жыл бұрын

    Лучший доклад по Кафке, что я смотрел. Вот бы ещё по брокерам аналогичный разбор!

  • @stanislavsavulchik9705
    @stanislavsavulchik97053 жыл бұрын

    Очень классный доклад, спасибо!

  • @privettoli
    @privettoli3 жыл бұрын

    Было-бы посмотреть похожий разбор по реактивному клиенту.

  • @57skies
    @57skies2 жыл бұрын

    I don't think that your explanation around "max.in.flight.requests.per.conection" is good enough. It's a far more complicated setting with regards to order. Otherwise the presentation was fabulous! It took a while to understand your point about : record-queue-time-avg/2. If you have 4 messages and in a perfect world they would arrive 2ms apart (for example), it means that the batch will have stayed 6ms in the record accumulator (again, in a perfect world). At the same time the average of each message in a batch would be : (6ms for the first message) + (4ms for the second) + (2ms for the third) + (0ms for the fourth) = 12ms / 4 messages = 3ms; OR record-queue-time-avg/2.

Келесі