В редких случаях бывает такое, что десятки тысяч событий недостаточно положить в kafka topic и читать их консьюмер группой, потому что читателей может быть очень много. Пример такой задачи — обработка потока аудитных логов в облаке.
Обсудим кратко, что такое аудитные логи.
У нас в облаке в любом проекте можно настроить специальную сущность — коллектор, который может видеть аудитные логи в разных проектах от разных продуктов внутри облака и сохранять их в хранилища. Коллекторов может быть несколько тысяч или даже больше.
Обсудим, почему нам не подошли обычные брокеры, почему в kafka много consumer groups — это плохо.
Разберём, как работает наше собственное решение, в котором брокера по сути нет, а читатель характеризуется курсором и не требует сложных операций подключения и отключения от брокера.
Backend-разработчик
Средний
Разработчик в MWS.