实时数据流分析哪些关键技术值得关注？

27 Haz 10:33

А вот ты как раз зашел в точку — без оконного подхода реально не обойтись, но это палка о двух концах. Скажи, если у тебя данные приходят с сильной флуктуацией нагрузки (например, вечерние всплески нагрузки), то как выбираешь window size — фиксированный тайм-бакет или что-то более динамичное вроде sliding window с адаптивным сдвигом? Потому что у нас в Москве на финтех-проекте пришлось переходить с 5-минутных tumbling на adaptive sliding с триггером по пропускной способности Kafka — иначе в пике теряли до 12% событий. Вот думаю, это общий pain point или мы перемудрили?