Обучение LLM на потоковых данных соцсетей: как фильтровать информационный шум?

15 Eki 13:45

Когда мы обучаем большие языковые модели или подключаем к ним RAG на основе динамических потоков вроде соцсетей и новостных лент, возникает фундаментальная проблема баланса. С одной стороны, модель получает актуальнейший контекст здесь и сейчас. С другой — качество токенов резко падает из-за сарказма, сленга, непроверенных вбросов и эмоционального окраса сообщений. Как архитектурно эффективнее решать эту задачу на этапе препроцессинга контекста? Достаточно ли легковесной семантической кластеризации и скоринга надежности источников, или без тяжелых промежуточных моделей-суммаризаторов здесь в принципе не обойтись? Интересно послушать, как вы концептуально подходите к валидации неструктурированного потока данных.