Новость
VK опубликовала нейросетевую модель RuModernBERT, предназначенную для обработки разговорного и письменного русского языка. Модель поддерживает работу с длинными текстами без разбиения на фрагменты и может применяться локально, что снижает нагрузку на инфраструктуру.
По данным VK, RuModernBERT обучалась на массиве из 2 трлн токенов на русском, английском языках и коде. В обучении использовались разнообразные источники: книги, статьи, публикации и комментарии в социальных сетях. Это позволило адаптировать модель для современного языка и разговорных форм.
Доступны несколько версий: основная на 150 млн параметров и облегченная на 35 млн. Обновлены и дополнительные модели USER и USER2 для задач поиска и группировки информации. Модель USER2 использует технологию сжатия данных почти без потери точности.
Согласно компании, RuModernBERT работает быстрее предыдущих моделей: ускорение обучения и развертывания — на 10–20%, обработка длинных контекстов — в 2–3 раза быстрее по сравнению с ModernBERT. По результатам тестирования модель демонстрирует лучшие показатели в своей категории.
RuModernBERT уже внедрена в продукты и сервисы VK, которые ежедневно используют десятки миллионов человек.