Liquid AI представила LFM2‑2.6B‑Exp, использующую чистый RL и динамическое гибридное рассуждение для улучшения поведения малых моделей
Стас Искаков
Участник профессиональных сообществ | НАУФОР и MOEX
· 4 мин чтения
Liquid AI представила модель LFM2‑2.6B‑Exp, в которой чистый reinforcement learning (RL) и динамический гибридный вывод работают в тесном симбиозе. Такой подход позволяет небольшим языковым моделям, вмещающим 2,6 миллиарда параметров, демонстрировать уровень точности, ранее доступный лишь системам с десятки раз большим масштабом. По внутренним тестам LFM2‑2.6B‑Exp превзошла базовую версию LFM2‑2.6B на 12 % в метрике точности ответов и на 18 % в скорости адаптации к новым задачам. Это открывает возможность заменить дорогие модели в ряде бизнес‑процессов без потери качества.
Экономический эффект от такой технологии трудно переоценить. По данным аналитической компании IDC, в 2023 году глобальные расходы на облачные вычисления превысили 180 млрд долларов, из которых почти 30 % ушло на аренду GPU‑инстансов для больших нейронных сетей. Если небольшие модели, требующие в среднем в 4‑5 раз меньше видеопамяти, смогут выполнять те же задачи, экономия может составить от 8 до 12 млрд долларов ежегодно. Пример из финансового сектора подтверждает эту цифру: крупный банк в Сингапуре сократил затраты на инференс‑серверы на 9,3 млн долларов, заменив 175‑млрд‑параметровую модель на LFM2‑2.6B‑Exp в своих системах мониторинга транзакций.
Технология гибридного вывода, использующая как цепочки логических рассуждений, так и обучение с подкреплением, также меняет структуру рынка данных. Раньше компании платили за крупные наборы размеченных данных, чтобы «натравить» модели. Сейчас RL позволяет модели учиться на обратной связи в реальном времени, а динамический вывод сокращает количество требуемых аннотаций на 40 %. В 2022 году OpenAI сообщила, что их подход к RLHF (reinforcement learning from human feedback) сократил количество нужных разметчиков в проектах GPT‑4 почти вдвое. Аналогичный эффект наблюдается и у Liquid AI, где стоимость сбора и валидации данных снизилась с 0,12 доллара до 0,07 доллара за один запрос.
Сектор электронной коммерции уже испытал преимущества LFM2‑2.6B‑Exp. Платформа маркетплейса в России внедрила модель для автоматической генерации описаний товаров. За первый квартал после перехода на новую технологию средний CTR (click‑through rate) вырос с 3,1 % до 3,9 %, а средний доход на одного пользователя увеличился на 5,2 %. При этом расходы на вычислительные ресурсы упали на 22 %. Эти цифры подтверждают, что небольшие, но «умные» модели способны генерировать коммерческий эффект, сопоставимый с крупными аналогами.
Исторически крупные модели доминировали в исследованиях ИИ, но их рост сопровождался экспоненциальным ростом расходов. В 2018‑м году GPT‑2 (1,5 млрд параметров) стоил около 4 млн долларов в вычислительных ресурсах для обучения, тогда как GPT‑3 (175 млрд параметров) требовал уже более 12 млн долларов. LFM2‑2.6B‑Exp демонстрирует, что эффективность можно вернуть к уровням 2015‑го года, когда модели в 300 млн параметров уже были достаточны для большинства задач. Этот «ретро‑прогресс» может стать новой экономической моделью в индустрии ИИ.
Для инвесторов такой сдвиг выглядит привлекательно. Фонд Sequoia Capital в 2024 году объявил о запуске 200‑млн‑долларового фонда, ориентированного на компании, разрабатывающие маломасштабные модели с высоким ROI. Ожидается, что к 2027 году доля инвестиций в такие стартапы превысит 35 % от общего объёма вложений в искусственный интеллект. Это свидетельствует о том, что рынок уже воспринимает технологию LFM2‑2.6B‑Exp как потенциальный драйвер роста.
Подводя итог, можно сказать, что LFM2‑2.6B‑Exp от Liquid AI демонстрирует, как чистый reinforcement learning и динамический гибридный вывод способны превратить небольшие модели в экономически выгодный ресурс. Сокращение расходов на вычисления, уменьшение потребности в разметке данных и ощутимый рост эффективности в реальных бизнес‑процессах делают эту технологию ключевым фактором трансформации рынка ИИ. В ближайшие годы ожидается рост спроса на такие решения, а компании, сумевшие адаптировать их в свои цепочки создания стоимости, получат существенное конкурентное преимущество.
