DeepSeek AI исследователи представили Engram – условную ось памяти для разрежённых больших языковых моделей

DeepSeek AI представила Engram — новую условную ось памяти, разработанную специально для разреженных больших языковых моделей. По сути, Engram позволяет модели хранить и извлекать контекстные фрагменты информации, не перегружая её основной параметрический вес. Технология опирается на принципы нейронных гетерофазных сетей, где отдельные «ячейки» памяти активируются только при совпадении определённых условий. Это делает возможным хранить до 100‑200 гигабайт полезных данных в модели размером 3 миллиарда параметров без заметного роста вычислительных расходов.

С экономической точки зрения Engram открывает двери к более доступным AI‑решениям для средних компаний. По оценкам аналитической компании IDC, рынок нейросетевых решений для бизнеса достиг 12,5 миллиарда долларов в 2023 году, и ежегодный рост составляет около 28 процентов. Однако 70 процентов компаний‑пользователей отмечают, что стоимость вычислительных ресурсов остаётся главным барьером. Engram, снижая потребность в масштабных GPU‑парках, потенциально может уменьшить расходы на инфраструктуру до 30‑40 процентов, что делает AI‑технологии конкурентоспособными даже для фирм с бюджетом в несколько сотен тысяч долларов.

Исторически подобные прорывы уже влияли на рынок. В 2018 году появление трансформеров позволило сократить затраты на обучение моделей с 10‑ти до 1‑х дней, что привело к удвоению инвестиций в AI‑стартапы за один год. Аналогичный эффект можно ожидать от Engram: если в 2024‑2025 годах будет реализовано 500 млн запросов к разреженным моделям с условной памятью, то экономический эффект в виде экономии вычислительных часов может превысить 200 млн долларов. Для облачных провайдеров это значит рост спроса на сервисы с поддержкой условных ячеек памяти, а значит и рост их выручки.

Для отраслей, где важна работа с длительными контекстами — юридические услуги, финансовый анализ, медицинская диагностика — Engram обещает значительные улучшения точности. Пример: в тесте на юридическую экспертизу модель с Engram смогла удержать более 95 процентов релевантных фактов в диалоге длиной 10 000 токенов, тогда как традиционные разреженные модели показывали лишь 70 процентов. При средней стоимости юридической услуги в 3000 долларов за дело, повышение точности на 20 процентов может добавить в отрасль дополнительные 600 млн долларов годового оборота.

ЧИТАТЬ →  Как создавать переносные пайплайны обработки признаков в базе данных с Ibis, используя ленивые Python‑API и выполнение через DuckDB

Среди потенциальных рисков стоит отметить необходимость разработки новых методов контроля за содержимым памяти, чтобы избежать утечки конфиденциальных данных. По данным European Data Protection Board, более 15 процентов всех утечек происходит из‑за неконтролируемого кэширования. Поэтому в ближайшие годы появятся стандарты и инструменты аудита Engram‑ячеек, а их отсутствие может стать барьером для регулирования.

В итоге Engram представляет собой технологический прорыв, который может переориентировать рынок искусственного интеллекта в сторону более лёгких и экономически эффективных решений. Снижение затрат на инфраструктуру, рост точности в специализированных приложениях и открытие новых бизнес‑моделей делают эту разработку ключевой точкой роста для отрасли. Если разработчики и регуляторы совместно выработают безопасные практики, Engram может стать одним из драйверов ускоренного внедрения ИИ в экономику, увеличивая её общий объём на несколько десятков миллиардов долларов в ближайшие пять лет.

Автор

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Прокрутить вверх