DeepSeek открыла исходный код DeepInfer для инференса ИИ

Китайская лаборатория DeepSeek 16 октября 2026 года выложила в открытый доступ фреймворк DeepInfer. Инструмент под лицензией Apache 2.0 обеспечивает инференс модели DeepSeek-V4.1-Flash на кластерах, обрабатывающих до 155 трлн токенов в сутки. Стоимость вычислений при этом падает до 38 долларов в час на один графический ускоритель в периоды низкой нагрузки.

Но радоваться раньше времени не стоит. Фреймворк заточен исключительно под одну модель. Это не универсальный комбайн для любых нейросетей, а вырванный из продакшена кусок кода, который компания использует сама. На практике это выглядит так: вы получаете мощный вычислительный путь, но без систем хранения и маршрутизации, делающих этот путь дешевым при масштабировании.

Аппаратные требования сразу отсекают часть аудитории. DeepInfer работает только на новейших GPU NVIDIA архитектуры Blackwell (SM100) и китайских ускорителях Huawei Ascend 950. Поддержка старых добрых Hopper или Ampere просто не предусмотрена. Внутри разработчики внедрили спекулятивное декодирование DSpark, которое генерирует пять токенов вспомогательной моделью, а модуль оценки уверенности отбраковывает лишнее, сокращая количество проверяемых черновых токенов на 30 % (что в реальных нагрузках дает прирост производительности на 4–7 %).

Самым интересным в релизе оказалось то, чего в нем нет. DeepSeek намеренно не опубликовала код управления KV-кэшем, разделения этапов prefill и decode, а также балансировки нагрузки между репликами. В компании прямо заявили, что эти компоненты слишком тесно переплетены с их внутренней инфраструктурой. Те, кто работал с масштабированием больших языковых моделей, знают: без выделенного кластера для кэша каждый запрос будет заново вычислять промпт, съедая всю экономию.

«Дизайн описан в опубликованном материале, а код остается внутренним, поскольку эти компоненты тесно связаны с инфраструктурой компании», — отмечается в сопроводительной документации к релизу.

Если вы планируете развернуть это у себя, готовьтесь к серьезным вложениям. Минимальная эффективная конфигурация для запуска выглядит внушительно. Вам потребуется 128 графических процессоров: 64 для первичной обработки и еще 64 для генерации ответов. Реализовывать механизм разделения нагрузки пользователям придется самостоятельно, опираясь лишь на общую логику из документации. Грубо говоря, вам дали двигатель от гоночного болида, но шасси придется варить в собственном гараже.

Между тем финансовые аппетиты компании растут пропорционально амбициям. Рынок отреагировал мгновенно. По данным открытых источников, недавно DeepSeek привлекла около 15 миллиардов долларов в рамках очередного раунда, где ключевыми инвесторами выступили CATL и Tencent. Эти средства пойдут на строительство гигантского кампуса ЦОД мощностью 1 ГВт во Внутренней Монголии. Там развернут не менее 160 тысяч ускорителей Huawei Ascend 950DT. Такой шаг окончательно закрепит курс компании на технологический суверенитет от западных поставщиков.

И пока западные конкуренты тратят миллиарды на закрытые экосистемы, китайские разработчики методично выкладывают в открытый доступ инструменты, которые вчера считались коммерческой тайной. Что из этого выйдет в условиях жестких экспортных ограничений на чипы — вопрос.

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.