Skip to content
Энергетическая дискриминация: ИИ тратит на запросы на некоторых языках до 180 раз больше энергии, чем на английский
07 ноября 20:11 8 Просмотров Новости

Энергетическая дискриминация: ИИ тратит на запросы на некоторых языках до 180 раз больше энергии, чем на английский

Мичиганские инженеры посчитали, сколько джоулей сжигает инференс на пушту — 3147 кДж против 17,6 на английском.

Английский — это baseline, на котором всё заточено, и разница в 179 раз между ним и пушту — не опечатка в таблице, а системная проблема токенизаторов, обученных на латинице и разрывающих морфологию других языков на суб-токены.

Суб-токены — это не просто лишние байты в контексте, это прямой удар по batch size: чем длиннее последовательность, тем меньше запросов влезает в VRAM L40S или RTX 6000 Pro Blackwell, тем ниже утилизация GPU и тем больше киловатт уходит в тепло.

В тепло уходят киловатты, которые провайдеры перекладывают на клиентов из глобального юга, потому что 5,2 миллиарда человек говорят на языках, инференс которых стоит минимум в два раза дороже английского.

Дороже — и тупее.

Тупее в смысле accuracy: на тестах Belebele, GSM8K и LM-Arena модели стабильно хуже отвечают именно на тех языках, где энергозатраты на выходной токен вырастают до 8,3 раза — корреляция почти линейная, и это не случайность.

Случайность или нет, но авторы исследования — Qwen 3 на 8, 14 и 32 миллиарда, Gemma 3 27B, Llama 3.1 8B — прогнали через ML.Energy 122 языка и получили для хинди рост в 7,9 раза, для бенгальского — в 15,3, а для западноевропейских языков — скромные двукратные накладные расходы, которые всё равно удваивают себестоимость инференса.

график энергозатрат, ось X — языки, ось Y — кДж, видны столбцы для английского, хинди, бенгальского, пушту, цветовая дифференциация

Инференса, который ещё пару лет назад все пытались ускорить scaling laws и докидыванием FLOPS, но на практике оказалось, что архитектура токенизатора и распределение обучающих корпусов создают перекос, который не лечится брутфорсом.

Брутфорс не работает, если модель генерирует на не-латинских языках ответы в 20–25 раз длиннее английских аналогов — это не галлюцинации, это попытка компенсировать недостаток контекста в training data, и перевод через Meta* NLLB перед инференсом работает только при условии, что сам перевод не жрёт больше энергии, чем экономит.

NVIDIA L40S, серверная стойка, ракурс 45 градусов, видны медные тепловые трубки и логотип на радиаторе. Источник: files.mastodon.social
Источник: files.mastodon.social

Экономит — если вообще экономит, потому что специализированные модели под отдельные языки упираются в экономику: собирать датасет на пушту дешевле, чем потом содержать под него отдельный инстанс.

* Meta — признаны экстремистскими организациями, их деятельность запрещена на территории Российской Федерации.

Никита Карпов

Никита Карпов

Главный редактор

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.

Поделиться

Похожие публикации