Генеративный ИИ на своих серверах: сколько памяти GPU нужно частной языковой модели

Чтобы запустить модель генеративного ИИ (GenAI) на своих серверах, сложите две величины: веса модели и память, которую занимают запросы, на которые она отвечает в этот же момент. При обычной 16-битной точности весам нужно около 2 ГБ памяти GPU на каждый миллиард параметров, поэтому модели с 32,8 миллиарда параметров нужно около 66 ГБ ещё до того, как она кому-то ответит. Затем каждый запрос добавляет память пропорционально своей длине, и именно эта часть решает, сколько запросов сервер сможет обрабатывать одновременно.

Что занимает память GPU, когда работает языковая модель?

Языковая модель обычно работает на GPU — процессорах, созданных для тех вычислений, которые выполняют модели, — и всё время работы модель должна находиться в собственной памяти GPU. В этой памяти хранятся:

• Веса — числа, которые модель выучила при обучении; они загружаются один раз и остаются там
• KV-кэш — рабочая память модели для каждого запроса, на который она отвечает
• Рабочее пространство для обслуживающей программы

Размер весов фиксирован, как только вы выбрали модель и точность. KV-кэш растёт вместе с числом запросов, на которые модель отвечает одновременно, и с их длиной. И то и другое можно рассчитать до любой покупки.

Сколько памяти занимают веса модели?

Размер модели считают в параметрах, а точность — это число бит, в которых хранится каждый параметр. Руководство Hugging Face по эффективному запуску моделей, прочитанное 27 октября 2026 года, отмечает, что «сегодня почти все модели обучаются в bfloat16» — 16-битном формате, в котором параметр занимает 2 байта. Его эмпирическое правило: «для загрузки весов модели с X миллиардами параметров нужно примерно 2 * X ГБ VRAM при точности bfloat16/float16», где VRAM — это память GPU.

Пример из самого руководства — Llama 2 70B: около 140 ГБ только на веса. У Qwen3-32B, модели с открытыми весами, выпущенной по лицензии Apache 2.0, по данным её карточки 32,8 миллиарда параметров, поэтому её веса занимают около 66 ГБ. «Открытые веса» означает, что разработчик публикует файлы модели, чтобы её мог запускать любой.

Квантизация хранит веса в меньшем числе бит. В 8 битах параметр занимает 1 байт, в 4 битах — полбайта, поэтому той же модели нужно около 33 ГБ или чуть больше 16 ГБ. Команда Qwen публикует 8-битную версию — Qwen3-32B-FP8.

Руководство Hugging Face говорит, что веса «можно квантизовать до 8 или 4 бит без заметной потери качества». Оно же предупреждает, что 4-битная квантизация «на практике часто может давать другие результаты», чем 8-битная или 16-битная, и добавляет: «Пробовать — дело пользователя». Прогоните свои тестовые вопросы через любую сжатую версию, прежде чем на неё полагаться.

Сколько памяти добавляет каждый запрос?

Пока модель пишет ответ, она хранит значения для каждого токена, который уже прочитала и написала, чтобы не вычислять их заново для каждого нового слова. Токен — это часть слова. Эти сохранённые значения и есть KV-кэш, сокращение от key-value cache. В публикации 2023 года создатели vLLM, программы с открытым кодом для обслуживания моделей, отмечают, что кэш «занимает до 1,7 ГБ на одну последовательность в LLaMA-13B».

Размер для своей модели можно рассчитать по её опубликованным параметрам. Для каждого токена кэш хранит два набора чисел, ключи и значения, для каждого слоя. У Qwen3-32B 64 слоя, и в кэше она хранит 8 голов внимания по 128 чисел, согласно её карточке и файлу конфигурации. При 2 байтах на число получается 2 × 64 × 8 × 128 × 2 байта, около 262 КБ на токен.

Поэтому запрос на 8000 токенов, например длинный вопрос с фрагментами, найденными в ваших документах, плюс ответ, занимает около 2,1 ГБ, пока ответ не будет закончен. Полный штатный контекст модели в 32 768 токенов занимает около 8,6 ГБ.

Считайте запросы, на которые модель отвечает в один и тот же момент, а не людей с доступом. Сотрудники, работающие с ассистентом, большую часть времени читают ответы и набирают вопросы, а система, которая разбирает накопившиеся документы, может всю ночь держать загруженным каждый GPU.

Сколько GPU это означает?

У GPU для дата-центров фиксированный объём памяти. В спецификациях Nvidia, прочитанных в тот же день, указаны 80 ГБ у H100 в версии SXM и 94 ГБ в версии NVL, 141 ГБ у H200 и 48 ГБ у L40S.

Обслуживающая программа оставляет часть каждого GPU свободной. Документация vLLM описывает соответствующую настройку как «долю памяти GPU, используемую исполнителем модели» и в текущей версии указывает значение по умолчанию 0,92. На одном H100 NVL с 94 ГБ это около 86 ГБ. Веса Qwen3-32B в 16 битах занимают из них около 66 ГБ. На KV-кэш и прочую рабочую память программы остаётся примерно 21 ГБ — места меньше чем для десяти запросов по 8000 токенов одновременно.

С 8-битными весами остаётся около 54 ГБ — примерно на 25 таких запросов. На H100 с 80 ГБ 16-битные веса оставляют около 8 ГБ — места меньше чем для четырёх.

Когда веса не помещаются на один GPU, модель делят между несколькими GPU в одном сервере. Документация vLLM говорит: «если модель слишком велика для одного GPU, но помещается на одном узле с несколькими GPU, используйте тензорный параллелизм» — так там называется это разделение. Модель на 70 миллиардов параметров с 16-битной точностью не помещается на один GPU с 94 ГБ, а на двух таких на запросы остаётся около 33 ГБ.

Эти цифры показывают, помещается ли модель. Как быстро она отвечает, зависит от GPU, длины ответов и нагрузки, и показать это может только тест на ваших собственных запросах.

Арендовать GPU в облаке или покупать серверы?

Сначала арендовать — более дешёвый способ понять, что вам нужно. Публичный прайс-лист Microsoft для Azure, прочитанный в тот же день, даёт такие цены с оплатой по мере использования для виртуальных машин Linux в регионе East US:

• Один H100 NVL с 94 ГБ (Standard_NC40ads_H100_v5): 6,98 доллара в час, около 5100 долларов за месяц из 730 часов
• Два H100 NVL по 94 ГБ (Standard_NC80adis_H100_v5): 13,96 доллара в час, около 10 200 долларов в месяц
• Восемь H100 по 80 ГБ (Standard_ND96isr_H100_v5): 98,32 доллара в час, около 71 800 долларов в месяц

Это прейскурантные цены при почасовой оплате, а зарезервированные мощности продаются на других условиях. Цены меняются, поэтому запросите предложения у нескольких поставщиков на ту конфигурацию, к которой приведут ваши тесты.

Свои серверы имеют смысл, когда нагрузка стабильна и вы знаете, какую модель будете запускать, или когда ваши правила требуют, чтобы оборудование оставалось в вашем здании. Тогда в стоимость входят и люди, которые поддерживают эти серверы в работе; об этом статья о том, кто эксплуатирует LLM-систему без ML-команды.

Как рассчитать систему под свои задачи?

• Проверьте одну или две модели-кандидата на реальных вопросах из вашей работы и оставьте ту, чьи ответы проходят проверку
• Оцените, на сколько запросов система будет отвечать одновременно в самый загруженный час и какой длины обычный запрос, считая вопрос, найденные в ваших документах фрагменты и ответ
• Рассчитайте память для весов и KV-кэша, как показано выше, и оставьте запас
• Арендуйте GPU на несколько дней и проведите нагрузочный тест со своими запросами на этом пике
• Покупайте или резервируйте мощности, когда тест закончен

В vLLM есть команда для таких тестов — vllm bench serve. Она умеет выдавать процентили «ttft» и «tpot» — времени до первого токена и времени на каждый выходной токен. До теста решите, сколько ваши сотрудники готовы ждать первых слов ответа, и оценивайте результаты по самому загруженному часу.

Кто может это настроить?

Ваша инфраструктурная команда может эксплуатировать GPU-серверы, если уже обслуживает собственные серверы, а поставщик оборудования или облака может помочь с самими машинами. Подключить модель к вашим документам, входу в систему и правам доступа и проверить её ответы — это работа того, кто строит систему вокруг модели.

Фирма или команда, которую вы нанимаете, должна показать вам расчёт: какая модель и точность, сколько памяти уходит на веса и сколько на KV-кэш, с какой нагрузкой шёл тест и что он измерил. Попросите эти цифры, прежде чем утверждать бюджет на оборудование.

Где здесь место amBrain?

Единственный проект с языковой моделью, который amBrain описывает публично, таков: «Мы вывели интеграцию LLM в прод внутри FinTech-периметра клиента: извлечение и нормализация неструктурированных уведомлений брокеров и торговых площадок — о корпоративных действиях, изменениях по инструментам и марже — в структурированные записи, которые потребляет торговая система».

Эта статья — не кейс, и работа для клиентов в ней не описывается. В процитированной строке не сказано, какую модель использует та система, на каком оборудовании и где она работает. Цифры выше — расчёты по опубликованным спецификациям и прайс-листам, а не измерения из того проекта или из любой другой работы amBrain.

Компании, модели и продукты, названные здесь, цитируются по их опубликованным страницам, и статья не утверждает, что между amBrain и кем-либо из них есть какие-либо отношения. Цен, сроков и условий amBrain статья не приводит.

amBrain делает софт с 2019 года. Компания работает в трёх форматах: полная разработка, выделенная команда или инженеры внутри вашей команды. О владении у неё такая строка: «Клиент сохраняет полное владение продуктом и кодом, кроме наших переиспользуемых компонентов». Если amBrain в вашем шорт-листе, попросите у него тот же расчёт, что и у любой другой фирмы.