Как выбрать GPU-облако для обучения LLM в 2026 году

Обучение LLM — самый требовательный сценарий для GPU-инфраструктуры. Модель может занимать десятки гигабайт, прогон длиться неделями, а сбой на седьмые сутки способен обнулить бюджет. Поэтому выбор провайдера здесь начинается с вопроса не «сколько стоит час H100», а «выдержит ли инфраструктура мой пайплайн».

В каталоге GPU-облака для обучения моделей собраны провайдеры с разными профилями: от облачных VM до выделенных кластеров. Ниже — что учитывать при выборе.

Сколько памяти нужно для LLM

Ориентировочная логика простая: для обучения в fp16 нужно примерно 16–20 байт на параметр с учётом оптимизатора и активаций, но цифра сильно зависит от батча, длины контекста и способа шардирования. На практике:

• 7–8 млрд параметров — комфортно на 80 ГБ, возможны варианты на 40–48 ГБ с оптимизациями.
• 13–30 млрд — несколько карт или 80 ГБ с gradient checkpointing.
• 70 млрд и больше — multi-GPU, NVLink и продуманная стратегия параллелизма.

Если модель не помещается на одну карту, наличие NVLink и скорость межсоединения становятся важнее тактовой частоты. Уточняйте у провайдера не только модель GPU, но и топологию: сколько карт в узле, как они связаны и можно ли получить нужную конфигурацию целиком.

NVLink, сеть и диск

Для multi-GPU обучения узкое место часто не GPU, а обмен градиентами и чтение данных. Проверьте:

• поддерживает ли провайдер NVLink внутри узла;
• какая пропускная способность сети между узлами;
• насколько быстрое хранилище доступно для датасета;
• можно ли подключить дополнительный диск и сколько стоит его гигабайт.

Медленный диск может снизить загрузку GPU сильнее, чем слабая карта. Если датасет большой, заранее обсудите локальное NVMe-хранилище и способ доставки данных.

Как считать стоимость прогона

Стоимость обучения — это произведение часов на ставку плюс накладные расходы. Считайте не идеальный сценарий, а реальный:

1. Сколько эпох и сколько часов занимает одна эпоха на выбранной конфигурации.
2. Сколько времени уйдёт на отладку, повторные запуски и простои.
3. Сколько стоит хранение чекпоинтов и датасета.
4. Сколько стоит трафик при загрузке и выгрузке.

Для длительных задач compare не только почасовую ставку, но и помесячную аренду. Иногда выделенный сервер на месяц оказывается дешевле, чем 500 часов облачной VM. Смотрите bare metal и подборку с помесячной оплатой.

Чекпоинты и устойчивость к сбоям

Спросите себя: что произойдёт, если инстанс перезапустится через 12 часов? Хороший пайплайн должен уметь:

• сохранять чекпоинты на внешнее хранилище;
• восстанавливаться с последней точки;
• логировать метрики вне инстанса;
• не зависеть от локального диска, который исчезнет вместе с VM.

У некоторых провайдеров есть preemptible-инстансы: они дешевле, но могут быть остановлены. Для них особенно важно настроить автосохранение. Если бюджет позволяет, берите стабильные инстансы для финального прогона, а спотовые — для экспериментов.

Сравнение типов провайдеров

• Крупные облака (Amazon Web Services, Google Cloud, Microsoft Azure) дают широкий выбор GPU и зрелую инфраструктуру, но требуют внимательного контроля бюджета.
• Специализированные GPU-облака (CoreWeave, Lambda, Nebius) часто проще для ML-команд и предлагают конфигурации под обучение.
• Локальные провайдеры (Selectel, Yandex Cloud, Cloud.ru) удобны для проектов с требованиями к локализации и оплате в рублях.

Прямые сравнения помогут увидеть разницу: Selectel или Amazon Web Services, Selectel или Cloud.ru.

Что проверить перед оплатой

1. Доступность нужной GPU и возможность получить несколько карт в одном узле.
2. Наличие NVLink и параметры сети.
3. Скорость и стоимость диска.
4. Поддержку чекпоинтинга и внешнего хранилища.
5. Условия оплаты, SLA и поддержки.
6. Возможность быстро удалить инстанс и не платить за простой.

Начните с короткого тестового прогона на реальном датасете. Если провайдер справляется с ним и даёт понятные инструменты мониторинга, можно планировать длительное обучение. Если нет — лучше найти проблему на первом часе, а не на сороковом.