💵 Сколько стоит дообучить LLM?

Сегодня мы поговорим о деньгах в мире ИИ. Пока одни компании тратят на обучение нейросетей бюджеты, сопоставимые с ВВП небольших стран, другие находят способы получить передовые технологии за гораздо меньшие деньги. Давайте разберемся, сколько стоит «воспитать» LLM с нуля и во что обойдется «дообучение» уже готовой модели.

📈 Гонка на миллиарды: экспоненциальный рост затрат

Стоимость обучения передовых LLM растет по экспоненте, удваиваясь примерно каждые 9 месяцев. Если в 2017 году обучение трансформера стоило менее $1 тыс., то сегодня мы видим совершенно другие цифры:

GPT-3 (2020): $4,3 млн
GPT-4 (2023): $80 млн
Grok-2 (2024): $107 млн
Llama 3.1-405B (2024): $170 млн (с оценками до $650 млн, включая доп. оборудование)
Gemini 1.0 Ultra (2023): $192 млн

Прогноз от CEO Anthropic Дарио Амодея звучит еще более ошеломляюще: к 2027-2028 годам стоимость обучения флагманских моделей может достигнуть $100 млрд.

💸 Из чего складывается цена?

Основной вклад в стоимость вносят:

✔️ Аренда GPU/TPU: 40–50% бюджета. Для обучения GPT-4 потребовалось около 8 тыс. чипов NVIDIA H100 на 3 месяца. Для будущего GPT-5, по оценкам, понадобится уже не менее 50 тыс. таких ускорителей.
✔️ Обработка и подготовка данных: 15–20%
✔️ Персонал и инженеры: 10–15%
✔️ Электроэнергия и охлаждение: 10–15%

Ключевые технические факторы, влияющие на цену, — это количество параметров модели и размер контекстного окна. Механизм внимания масштабируется квадратично: увеличение контекста в 8 раз приводит к росту стоимости вычислений примерно в 64 раза.

🌎 Запад vs. Восток: разные стратегии

На фоне американских гигантов китайские компании демонстрируют иной подход, делая ставку на алгоритмическую эффективность:

Qwen 2.5-Max (Alibaba): Стоимость обучения оценивается в $12–20 млн. Благодаря архитектуре Mixture-of-Experts (MoE), вычислительные затраты снижены на 30% по сравнению с монолитными моделями.
DeepSeek V3: Заявленная стоимость в $6 млн вызвала споры в сообществе, подчеркнув проблему непрозрачности в отчетности о затратах на обучение LLM.

💡 Спасение для остальных — fine-tuning (тонкая настройка)

Полный цикл обучения с нуля — удел корпораций. Но для решения прикладных задач существует гораздо более доступный путь — дообучение готовых open-source моделей. Это в 100-1000-1 000 000 раз дешевле.

💰 Примеры стоимости дообучения:

Llama 3 8B (LoRA адаптация): $500–$1500
Llama 3 70B (полное дообучение): $10 000–$30 000
Сверхбюджетный вариант: В июне 2024 года эксперты смогли дообучить Mistral 7B всего за 4 часа, потратив менее $10 на вычисления (на одном GPU NVIDIA A10G).

Итоговая цена зависит от размера модели, объема ваших данных и выбранного алгоритма настройки.

Вывод

Создать свою GPT-5 в гараже не получится. Но дообучить мощную open-source модель под ваши уникальные задачи — более чем реально. Учитывая, что час аренды передового чипа H100 стоит около $10, кастомизация ИИ становится доступной практически для любой компании или даже энтузиаста.

Так что, возможно, на собственный LLM накопить проще, чем на обучение ребенка в престижном вузе.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться

Слово эпохи — «AI-washing» или ИИ-вошинг.

Вы замечали, что все стало «powered by AI», «AI-driven», «AI inside»? Даже тот продукт, который не может быть создан с помощью искусственного интеллекта, сегодня придумает, как наклеить на себя желанный ярлык.

Это называется AI-washing, прямой аналог greenwashing: как и в случае с экоповесткой, когда компания притворяется зеленой, тут компания ради маркетинга становится высокотехнологичной. Как и в случае с зеленой аджендой, AI — область, где мало кто разбирается, но причастными хотим быть мы все.

Несколько примеров ИИ-вошинга:
— Coca-Cola создала вкус Y3000 «co-created with AI». Под этим лейблом подразумевались маркетинговые опросы и анализ вкусовых предпочтений, а не то, что AI действительно создал вкус, что сегодня возможно в фудтехе.

— Косметическая платформа Oddity Tech Ltd. заявляла о прорывных ИИ-технологиях для подбора косметики и персонализации сервиса. В 2024 году против компании был подан коллективный иск, так как выяснилось, что степень использования ИИ была сильно преувеличена, а сервис по сути работал по традиционным алгоритмам.

— AI-пылесосы, зубные щетки и другая бытовая техника — часто просто выносят свою уже существующую ранее технологию на упаковку, чтобы быть актуальными, называя так базовые технологии, которые мы не имеем в виду, когда слышим сегодня термин AI. (В том или ином смысле, алгоритмы ИИ есть в любой современной бытовой технике).

— Мое любимое: система Amazon Just Walk Out в магазинах Amazon Fresh и Amazon Go позиционировалась как полностью автоматизированная на базе ИИ: покупатели могли просто взять товар и выйти, а система якобы сама все распознавала и списывала оплату. Выяснилось, что значительную часть транзакций вручную обрабатывали сотни сотрудников в Индии, а не ИИ.

Так что будьте осторожнее и проверяйте два раза, когда вам продают что-то «с ИИ».

➡️ Включите уведомления, чтобы не пропускать полезные советы по AI, тренды, странные штуки, рекомендации сериалов, фильмов, книг и музыки.

➡️ Если пост оказался вам полезен, буду благодарен шеру. @danieltrbn