🖥 ИИ развивается быстрее, чем мы успеваем это осмыслить

Вчера на портале Epoch AI произошел большой апдейт крутой статистики об ИИ. Это отличный ресурс для тех, кому нужно много исходных данных для своего анализа. Все данные лицензированы под Creative Commons Attribution, доступны для скачивания в ZIP-архивах.

Epoch AI — это некоммерческий продукт исследовательского института, посвящённый изучению развития ИИ и его экономического и социального воздействия.

Ребята активно создают свои базы данных: например, у них информация о более 3,2 тыс. моделей ИИ с 1950 года. Они прогнозируют развитие ИИ, разрабатывают бенчмарки, такие как FrontierMath для сложных математических задач.

Именно на Epoch AI вы найдете всю исходную статистику, чтобы сделать и обосновать такие вот выводы:

1️⃣ С 2010 г. объем мощностей, затрачиваемых на обучение топовых моделей, растет в среднем в 4,4 раза в год. Но в сегменте «флагманов» темпы еще выше — с 2020 г. объем вычислений увеличивается в 5 раз ежегодно.

2️⃣ Мы перешли от систем мощностью в 10–20 тыс. видеокарт к «мега-кластерам». Актуальный стандарт для обучения моделей следующего поколения — это 100 тыс. и более ускорителей. Масштабирование продолжается, и на горизонте уже виднеются системы на 300–500 тыс. чипов.

3️⃣ Почти все крупнейшие подтвержденные кластеры принадлежат узкому кругу игроков: Microsoft (вместе с OpenAI), Meta, Google, Amazon и xAI. Это подчеркивает беспрецедентную централизацию вычислительных ресурсов в руках Big Tech, что напрямую влияет на то, кто будет определять будущее ИИ.

4️⃣ Каждые 8–9 месяцев количество вычислений, необходимых для достижения определенного уровня качества, сокращается вдвое. То есть ИИ-модели учатся достигать тех же результатов, потребляя в 2 раза меньше ресурсов меньше чем за год.

5️⃣ Одним из главных драйверов эффективности стал переход от вычислений высокой точности (FP32) к низкой (FP16, INT8, а теперь и FP4). Это позволяет упаковывать больше операций в те же транзисторы и экономить энергию без значительной потери качества обучения моделей. Каждое такое «упрощение» дает кратный рывок в производительности.

6️⃣ Производительность чипов для машинного обучения растет в среднем в 2,5–3 раза каждые два года. Это значительно опережает темпы роста производительности классических процессоров, что обусловлено не только уменьшением техпроцесса, но и архитектурными изменениями.

7️⃣ Данные подтверждают, что кастомные чипы (ASIC), такие как Google TPU, часто опережают универсальные GPU от Nvidia по показателям производительности на ватт в специфических задачах обучения трансформеров. Это заставляет других гигантов активно инвестировать в разработку собственных чипов, чтобы снизить зависимость от одного поставщика.

8️⃣ Хотя вычислительная мощность растет стремительно, пропускная способность памяти и её объем не поспевают за этими темпами. Это создает серьезный разрыв: современные модели часто простаивают, ожидая передачи данных из памяти в вычислительные ядра. Решение этой проблемы через HBM-память становится ключевым фактором стоимости чипов.

9️⃣ Один современный мега-кластер потребляет сотни мегаватт — это сопоставимо с потреблением среднего города. Компании вынуждены строить ЦОД рядом с атомными электростанциями или инвестировать в собственную энергетику.

🔟 Объем данных для обучения растет на 50% в год, и исследователи Epoch AI прогнозируют, что запас качественных человеческих текстов в открытом доступе может быть исчерпан в период между 2026 и 2032 годами. Это делает неизбежным переход к новым методам масштабирования: использованию синтетических данных, закрытых корпоративных архивов и обучению на огромных массивах видеоконтента.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться