🔥 The Ultra-Scale Playbook: руководство по обучению крупных языковых моделей на GPU-кластерах!

💡 Это руководство посвящено обучению больших языковых моделей на масштабируемых GPU-кластерах. В рамках этого проекта было проведено более 4000 экспериментов по масштабированию на кластере с использованием до 512 GPU, с целью измерения пропускной способности и эффективности обучения.

🔗 Ссылка: *клик*

#курс #machinelearning

📖 В этой статье представлена новая архитектура модели под названием Inner Thinking Transformer (ITT), направленная на улучшение способности языковых моделей к адаптивному внутреннему мышлению без увеличения количества параметров!

💡 Авторы выявили, что сложные токены вызывают резкие всплески градиентов в стандартных трансформерах, что указывает на архитектурные ограничения при обработке таких токенов. В ответ на это ITT динамически распределяет вычислительные ресурсы через адаптивную маршрутизацию токенов, итеративно улучшает представления с помощью остаточных связей мышления и различает этапы рассуждений посредством кодирования шагов мышления. Это позволяет более глубоко обрабатывать критические токены без увеличения параметров модели.​

🌟 Экспериментальные результаты показывают, что ITT достигает 96,5% производительности модели с 466 миллионами параметров, используя всего 162 миллиона параметров, сокращает объем необходимых обучающих данных на 43,2% и превосходит варианты Transformer/Loop в 11 различных тестах. Таким образом, ITT эффективно балансирует между производительностью и эффективностью, оптимизируя внутренние процессы мышления модели.​

🔗 Ссылка: *клик*

@machinelearning_books

🔥 ​Approaching (Almost) Any Machine Learning Problem — это книга, основное внимание в которой уделяется практическим аспектам решения задач машинного обучения, включая предобработку данных, выбор моделей, кросс-валидацию, оценку метрик, обработку категориальных переменных, инженерные методы работы с признаками, отбор признаков, настройку гиперпараметров, а также подходы к классификации изображений и текста, ансамблированию и стеккингу моделей, обеспечению воспроизводимости кода и развертыванию моделей!

🌟 Книга содержит значительное количество кода, сопровождаемого подробными комментариями, что позволяет читателям следовать примерам и применять их в своих проектах. Автор подчеркивает, что книга не предназначена для изучения базовых алгоритмов, а сосредоточена на практических рекомендациях по решению реальных задач машинного обучения.

🖥 Github

#machinelearning

🔥 Эта книга — огромный набор упражнений по машинному обучению для самостоятельного решения!

🌟 Темы включают линейную алгебру, оптимизацию, графические модели, скрытые марковские модели, методы выборки и вариационные методы.

🔗 Ссылка: *клик*