🎨 Опубликован код отладчика для моделей Transformer

OpenAI разместила инструмент на GitHub. Transformer Debugger помогает ответить на вопрос: «Почему модель выдала токен A вместо токена B для этого промпта?».

Сейчас Transformer Debugger включает в себя:
▫️Neuron viewer — React-приложение для вывода информации о компонентах модели.
▫️Activation server — сервер, который позволяет проводить инференс и предоставляет данные для анализа.
▫️Models — библиотека для инференса моделей GPT-2.
▫️Примеры датасетов.

В репозитории можно найти подробные инструкции, как пользоваться инструментом.

💻Ссылка на GitHub-репозиторий

🕯 Подборка обучающих материалов по статистике

Хочешь понять машинное обучение — изучи статистику. Статистические методы и принципы занимают центральное место в разработке, анализе и интерпретации ML-алгоритмов. Поэтому мы составили для вас подборку книг, курсов и видеороликов по статистике:

🎓 Основы статистики
Не можем не упомянуть прекрасный бесплатный курс по статистике от Института биоинформатики. Начинает с самых азов, постепенно погружая всё глубже. Курс состоит из нескольких частей, поэтому материала там достаточно.

▶️ Прикладная статистика
Набор плейлистов по самым разным темам статистики: от распределений до А/Б-тестов.

▶️ Essence of probability - 3Blue1Brown
В плейлисте собраны отличные объяснение теоремы Байеса и распределений.

📚 Bayesian Statistics The Fun Way (2019)
Эта книга даёт понимание байесовской статистики с помощью простых объяснений и нескучных примеров.

📚 Practical Statistics for Data Scientists: 50+ Essential Concepts Using R and Python (2020)
Содержит примеры на Python и практические рекомендации по применению статистических методов в DS.

🤖 Стартап Илона Маска x.ai опубликовал исходный код Grok-1

Разработчики выложили в открытый доступ веса и архитектуру большой языковой модели Grok-1. Это версия, полученная на фазе предобучения, которая была завершена в октябре 2023 года. Это значит, что данная модель не была тонко настроена ни под какую специфическую задачу, в том числе диалог.

Итак, вот особенности Grok-1:
🔹Содержит 314 млрд параметров.
🔹Использует технику Mixture-of-Experts.
🔹Для обучения использовали кастомный стек на основе JAX и Rust.

🔗 Изучить код внимательнее можно в этом репозитории
🤗 Карточка модели на Hugging Face

👉Подробности и контекст

📊 Основные типы распределений вероятностей в примерах

На «Хабре» опубликовали отличный материал с примерами распределений, которые могут встретиться вам в работе. Упор в статье делается не на функции и формулы, а на вид графиков на конкретных примерах.

Среди рассмотренных распределений:
▫️биномиальное,
▫️Пуассона,
▫️экспоненциальное,
▫️Вейбулла,
▫️гамма-распределение,
▫️бета-распределение,
▫️гипергеометрическое,
▫️нормальное,
▫️Стьюдента,
▫️Хи-квадрат,
▫️Фишера.

🔗 Читать статью

☄️ Подборка новостей из мира искусственного интеллекта

🔥 NVIDIA представила мощнейшний чип для ИИ — Blackwell
По заверениям компании, процессор позволяет строить и запускать генеративные модели с триллионами параметров. При этом чип потребляет в 25 раз меньше энергии, чем его предшественники. NVIDIA также привела результаты тренировки модели, сравнимой с GPT-4. Так, раньше требовалось 8000 процессоров H100 и 90 дней при мощности 15MW. Теперь нужны лишь 2000 новых карт B100 и 90 дней при мощности 4MW.

🔄 Ollama стала поддерживать графические карты AMD
Ollama — это открытый проект, который позволяет запускать большие языковые модели, такие как Llama 2 и Mistral, локально. Обновление с поддержкой AMD доступно на Linux и Windows.

🆒 Представлен Devin — «первый ИИ-разработчик»
Авторы проекта утверждают, что он установил новую планку в бенчмарках по кодингу. Вот что Devin может делать:
▫️Учиться применять незнакомые ему технологии;
▫️Построить и внедрить приложение от начала до конца;
▫️Автономно находить и исправлять баги;
▫️Обучать и файн-тюнить собственные ИИ-модели.
В интернете уже полно шуток про то, что Devin наконец заменит программистов, как все того ждали. Однако, похоже, что всерьёз бояться не стоит.

😈 Figure и OpenAI показали робота с интегрированной GPT-моделью
В опубликованном видео робот Figure 01 поддерживает разговор с инженером, выполняет его команды и рассуждает, когда его просят об этом.

🤗 Hugging Face запустил собственный проект по роботам
Обещают, что он будет по-настоящему открытым. Уже начался поиск инженеров на проект.