Как устроено пространство, в котором думают языковые модели?

С момента выхода первой статьи «Attention is All You Need» я с жадностью и любопытством, присущими любому исследователю, пытаюсь углубиться во все особенности и свойства моделей на базе архитектуры трансформер. Но, если честно, я до сих пор не понимаю, как они работают и почему так хорошо обучаются. Очень хочу разобраться, в чём же причина такой эффективности этих моделей, и есть ли предел их возможностей?

Такому изучению трансформеров «под микроскопом» и посвящена наша научная работа, только что представленная на конференции EACL 2024, которая проходила на Мальте — «The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models». В этой работе мы сфокусировались на наблюдении за пространством эмбеддингов (активаций) на промежуточных слоях по мере обучения больших и маленьких языковых моделей (LM). https://habr.com/ru/companies/airi/articles/804515/

Понимание искусственного интеллекта и нейронных сетей путем ручной настройки параметров

В этом курсе вы получите возможность самостоятельно настроить параметры сети, помогая автомобилю научиться управлять автомобилем на специальной игровой площадке. Этот курс отлично подходит как для новичков, так и для тех, кто хочет углубить свои знания в области искусственного интеллекта.
https://www.freecodecamp.org/news/understand-ai-and-neural-networks-by-manually-adjusting-paramaters

Глубокое обучение Python: PyTorch против Tensorflow

PyTorch против TensorFlow: в чем разница? Обе библиотеки Python с открытым исходным кодом используют графики для выполнения численных вычислений над данными. Оба широко используются в академических исследованиях и коммерческом коде. Оба расширены различными API, платформами облачных вычислений и репозиториями моделей. https://realpython.com/courses/deep-learning-pytorch-tensorflow

Дорожная карта разработчиков искусственного интеллекта на 2024 год
Иллюстрированное руководство о том, как стать инженером по искусственному интеллекту в 2024 году, со ссылками на соответствующие курсы.

https://medium.com/javarevisited/the-2024-ai-artificial-intelligence-developer-roadmap-3b81db65c22a

JS-Torch — PyTorch в JavaScript
Библиотека JavaScript, такая как PyTorch, созданная с нуля… JS-Torch — это библиотека JavaScript для глубокого обучения, созданная с нуля и точно повторяющая синтаксис PyTorch.

https://github.com/eduardoleao052/js-torch

Создание LLM для восстановления кода.
В статье обсуждается функция восстановления кода Replit, которая автоматически исправляет распространенные ошибки программирования и проблемы в коде. В ней рассматривается, как Code Repair помогает разработчикам экономить время и улучшать качество кода, предоставляя автоматизированные решения распространенных проблем с кодированием.

https://blog.replit.com/code-repair

Небольшое руководство по созданию больших языковых моделей в 2024 году.
Это первое видео из серии из двух частей, охватывающей все концепции обучения высокопроизводительной LLM в 2024 году.

https://www.youtube.com/watch?v=2-SPH9hIKT8

Представляем крупнейший в мире синтетический набор данных Text-to-SQL с открытым исходным кодом

Gretel выпускает крупнейший набор данных Text-to-SQL с открытым исходным кодом для ускорения обучения моделей ИИ
https://gretel.ai/blog/synthetic-text-to-sql-dataset

🤖 Репозиторий руководств по машинному обучению 🤖

Вы найдете → Python → Компьютерное зрение → NLP → Matplotlib → NumPy → Pandas → MLOps → LLM → PyTorch/TensorFlow . ⬇️

https://github.com/patchy631/machine-learning

Математика, лежащая в основе сверточных нейронных сетей
Погрузитесь в CNN, основу компьютерного зрения, разберитесь в ее математике, реализуйте ее с нуля и изучите ее приложения.

https://towardsdatascience.com/the-math-behind-convolutional-neural-networks-6aed775df076

В этом сообщении блога мы поделимся шаблоном, который, по нашему мнению, охватывает большинство рекомендательных систем, развернутых сегодня, с примерами от таких компаний, как Meta, Netflix и Pinterest. Этот шаблон занимает центральное место в том, как мы думаем о создании комплексных систем Recsys в команде NVIDIA Merlin , и мы рады поделиться им с более широким сообществом и помочь достичь понимания и консенсуса относительно того, как выглядят рекомендательные системы (а не только модели)

https://medium.com/nvidia-merlin/recommender-systems-not-just-recommender-models-485c161c755e

Примечания о том, как использовать LLM в вашем продукте.

Практически каждая известная мне компания ищет способ извлечь выгоду из больших языковых моделей. Даже если их руководители не видят особой применимости, их инвесторы, скорее всего, видят, поэтому они нервно смотрят на пустую страницу, пытаясь придумать идею. Легко привести доводы в пользу того, что LLM каким-то образом повышает внутреннюю эффективность, но гораздо сложнее описать правдоподобный способ, которым LLM сделает ваш продукт более полезным для ваших клиентов.
https://lethain.com/mental-model-for-how-to-use-llms-in-products

Визуализация внимания, сердце трансформера | Глубокое обучение

https://youtu.be/eMlx5fFNoYc

Вот 300 часов кураторских курсов, посвященных машинному обучению. 15 курсов. От новичка до продвинутого. Google опубликовал их бесплатно.

Курсы хорошо структурированы. Это не просто ссылки на видео на YouTube. Вам нужно присоединиться к курсу, и у них есть интерфейс, который проведет вас через каждый модуль. Это хороший контент.

https://www.cloudskillsboost.google/paths/17

5 бесплатных курсов по освоению математики для науки о данных
Хотите изучить математику для науки о данных? Ознакомьтесь с этими тремя курсами, чтобы изучить линейную алгебру, исчисление, статистику и многое другое.

https://www.kdnuggets.com/5-free-courses-to-master-math-for-data-science

Погрузитесь в концепцию «Проклятия размерности» и поймите математику всех удивительных явлений, возникающих в высоких измерениях.

https://towardsdatascience.com/the-math-behind-the-curse-of-dimensionality-cf8780307d74

SAM + Optical Flow = FlowSAM FlowSAM может обнаруживать и сегментировать движущиеся объекты на видео и значительно превосходит все предыдущие подходы как в тестах с одним, так и с несколькими объектами

https://www.robots.ox.ac.uk/~vgg/research/flowsam/

Изучите RAG с нуля — Учебное пособие по Python AI от инженера LangChain

https://www.freecodecamp.org/news/mastering-rag-from-scratch

Несколько часов назад Лама-3 8Б была самой мощной маленькой моделью ИИ. Microsoft только что выпустила Phi-3 Mini, который лучше почти во всех тестах. Вы можете использовать его локально бесплатно, поскольку он имеет открытый исходный код (подробности ниже): https://lmstudio.ai/

Как установить и развернуть LLaMA 3 в рабочей среде
Узнайте, как установить и развернуть LLaMA 3 в рабочей среде, с помощью этого пошагового руководства. Мы охватываем все, что вам нужно знать для беспрепятственного внедрения: от требований к оборудованию до развертывания и масштабирования

https://nlpcloud.com/how-to-install-and-deploy-llama-3-into-production.html