⚡ Исследователи представили новую архитектуру xLSTM

xLSTM расшифровывается как Extended Long Short-Term Memory. Как можно догадаться, это улучшение для традиционных LSTM сетей.

xLSTM внедряет:

🔸Экспоненциальный гейтинг.
🔸Новую структуру памяти: теперь она состоит из sLSTM и mLSTM. Первая включает механизм смешивания памяти. Вторая использует матрицы, чтобы лучше хранить информацию и параллелить обучение.

В статье утверждается, что xLSTM превосходит стандартные LSTM и трансформеры за счёт улучшенной архитектуры и способности эффективно работать с последовательностями большой длины.

🔗 Читать исследовательскую статью

🧑‍💻 Deep Learning Models

Репозиторий с коллекцией моделей и архитектур глубокого обучения. Все они представлены в Jupyter Notebook.

Репо охватывает модели:

▫️Перцептрон;
▫️Многослойный перцептрон;
▫️Свёрточные нейронные сети (AlexNet, LeNet и др.);
▫️Transformers;
▫️Генеративно-состязательные сети (GAN);
▫️Графовые нейронные сети.

🔗 Ссылка на репозиторий

🥑 Подборка лучших статей «Библиотеки программиста» за апрель: сохраняй в заметки, чтобы не пропустить #самыйсок

🐍 Хэш-карты: незаменимый инструмент для Python-разработчика
🤖👾 Как злоумышленники взламывают LLM: 7 ключевых стратегий
🤖🛠️ 4 полезных инструмента для работы с ИИ: RAGFlow, The Pipe, UFO и SWE-agent
🐍❌ 10 основных ошибок начинающих Python-разработчиков
🤖💣 ИИ-ассистенты разработчика: скрытая угроза
🟰Математические основы генеративных нейронных сетей: что нужно знать для их изучения
🐍🤔 «Задумчивый» код: временная сложность операций со структурами данных в Python
🤖🖼️ Как работают визуальные трансформеры: магия превращения пикселей в знания

👥 Лучшие практики создания рекомендательных систем

Recommenders — это репозиторий, в котором собраны Jupyter-блокноты с примерами рекомендательных систем. Они охватывают подготовку данных, построение моделей, оценку, а также внедрение в продакшн с помощью Azure.

Репозиторий может стать хорошей подсказкой для тех, кто начинает знакомство с этой областью применения машинного обучения.

🔗 Ссылка на репозиторий

📄 Если вы любите читать исследовательские статьи по ML, то есть удобный способ их отслеживать

В репозитории ML Papers of The Week каждую неделю публикуют подборку самых интересных и значимых статей.

Вот, например, подборка статей недели с 29 апреля по 5 мая:
▫️Kolmogorov-Arnold Networks
▫️Better and Faster LLMs via Multi-token Prediction
▫️Med-Gemini
▫️When to Retrieve?
▫️A Survey on Retrieval-Augmented Language Models
▫️An Open-source LM Specialized in Evaluating Other LMs
▫️Self-Play Preference Optimization
▫️Inner Workings of Transformer Language Models
▫️Multimodal LLM Hallucinations
▫️In-Context Learning with Long-Context Models

🔗 Ссылка на репозиторий

Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы

🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

☕Java

Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ

👀 Отличные визуальные объяснения основных концепций и алгоритмов машинного обучения

MLU-Explain — это инициатива Amazon, направленная на помощь в изучении теории и практики машинного обучения.

Каждая из тема ниже сопровождается понятными объяснениями и интерактивными графиками.
🔸Нейронные сети
🔸Equality of odds
🔸Логистическая регрессия
🔸Линейная регрессия
🔸Обучение с подкреплением
🔸Случайный лес и др.

🔗 Ссылка на сайт

Чем отличаются друг от друга Transfer learning, Fine-tuning и Multi-task learning?

▫️Transfer learning
Эта техника позволяет использовать накопленный при решении одной задачи опыт для решения другой, аналогичной проблемы. Мы берём предобученную на большом наборе данных нейросеть, её последние несколько слоёв заменяются на нужную архитектуру, а затем только эти слои дообучаются на целевом датасете.

▫️Fine-tuning
Идея похожа на Transfer learning, однако Fine-tuning подразумевает корректировку параметров предобученной модели по всем слоям или по какой-то их части. Для корректировки используется новый набор данных, подходящий для вашей конкретной задачи.

▫️Multi-task learning
Этот подход предполагает одновременное обучение модели для решения нескольких задачах. Это позволяет улучшить обобщающую способность за счёт совместного извлечения признаков.

#вопросы_с_собеседований

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

📊CADE — интересный способ поиска аномалий в многомерных данных

Статья рассказывает о CADE (Classifier Adjusted Density Estimation). Это метод приближения плотности распределения, который хорошо справляется с большими размерностями и неинформативными признаками. Автор даёт пример кода, который реализует поиск аномалий с помощью этого метода.

🔗 Читать статью

🕛📄Two Minute Papers — полезный YouTube-канал с объяснениями ML-технологий

Two Minute Papers посвящён обзору последних исследований, в том числе в области искусственного интеллекта и машинного обучения. Многие выпуски на канале кратко рассказывают содержание новых научных статей. Вот последние интересные ролики:
▫️Про новую AlphaFold 3
▫️NVIDIA’s New Tech: Master of Illusions!
▫️DeepMind’s New AI Saw 15,000,000,000 Chess Boards!

🔗 Ссылка на канал

⬆️ Методы оптимизации в машинном и глубоком обучении. От простого к сложному

Новая статья (в отличной серии статей о машинном обучении) рассказывает о:

🔹классическом градиентном спуске;
🔹momentum-оптимизации;
🔹AdaGrad;
🔹RMSProp;
🔹и др. модификациях алгоритмов оптимизации.

🔗 Ссылка на статью

✍️ Подборка вопросов с собесов и ответов на них

Сегодня мы собрали самые популярные посты канала «Библиотека собеса по Data Science» за последний месяц.

▪️Что такое args, kwargs. В каких случаях они требуются?
▪️Объясните, как интерпретировать диаграмму размаха, или ящик с усами
▪️Какие метрики близости текстов вы знаете?
▪️Как работает градиентный бустинг для регрессии, и как — для классификации?
▪️Как можно визуализировать многомерные данные в 2D?
▪️Как выбрать оптимальное число кластеров при кластеризации, например, методом k-средних (k-means)?

❔А вам интересно следить за деятельностью OpenAI?

Вчера компания провела презентацию, на которой представила новую мультимодальную модель GPT-4o, голосового ассистента с эмоциями, а также десктопное приложение ChatGPT с распознаванием изображений. Теперь, кажется, весь интернет обсуждает это. Каково ваше отношение?

❤️ — интересно, слежу за новостями
👍 — иногда почитываю, что у них там
👾 — в целом, всё равно

#интерактив

🧠 Как работают большие языковые модели (LLM): объяснение без математики

Новая статья в блоге Miguel Grinberg рассказывает основы работы LLM для новичков в области. Автор старается избегать математики в объяснениях, но зато иллюстрирует концепции рабочим кодом на Python.

Из статьи вы узнаете:
▫️что такое токены;
▫️как модель делает предсказания;
▫️особенности архитектуры Transformers.

🔗 Читать статью

⚡Zeus — инструмент для измерения количества потребляемой DL-моделями энергии

Глубокое обучение требует много энергии. Например, на обучение одной языковой модели с 200 млрд параметров на AWS p4d инстансах уходит столько же энергии, сколько бы хватило на обеспечение более тысячи средних американских домохозяйств в течение года.

Zeus — это опенсорсный инструмент, который позволяет измерять и оптимизировать потребление энергии при выполнении задач глубокого обучения.

🔗 Здесь вы можете найти примеры кода Zeus
🔗 А это ссылка на репозиторий

👆Инженер-программист наблюдает за тем, как дата-сайентист пишет код👆

👆Ловите бинго Python-разработчика👆

Авторские версии бинго приветствуются