⚙️ StreamingLLM — новый способ улучшить производительность чат-ботов в длинных диалогах

Многие языковые модели используют key-value кэш в качестве диалоговой памяти. Однако когда этот кэш переполняется, первые куски информации (токены) исчезают, что приводит к снижению производительности.

✔️ Исследователи нашли способ решить эту проблему. Оказалось, что если сохранять в кэше хотя бы первый токен, производительность модели страдает не так сильно.

Авторы статьи увидели интересное явление: удивительно большое количество оценок внимания распределяется на начальные токены, независимо от их релевантности к задаче. Эти токены назвали «приёмниками внимания». Эта особенность связана с операцией Softmax, которая требует, чтобы сумма оценок внимания для всех контекстуальных токенов составляла единицу. Таким образом, даже когда текущий запрос не имеет сильного совпадения со многими предыдущими токенами, модели всё равно нужно куда-то распределить значения attention.

⭐️ Исследователи заметили, что наличие четырех токенов-приёмников внимания в начале кэша приводит к оптимальной производительности. Также они обнаружили, что позиционное кодирование каждого токена должно оставаться без изменений, даже если были добавлены новые токены и «выкинуты» старые. Сочетание этих двух идей позволило StreamingLLM поддерживать непрерывный диалог с пользователем.

🔗 Ссылка на статью

👀 Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла интересная статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая подборка, а целиком читайте здесь 👈

💬Новости

▫️ Исследователи Стэнфордского университета обнаружили, что чат-боты склонны делать выбор в пользу насилия и ядерных ударов в военных играх.
▫️Разработчики приложения для знакомств Bumble протестировали новую AI-функцию Deception Detector, которая автоматически заблокировала 95% мошеннических аккаунтов.
▫️Google создала MobileDiffusion — мини-модель для супербыстрой генерации изображений на смартфонах.

🛠 Инструменты

▫️UserSketch — создаёт чат-бота на основе единой базы знаний с данными, собранными из любых документов, почты, мессенджеров, приложений для управления проектами и организации бизнес-процессов.
▫️Ytube AI — превращает YouTube-видео в SEO-оптимизированные статьи.
▫️ThreadScribe.ai — превращает сообщения из Slack в структурированную базу знаний, которой можно задавать любые вопросы и получать инсайты.
▫️Fooocus — бесплатная опенсорсная альтернатива Midjourney. Устанавливается локально.

⚙️ Сделай сам

Google выпустила инструмент localllm для запуска LLM локально или в облаке, на CPU вместо GPU. Подробный туториал по установке и настройке localllm — в блоге разработчиков.

🎓 Исследования

Исследователи из Технологического института Джорджии представили PokéLLMon. Возможности этого ИИ-агента сопоставимы с человеческими — он уже выиграл 56% боев против людей. Авторы также нашли способ избавиться от галлюцинаций и решили проблему панического переключения, когда при столкновении с сильным противником агент начинал хаотично переключаться между покемонами.

🎨 OpenAI запустила форум для разработчиков ИИ

Вы спросите, и что в этом такого? Но дело в том, что это не совсем обычный форум. Участие в нём подразумевает:
▪️живые встречи для обсуждения технических деталей,
▪️образовательные вебинары,
▪️экспертные круглые столы,
▪️неформальные встречи.

Во всём этом будут активно участвовать исследователи OpenAI.

Также членство в форуме позволит поучаствовать в платных активностях, которые напрямую связаны с работой над моделями стартапа. Можно будет, например, заняться их оценкой.

Что нужно, чтобы стать участником форума:
✔️продемонстрировать интерес к искусственному интеллекту,
✔️найти час времени за квартал для участия в активностях,
✔️показать экспертность в вашей профессиональной области или экономической дисциплине.

🔗 Подать заявку можно по этой ссылке

🐍 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали один из свежих выпусков на 📰.

Ниже — небольшая подборка, а целиком читайте здесь 👈

🔎 Поисковик на 80 строках кода

Публикация рассказывает, как сделать базовую поисковую систему буквально на 80 строках Python-кода. Автор реализовал все основные компоненты поисковика: краулер, инвертированный индекс, ранжировщик и интерфейс.

⭐️ Полезные библиотеки

▪️Web2PDF – CLI-инструмент для конвертации веб-страниц (по URL) в PDF-файлы.
▪️Rexi – инструмент для работы с регулярными выражениями в терминале.
▪️Django HTMX Components – набор готовых компонентов, которые можно скопировать и вставить в Django-приложение.

🕹 Управление зависимостями

Туториал, который рассказывает, как начать пользоваться Poetry.

🔥 Интересные проекты

▪️«Гарри Поттер и движок Elasticsearch» — это семантическая поисковая система на основе векторной базы данных с информацией о вселенной Гарри Поттера.
▪️Чат-бот, имитирующий стиль Эминема.

🎓 Метод градиентного спуска: обзор модификаций

Градиентный спуск — это наиболее распространённый метод оптимизации, используемый в машинном обучении. Он предназначен для минимизации функции потерь, позволяя тем самым модели обучаться и постепенно улучшая её предсказательную способность.

Классический градиентный спуск может быть неэффективен в некоторых случаях. Поэтому существуют его разные модификации.

1️⃣Стохастический градиентный спуск (SGD)
В этой модификации мы подменяем вычисление градиента по всей выборке вычислением по случайной подвыборке. Подвыборку часто называют (мини) батчем. Для вычисления можно использовать и вовсе только один элемент.

2️⃣Метод инерции (momentum)
Добавляет концепцию инерции в обновления параметров, позволяя «ускоряться» при спуске по направлению к минимуму. Это достигается за счёт комбинирования градиента на текущем шаге с градиентом предыдущих шагов.

3️⃣Адаптивный подбор размера шага
Есть, например, алгоритм Adagrad. Он позволяет динамически подбирать размер шага для каждой координаты по отдельности. Также есть RMSprop — улучшение Adagrad, направленное на решение его проблемы быстрого уменьшения скорости обучения. Он адаптирует скорость обучения путём не просто складывания нормы градиентов, а их усреднения в скользящем режиме.

4️⃣Adam (Adaptive Moment Estimation)
Сочетает в себе идеи моментума и RMSprop.

🎨 OpenAI обновила GPT-4 до декабря 2023 года

Это значит, что модель дообучили на данных вплоть до этой даты. Теперь, согласно документации, ситуация такова:

▫️gpt-4-0125-preview и gpt-4-turbo-preview — декабрь 2023
▫️gpt-4-1106-preview, gpt-4-vision-preview и gpt-4-1106-vision-preview — апрель 2023
▫️gpt-4, gpt-4-0613, gpt-4-32k и gpt-4-32k-0613 — сентябрь 2021

GPT-3.5 Turbo была обучена на данных до сентября 2021 года.

🕸🔥 Google представила лучшую опенсорсную модель Gemma

Похоже, что OpenAI осталась единственной компанией на рынке, у которой нет опенсорсной LLM.

Представлены две модели размером 2B и 7B. Обе они родственницы Gemini. Создатели использовали токенизатор на 260к токенов (!), что, как они утверждают, лишь небольшая часть полного токенизатора Gemini.

✔️ Gemma уже поддерживают различные фреймворки, в том числе Ollama и Keras.

По производительности 7B модель находится где-то на уровне Mistral 7b.

🔤Страница Gemma на Kaggle
🧡 Туториал в Колабе
🤗 Карточка модели на Hugging Face