Инструкция по тонкой настройке LLM с нуля

Если вы ищете ресурс для понимания процесса тонкой настройки инструкций в LLM, я хочу сообщить, что Глава 7 о тонкой настройке инструкций в LLM наконец-то появилась на веб-сайте Manning .

Это самая длинная глава в книге, в которой используется подход с нуля для реализации конвейера тонкой настройки инструкций. Сюда входит все: от форматирования входных данных до пакетирования с пользовательской функцией сортировки, маскирования токенов заполнения, самого цикла обучения и оценки качества ответа тонко настроенного LLM на пользовательском тестовом наборе.

(Упражнения включают изменение стилей подсказок, маскировку инструкций и добавление LoRA.) https://github.com/rasbt/LLMs-from-scratch

А вы не хотите запустить полномасштабную LLM 408 B коэффициентов на сетке домашних компьютеров?

Claude 3.5 разработчикам - обмен опытом:

Банки делают следующий шаг по масштабному использованию генеративного ИИ в своих внутренних процессах.

JPMorgan запустил чат-бот-аналитика для сотрудников

Внедрение разработки на базе LLM Suite стартовало в начале года. Модель помогает в написании отчетов, генерации идей и обобщении документов. Сейчас доступ к LLM Suite имеют 50 тыс. сотрудников подразделения по управлению финансовыми активами и благосостоянием (примерно 15% персонала). Собственный чат-бот позволяет компании использовать AI-технологии при работе с конфиденциальными данными.

В банке описывают модель как «продукт, похожий на ChatGPT», который должен использоваться для повышения «продуктивности общего назначения» в дополнение к другим приложениям для работы с конфиденциальной финансовой информацией — Connect Coach и SpectrumGPT. Президент JPMorgan Дэниел Пинто ранее оценил стоимость технологий искусственного интеллекта, которые уже использует банк, примерно в $1-1,5 млрд.

Конкурирующий американский инвестиционный банк Morgan Stanley сотрудничал с OpenAI и в сентябре прошлого года выпустил чат-бот на базе GenAI. Разработка открывает финансовым консультантам быстрый доступ ко всему интеллектуальному капиталу компании.
#news #AI

https://www.reuters.com/technology/artificial-intelligence/jpmorgan-launches-in-house-chatbot-ai-based-research-analyst-ft-reports-2024-07-26/

GitHub предлагает тестировать целый набор LLM в вашем приложении не выходя из среды разработки.

https://x.com/russelljkaplan/status/1820460524460802256

Что думает глава компании, разрабатывающей ИИ программиста Devin

Интерес к ИИ-ассистентам для кодирования растет: Microsoft сообщает, что выручка от GitHub Copilot уже превышает доходы самого GitHub на момент его покупки, а это означает, что около 30 млн разработчиков ежегодно платят Microsoft $100 за этот инструмент.

Я сам давано пользуюсь Cursor, но умудряюсь ещё и использовать Copilot внутри него, тоесть плачу за всё. Вместе веселее :)

Сергей Булаев AI 🤖 - об AI и программировании

Еще один ИИ-ассистент для тех, кто любит работать в консоли :
Omni Engineer - это консольный инструмент, который интегрирует возможности искусственного интеллекта в ваш процесс разработки. Он предлагает интеллектуальные ответы на запросы кодирования, управление файлами, веб-поиск и функции обработки изображений.
https://github.com/Doriandarko/omni-engineer/tree/main

Мы провели небольшое исследование в Jet Brains Marketplace (среде разработки IDE) по популярности Copilot и AI autocomplete плагинов. В таблице все что больше 500 000 скачиваний. Из интересного:

1. Суммарно по всем плагинам больше 30млн скачиваний
2. Из топа все в активной разработке, обновлялось не больше чем 1-2 месяца назад
3. У основных игроков рейтинг не так уж и высок.

Кажется, что чем больше охват, тем меньше лояльность пользователей, что в целом логично. Tabnine и TONGYI Lingma выделяются на этом фоне, ну и Amazon Q тоже.

Пару дней назад OpenAI выпустила SWE Bench Verified. Мы уже писали об SWE Engineer из Принстона, который умеет закрывать баги git-hub. Тренировка и оценка этого AI агента происходила на основе SWE bench – набора решенных задач с гитхаба, т.е. по сути пар: 1) таск с описанием задачи и 2) pull request в котором код исправлений и юнит тесты. И вот теперь Open AI в коллабе с SWE выпустили улучшенный отфильтрованный вариант этого набора данных. Что исправили:

• Прилагаемые юнит тесты в задачах очень специфичны и проверяют что-то помимо решаемой проблемы. Из-за этого при правильном решении юнит тест не проходит и задача записывается как нерешенная;
• Неполное описание проблемы, двусмысленность;
• Юнит тесты устроены так, что для них требуется слишком сложная настройка окружения, с которой не справляется AI агент.

Проблемы вполне понятны, когда мы делали обзор на SWE agent я как раз столкнулся с тем, что один и тот же баг с подробным описанием агент пофиксил, а с коротким нет. Встает вопрос, если мы соревнуемся с живыми разработчиками, то зачем упрощать задания? Баги из датасета были закрыты, значит живые люди с ними разобрались. Я предположу, что дело в том, что часть коммуникаций по задаче могла пройти за кадром, не оставив следов в таск трекере, обсудили на звонке, или разработчик сам себе завел таск, уже зная в чем проблема. Еще часть задач могла быть закрыта, например, с невыполненными юнит тестами. Итого оценивать по ним AI не совсем корректно. Кстати соревнуется не только AI с человеком, но и AI с AI.

Что показал этот новый отфильтрованный датасет? Если лидер (Amazon Q Developer Agent) в SWE bench решал 19.5% задач, то лидер в SWE Bench Verified (тоже, кстати, Amazon Q) решает уже 38.8% задач.
Посмотреть внимательнее на рейтинг на сайте swebench. Почитать про участие в этом датасете Open AI тут.

Для разработчиков react приложений: