SWE-bench: учусь запускаться локально на swe задачах

TL;DR: SWE-bench (Software Engineering) бенчмарк для оценки AI-агентов на реальных GitHub issues
Тестирую qwen2.5-32b-coder-instruct на 2x RTX 4090 (48GB), получил 5.3% zero-shot
Планирую адаптировать open-source лидеров под локальные модели через vLLM + SO

Что такое SWE-bench его кстати придумала команда из Princeton University и Stanford University
Работа была принята на ICLR 2024

SWE-bench это benchmark для оценки больших языковых моделей на реальных software issues, собранных из GitHub
Получив кодовую базу и issue, языковая модель должна сгенерировать патч, который решает описанную проблему

В отличие от бенчмарков, фокусирующихся на скорости, SWE-bench оценивает инженерные
навыки: понимание существующего кода, генерацию нового кода, отладку, исправление багов и рефакторинг

Варианты: Full (2,294 задач), Lite (300 задач), Verified (500 задач)

Мои эксперименты: 2x RTX 4090 (48GB) + я взял сервер на 32CPU (под eval)

Развернул qwen2.5-32b-coder-instruct через vLLM

Запуск включает в себя 3 этапа:

1) Подготовка: Создание датасета с Style-3 промптами (19K символов контекста: issue + полный код + примеры патчей)
2) Inference: Модель получает промпт и генерирует diff-патч для решения GitHub issue
3) Evaluation: Патч применяется к репозиторию в Docker контейнере, запускаются тесты (FAIL_TO_PASS + PASS_TO_PASS)

Ключевые поля датасета:

instance_id - уникальный ID (astropy__astropy-12907)
text - полный промпт для модели (19K символов)
problem_statement - описание GitHub issue (1.2K символов)
patch - правильное решение (500 символов)
FAIL_TO_PASS - тесты, которые должны заработать
PASS_TO_PASS - тесты, которые должны остаться рабочими

Структура промпта (19K символов):

Введение (100 символов) - инструкция для модели
<issue> (1.2K символов) - описание проблемы + примеры
<code> (16K символов) - полный контекст кода + документация
<patch> (1.2K символов) - пример формата решения

Результаты zero-shot на SWE-bench Lite:
Решено: 16/300 (5.3%)
Применимых патчей: 119/300 (39.7%)
Производительность: 79-383 tokens/s prompt, 46-64 tokens/s generation

Проблема на первый взгляд: стандартный few-shot не выдерживает формат diff - модель генерирует
правильную логику, но ломается на синтаксисе unified diff format
Именно поэтому лидеры используют structured output

Еще уперся в рейт лимиты Docker Hub api при сборке но исправление проблемы показало +1 процент точности

Так же c командой прокопали open-source лидеров
На сегодня вот такой вот лидерборд на lite

1. ExpeRepair-v1.0 + Claude 4 Sonnet — 60.33%
4 агента: Search, Reproducer, Write Patch, Reviewer
Structured Output архитектура (промптинг+shema repair)

2. Refact.ai Agent — 60.00%
Claude 3.7 Sonnet + o4-mini для deep_analysis()
Дела вывод что planning-модуль критичен без него агент работает реактивно (увидел → патчит),
с ним: анализ → стратегия → план → исполнение
Разница между 5% и 60% именно в этом

3. SWE-agent + Claude 4 Sonnet 56.67%

Новая версия с Claude 4 Sonnet
ReAct архитектура с улучшенным scaffolding

4. ExpeRepair-v1.0 — 48.33%
Базовая версия без Claude 4 Sonnet
Все тот же structured output подход(промптинг)

Чем круче подобран набор tool + архитектура > размер модели

Хочу попробовать в течении месяца по вечерам собрать такого франкенштейна
vLLM + Structured Output (замена function calling)
Локальный planning-модуль (курсор мне в помощь) (аналог deep_analysis)
Multi-agent архитектура еще не выбрал что буду брать (есть советы?)
Эффективное использование 120k context (скорее всего буду батчи упаковывать для паралельного запуска tool

P.S. Кто еще тестирует open-source агентов на SWE-bench? Делитесь результатами!

Нас 120 человек не пропусти важное!

https://t.iss.one/bogdanisssimo?livestream=9ae2aabd177d2ee9d0

Так так тут вторая часть вышла!

Страха и ненависти в Лас-Вегас (курсоре) точно перейдем на Claude Code в следующих итерациях)))

Зачитаться что еще накопал синьор при работе с AI инструментами

Завтра выступлю на конфе Turbo ML Conf 2025

https://t.iss.one/zheltyi_ai/440

Рега уже закрыта, будет запись
Расскажу про workflow, мелкие модели до 10b и простые решения!
Возможно запишу вам обстановку!

Новый топ в open-source среди ру моделей 30b +?

И так пока я мчу на сапсане в МСК разберу новинку от t-tech

T-pro-it-2.0 (qwen3-32b)

Запустил я модельку на нашем кластере х2 4090(48 гб модифицированные)

"Без спекулятивки"

Влезли все те же 120к токенов в (кто забыл как настраивать rope_scaling в сonfig.json)

"rope_scaling": {
"factor": 4.0,
"original_max_position_embeddings": 32768,
"type": "yarn"
},

Сходу пару базовых сюпризов 1) пришлось уйти на самую последнюю версию vllm 2) поднять версии драйверов (nvdidia+cuda)

Как вы помните я тестировал тут qwen coder и T-pro-it-1.0 он же (qwen2.5-32b-instruct)
средняя скорость чтения в одном потоке 800 т/с чтение и 22 т/c генерация

Модель рассуждающая так что она будет пулять еще поле think (бюджетом на рассуждение пока можно управлять через систем промпт возможно в vLLM появится поддержка budget)

Либо можно передать параметр "enable_thinking": False и отключить расждуения вовсе

stream = client.chat.completions.create(
    model="qwen3-32b",
    messages=[{"role": "user", "content": "Реши: 2x + 5 = 13"}],
    stream=True,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)

Такой подход передает в шаблон
prompt: '<|im_start|>user\nРеши: 2x + 5 = 13<|im_end|>\n<|im_start|>assistant\n<think>\n\n</think>\n\n'

Что в свою очередь отключает размыления

Еще можно включить

--reasoning-parser qwen3

Такое нужно для передачи отдельного поля reasoning_content в ответе что хорошо расширят кол-во сценариев при работе с такой моделью


————————————————————————-
И так скорость честно я ожидал чуть больше исходя из того что проделали ребята из t-tech

Чтение в одном потоке 920 т/с чтение и 24.7 т/c генерация прирост составил 2.7 токена в секунду на моих кейсах что тоже неплохо!

Дальше я буду делать замеры на задачах
RAG (наш бенч) + Задачи классификации контента
SO погоняю большие схемы

Генерация отличная чистая без китайский иероглифов и артефактов, конечно же модель запущена в FP16 без квантов

График точности всех RAG экспериментов из ERCv2

Напомню, что в ERCr2 43 разные команды ставили эксперименты по построению RAG систем, которые смогут дать наиболее точные ответы на 100 вопросов по 100 PDF (публичные отчеты компаний). Некоторые вопросы требовали сравнительной работы с разными PDF.

Всего было поставлено 134 эксперимента с разными моделями и архитектурами. На этой таблицы они все отображены.

- R - это точность работы Retrieval алгоритма (системы должны были подтверждать свои ответы ссылками на страница)
- G - это точность финального ответа, на основе ground truth данных
- Зеленая линия - линия, где у систем качество Retrieval совпадает с качеством Generation.

Архитектуры, которые выше этой линии - доставали много ненужных страниц (или пропускали нужные), но как-то получали правильный ответ.

Те, кто был ниже - находили правильные данные, но путались с генерацией ответа.

Самые лучшие RAG системы (по итоговому качеству ответов) - "сгрудились" рядом с этой зеленой линией - строго под ней. Получается логический вывод - качество финального ответа обычно зависит от качества заполнения контекста.

Ваш, @llm_under_hood 🤗

PS: Исходную таблицу можно увидеть на странице ERC. Там же есть ссылки на все доступные исходные данные соревнования, включая алгоритм оценки результатов и описания архитектур.

Всем спасибо кто слушал, было здорово

На злобу дня из рабочего чата

Си плас плас
Сикюэль
Туда же)

120 млн ₽ за T-Pro 2.0 — образцовая дорожная карта в AI-гонку

Первые эксперименты с файнтюнингом всегда дороже (это мы трезво понимаем), но ребята показали как красиво войти в топ-лигу ру моделей
Второй прогон вышел в 120 лямов за полгода работы это просто огонь по нынешним меркам!

Для сравнения Витя приводит как западные модели сжигают десятки миллиардов на аналогичные задачи понятно что там с 0

Я считаю что это топ подход
Зачем городить с нуля сейчас когда в гонке железа топ модели это до 32b и 90% задач в топиках data extraction и search assistant
Можно взять проверенную базу и довести до ума?
Китайцы уже потратились на фундамент используй и развивай
Статистика загрузок с HuggingFace 30k! За первую неделю после релиза

Сам тестирую не gguf версию пока что полет нормальный! Но тесты все еще идут

Где посты/разборы/бенчмарки Валера?

Рутина/Переезд/и много чего еще затянуло на пару недель

Head of AI нужно тоже отрабатывать по этому было много выступлений/планирования/и принятия решений/постановок задач

Артём в же завершил свою тираду про разработку сервиса для корпоративной транскрибации аудио/видео встреч(читайте там аж 5 частей)
Разбирался что такое SWE и как его готовить особенно в разрезе запуска бенчмарков
Записывал подкаст с Богданом
Выступал на конференциях
Тестировал новую модель от t-tech
Успел написать через курсор сервис для разметки 2.5кк постов в тг (на одной 4090 и 7b модельке это длилось 54 часа) кстати это экономия почти $200 на gpt-4o-mini или $8к на gpt-4o
На двух 4090(48гб) спекулятивный декодинг не ускоряет ничего из за низкого p2p между картами(запишем пробовать больше не будем)

Так же последние 2 недели я в попытках причесать свою IT инфру(14 физических серверов и 13 виртуалок)
Понял что за последние 2 месяца экспериментов все в таком хаосе что сам ужаснулся, ровно как у меня в коробке с проводами и нужными штуками для пайки

Но как говорится насмотрелся я мотивирующих видео, нет
Решил начать с того что просто описал каждый сервис в табличку и понял что буду делать с этим дальше(пока ловлю дзен)

После такого аудита нашел что аж 2 сервера простаивало(2080ti+2060super) пойдут под сервис воркеры для speechcoreai.com (4к регистраций без рекламы уже есть!)

Еще из новостей мне приехала новая 4090 (буду разворачивать на пару недель под заказ vLLM + VL модель для разметки видео)
DNS уже 3 раз переносит мне доставку нужного БП для сборки в чатике скину как нить процесс сборки

Вот такой мини обзор последних 2 недель!

В заготовках лежит пост про локальную инфру для RAG и своих экспериментов! (Сколько/Как собрать/Какие модели)