🔥 WFGY 2.0 — Semantic Reasoning Engine for LLMs (MIT)

Это движок с открытым исходным кодом, цель которого — уменьшить галлюцинации и логические сбои в системах типа RAG / LLM, особенно когда:
- источники OCR-текста плохо распознаются,
- происходит «semantic drift» (когда ответ уходит от вопроса),
- «ghost matches», когда извлечённый фрагмент кажется релевантным, но на самом деле нет.

Обычно ошибки ловят уже в готовом сгенерированном тексте, из-за чего они часто повторяются.

В Semantic Reasoning Engine всё наоборот: если система видит, что рассуждения «кривые» или сбились с курса, она останавливается, сбрасывается или ищет другой путь и отвечает только когда состояние стабильно.

🛡Авторы называют это semantic firewall - семантический «файрвол».

Проверки встроены прямо в процесс мышления модели, а не поверх ответа с фильтрами или регексами. Это помогает избегать ошибок до того, как они попадут в вывод.

📌 Проект включает карту из 16 типичных ошибок LLM:
- неверный поиск данных,
- сбившаяся логика,
- «провалы памяти»,
- путаница ролей агентов и другие.

Для каждой есть простое текстовое исправление. Никаких SDK — достаточно вставить инструкции прямо в промпт.

🟢Как модель решает, правильные ли ответ генерируется:
- ΔS (drift) - не уходит ли смысл слишком далеко от шага к шагу
- λ (convergence) - сходится ли рассуждение к решению или крутится в цикле
- Coverage — достаточно ли фактов и аргументов учтено

Если все три условия выполнены, ответ считается «качественным».

🟢В тестах стабильность вывода выросла до 90–95% против обычных 70–85% у традиционных подходов.

▪ Github: https://github.com/onestardao/WFGY

@ai_machinelearning_big_data

#ai #llm #opensource #reasoning #hallucinations #promptengineering

🖥 Nvidia меняет стратегию и уходит от универсальных GPU.

Теперь каждый чип будет заточен под конкретный этап LLM-инференса.

Инференс делится на два шага:
- Prefill - первая стадия. Требует огромной вычислительной мощности, но почти не использует память.
- Decode - вторая стадия. Наоборот, сильно нагружает память, но вычислений нужно меньше.

Раньше, например, R200 объединял в одном GPU и мощные вычислительные блоки, и много памяти. В итоге это было дорого и неэффективно:
- при Prefill простаивает память,
- при Decode — простаивают вычислительные блоки.

🟢Новый подход Nvidia — разные GPU под разные задачи:

- Rubin CPX - оптимизирован для Prefill
• 20 PFLOPS вычислений
• 128 GB GDDR7
• 2 TB/s пропускная способность

- R200 — GPU под Decode
• 288 GB HBM4
• 20.5 TB/s памяти

📆 Планы компании:
- **2024–2025**-— линейка Blackwell (B200, GB300): рост вычислений и памяти.
- 2026–2027 - Rubin разделится:
• VR200 — для Decode (максимум HBM).
• CPX — для Prefill (много вычислений, дешёвая память).
- 2027 — VR300 Ultra: 66.7 PFLOPS и 1024 GB HBM4E.

Nvidia перестраивает линейку так, чтобы каждый GPU работал максимально эффективно именно под свой этап инференса.

#Nvidia #GPU #AI #Blackwell #Rubin #LLM

🔥 Как реально выбирают LLM в 2025 — исследование LLM Arena

Интересный опрос практиков (инженеров, ML-учёных, AI-продуктов) - как сегодня на самом деле выбирают языковые модели (LLM), что важнее: бенчмарки или собственные тесты, цена/скорость/качество, и чего не хватает в информации по моделям.

📊 Ключевые выводы

- 82,2% респондентов проводят собственные тесты; бенчмарки — лишь ориентир, не решение.
- 26,7% вообще не пользуются бенчмарками.
- В центре внимания: баланс качество / цена / скорость, устойчивость (без галлюцинаций), соответствие инфраструктуре.

👥 Участники опроса

- 45 практиков с опытом работы с LLM-продуктами; все участники — профессионалы.
- ML/AI Инженеры, Data Scientists, AI-строители, и менеджмент.

🔑 Что ищут и какие сигналы важны:

- Часто оценивают обсуждаемость модели в статьях/сообществе; практическое применение в похожих продуктах.
- Обращают внимание на число скачиваний и звёзд на Hugging Face / GitHub.
- Хотят больше данных о требованиях к железу, лицензиях, локальной работе, графиках “цена vs качество”, “скорость vs качество”.

⚠️ Проблемы & доверие

- Многие не доверяют существующим бенчмаркам из-за методологических проблем (train/test leakage, нерелевантность задач).
- Лабораторные условия часто сильно отличаются от продакшн.
- Нехватка отзывов по реальным сценариям и использованиям.

При выборе LLM важнее собственные тесты и контекст задач, чем рейтинги. Специалисты хотят поточечных данных: про лицензии, требования к железу, latency, стоимость.

Инициатор исследования Роман Куцев - фаундер и CEO LLM Arena, публикуют много интересного у себя в блоге.

Для тех, кто строит LLM-продукты, полезно:

- Не ориентироваться только на чужие бенчмарки.
- Собирать метрики в собственных условиях — на реальных данных.
- Открыто показывать, что работает, а что — нет, в документации и обсуждениях.

🟢 Полное исследование: https://research.llmarena.ru/

#LLM #AI #ИИ #LLMArena #исследование #нейросети #benchmarks

🚀 Новая китайская модель LongCat-Flash-Thinking

🧠 Это модель для рассуждений, которая показала SOTA-результаты среди open-source решений.

⚡ Основное:
- Архитектура MoE, 560B параметров, из них 27B активируются.
- Эффективность: требует на **64,5% меньше токенов**( чем другим открытым моделям того же класса), чтобы достичь топ-результатов на AIME25 (с нативным использованием инструментов,).
- Контекст: 128k, обучение с усилением на задачах рассуждений и кода, многоэтапное пост-тюнинг обучение с мультиагентным синтезом.
- Инфраструктура: асинхронный RL даёт 3x ускорение по сравнению с синхронными фреймворками.

⚙️ Оптимизации для продакшена:
- Свои оптимизированные ядра для работы с MoE и специальные приёмы распределённого обучения,
- KV-cache reduction, квантование, chunked prefill,
- статическая/эластичная маршрутизация, peer-to-peer cache transfer, heavy-hitter replication и PD-disaggregation.
- Поддержка SGLang и vLLM для эффективного деплоя.

📊 Бенчмарки:
- Лидирует в tool use (**τ²-Bench, VitaBench**)
- Хорошие результаты по instruction following (**IFEval, COLLIE, Meeseeks-zh**).

Китайцы стабильно удерживают лидерство в reasoning-моделях.

🟠 HF: https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking

@ai_machinelearning_big_data


#AI #LLM #Reasoning #MoE #DeepLearning #OpenSource

⚡️ Новая модель LFM2-2.6B - лидер в классе до 3B параметров.

Ключевые особенности:
- лёгкая и быстрая, всего 2.6B параметров
- построена на архитектуре v2 (short convs + group query attention)
- обучена на 10 трлн токенов, поддерживает контекст до 32k

LFM2-2.6B - компактная, но мощная моделька для широкого спектра задач.

🟠Blog post: https://liquid.ai/blog/introducing-lfm2-2-6b-redefining-efficiency-in-language-models
🟠HF: https://huggingface.co/LiquidAI/LFM2-2.6B
🟠Model Bundle on LEAP: https://leap.liquid.ai/models?model=lfm2-2.6b

@ai_machinelearning_big_data

#AI #LLM #LFM2 #OpenSourceAI #Multilingual

⚡️ Sakana AI представили: ShinkaEvolve — новый open-source фреймворк для научных открытий, который использует LLM и работает на порядки эффективнее традиционных эволюционных систем.

Обычные эволюционные алгоритмы похожи на brute-force: им нужны тысячи выборок, чтобы найти хорошее решение.

ShinkaEvolve, вдохновлённый принципами природы (*shinka* — «эволюция» по-японски), решает задачи всего за сотни попыток.

Пример: в классической задаче упаковки кругов (разместить несколько кругов так, чтобы они не перекрывались и при этом занимали как можно меньше места или максимально эффективно заполняли заданную область) ShinkaEvolve нашёл новое SOTA-решение, использовав 150 выборок, тогда как прошлым методам требовались тысячи.

📌 Применения ShinkaEvolve:

1️⃣ AIME Math Reasoning - система создала новые агентные шаблоны (scaffolds), которые оказались сильнее существующих методов.
2️⃣ Соревновательное программирование (ALE-Bench) - улучшила готовые решения и подняла результат с 5-го до 2-го места в рейтинге.
3️⃣ Обучение LLM - открыла новую функцию потерь для MoE-моделей, что помогло экспертам лучше специализироваться и снизило perplexity моделей.

⚙️ Основные инновации, которые дают такой прирост эффективности:
- умный отбор родителей, балансирующий исследование новых идей и улучшение старых;
- фильтрация по новизне, чтобы не тратить ресурсы на повторные варианты;
- ансамбль из нескольких LLM, где bandit-алгоритм в реальном времени выбирает наиболее подходящую модель для задачи.

ShinkaEvolve открыт для сообщества и задуман как универсальный помощник для учёных и инженеров. Цель команды — сделать поиск новых решений быстрее и доступнее.

🔗 Блог: https://sakana.ai/shinka-evolve/
🔗 Код: https://github.com/SakanaAI/ShinkaEvolve
📄 Репорт: https://arxiv.org/abs/2509.19349

@ai_machinelearning_big_data

#AI #LLM #EvolutionaryAI #ShinkaEvolve #OpenSource

⚡️Новый датасет Т-ECD — крупнейший кросс-доменный набор для RecSys

Ключевые особенности:
- синтезирован на основе поведения 44 млн пользователей
- более 135 млрд взаимодействий
- включает 30 млн товаров и 1,2 млн брендов
- охватывает домены: Marketplace, Retail, Payments, Offers, Reviews, Reciepts
- подходит для большинства рекомендательных задач
- глубина данных 1– 3,5 года — можно изучать как краткосрочные, так и долгосрочные взаимодействия

T-ECD универсален и применяется от базовой коллаборативной фильтрации до сложных мультизадачных моделей последовательных и графовых рекомендаций. Можно использовать целиком и по отдельным доменам.

🟠HF: https://huggingface.co/datasets/t-tech/T-ECD

@ai_machinelearning_big_data

#AI #LLM

⚡️ Релиз Agent S3 - продвинутый агент для работы с компьютером, который приближается к человеческому уровню.

Вместо того, чтобы усложнять одну модель, авторы запускают несколько агентов параллельно и затем выбирают лучший результат.
Метод назвили **Behavior Best-of-N (bBoN).

Как работает:
- Каждый агент пробует решить задачу.
- Его действия переводятся в поведенческий нарратив - короткое описание, что реально изменилось на экране.
- Специальный судья сравнивает эти нарративы и выбирает лучший.

Результаты:
- GPT-5 с 10 параллельными агентами → 69.9% успеха
- Для примера у GPT-5 Mini → 60.2%
- Agent S3* набирает на +10% выше предыдущей SOTA

📄 Paper: https://arxiv.org/abs/2510.02250
💻 Code: https://github.com/simular-ai/Agent-S
📝 Blog: https://simular.ai/articles/agent-s3

@ai_machinelearning_big_data


#AI #Agents #AgentS3 #OSWorld #SimularAI #LLM