🔮📈 Prophet Arena
Бенчмарк на котором LLM предсказывают ещё не случившиеся события из prediction markets. Оценивают по 1−Brier (насколько честно калибрована вероятность) и по Average Return (сколько бы вы заработали при выбранном risk profile).
🤔 Зачем это нам
Обычные тесты - про прошлое. Prophet Arena про то, что происходит в реальном мире: модель ставит на вероятность события до того, как оно совершилось, а лидерборд обновляется по факту.
⚙️ Как устроено
Собирают новости и цены с рынков (контекст одинаковый для всех моделей) → модель выдаёт распределение вероятностей + краткое обоснование → после исхода событие оценивают и обновляют лидерборд.
📊 Две оси
• 1−Brier: выше = лучше калибровка/точность вероятностей (на сайте так и показывают - «1 минус классический Brier»).
• Average Return: симуляция прибыли, если следовать вероятностям модели; на лидерборде можно крутить Risk Aversion (γ) и смотреть, как меняются места.
⚽️ Живой пример
Матч MLS San Diego FC — Toronto FC: o3-mini даёт 30% на Торонто, рынок — 11%. Edge ≈ 3× → ставка $1 превратилась в $9, когда Торонто реально выиграл. Отличная иллюстрация, почему высокий Return может прийти без топового Brier.
✅ Итог
Prophet Arena позволяет смотреть на точность и деньги одновременно - так проще понять, когда модели реально полезны.
Ссылка
Расскажите в комментариях что еще могут предсказывать LLM?
Бенчмарк на котором LLM предсказывают ещё не случившиеся события из prediction markets. Оценивают по 1−Brier (насколько честно калибрована вероятность) и по Average Return (сколько бы вы заработали при выбранном risk profile).
🤔 Зачем это нам
Обычные тесты - про прошлое. Prophet Arena про то, что происходит в реальном мире: модель ставит на вероятность события до того, как оно совершилось, а лидерборд обновляется по факту.
⚙️ Как устроено
Собирают новости и цены с рынков (контекст одинаковый для всех моделей) → модель выдаёт распределение вероятностей + краткое обоснование → после исхода событие оценивают и обновляют лидерборд.
📊 Две оси
• 1−Brier: выше = лучше калибровка/точность вероятностей (на сайте так и показывают - «1 минус классический Brier»).
• Average Return: симуляция прибыли, если следовать вероятностям модели; на лидерборде можно крутить Risk Aversion (γ) и смотреть, как меняются места.
⚽️ Живой пример
Матч MLS San Diego FC — Toronto FC: o3-mini даёт 30% на Торонто, рынок — 11%. Edge ≈ 3× → ставка $1 превратилась в $9, когда Торонто реально выиграл. Отличная иллюстрация, почему высокий Return может прийти без топового Brier.
✅ Итог
Prophet Arena позволяет смотреть на точность и деньги одновременно - так проще понять, когда модели реально полезны.
Ссылка
Расскажите в комментариях что еще могут предсказывать LLM?
🔥13👍8❤5😱1
Визуальный разбор GPT-OSS 🧠⚙️
OpenAI выложила gpt-oss-20B и gpt-oss-120B - это MoE-модели с 128k контекстом и «ручкой» reasoning: low/medium/high. Плюс новый формат harmony для сообщений и тулколлов.
Зачем нам это сейчас 🔥
Впервые со времён GPT-2 у OpenAI появились LLM с открытыми весами: можно скачать веса, крутить локально, настраивать под свои пайплайны и политику данных.
Как все устроено простыми словами 🛠️
• Архитектура: трансформер с Mixture-of-Experts. В 120B — 128 экспертов, в 20B — 32, при этом на токен активны 4 (экономия времени/памяти без просадки качества на типичных задачах). Контекст — до ~128k токенов.
• Размер и железо: чекпоинты ≈ 60.8 GiB (120B) и 12.8 GiB (20B). Благодаря квантованию MXFP4 MoE-веса ужимаются так, что 120B помещается в 80 ГБ GPU, а 20B можно запускать от ~16 ГБ памяти.
• Формат harmony: «каналы» ответа — analysis (мышление/часть тулколлов), commentary (тулколлы), final (итог). Он нужен, чтобы модель корректно «думала» и вызывала инструменты.
• Reasoning modes: low/medium/high задаются в системном промпте и напрямую меняют бюджет размышлений: выше точность → дольше отвечает -> выше стоимость.
• Токенизатор: o200k_harmony—чуть аккуратнее с не-английскими символами/эмодзи, но датасет в основном англоязычный—держим это в голове для RU-кейсов.
Мини-пример: как «крутить ручку» рассуждений 🎚️
Так вы буквально указываете модели «думать средне». Для A/B можно сравнить low/medium/high по задержке и качеству на своей задаче..
Почему это важно в большом контексте 🌍
• Локальные агенты и приватность: 20B реально тянется на доступном железе; можно строить оффлайн-ассистентов с чувствительными данными.
• Стандартизация интерфейса: harmony снимает боль разношёрстных промпт-форматов и упрощает перенос между рантаймами (vLLM/Ollama/и т.д.).
• Осознанный трейд-офф: режимы рассуждений позволяют тонко балансировать «скорость ↔ точность» и деньги. Пример с AIME в разборе у Джея: medium даёт правильный ответ, а high просто тратит больше токенов.
Как попробовать за час ⏱️
1. Запуск: возьмите 20B на локальной машине (≥16 ГБ RAM/VRAM) или арендуйте 80 ГБ GPU для 120B (или используйте провайдера с vLLM/Ollama).
2. Форматирование: подайте промпты в harmony (готовые рендереры — Python/Rust).
3. Эксперимент: замерьте на своей задаче low vs medium vs high (качество/латентность/стоимость) и выберите пресет под прод.
Пара важных оговорок 🧯
• CoT-трейсы (цепочки рассуждений) не показывайте пользователям без фильтрации/суммаризации — в модельной карте это отмечено отдельно.
• Мультиязычность неплохая, но датасет в основном EN—для чувствительных RU-кейсов планируйте адаптацию/дообучение.
Итого: GPT-OSS — это не «магический скачок», а грамотная инженерия плюс удобные стандарты. В сумме — ниже порог входа, выше контролируемость и понятный путь к локальным агентам.
Если было полезно — поделитесь с коллегами.
Лучше всего почитать блог пост в оригинале:
Джей Аламмар — визуальный разбор (очень наглядно) и про каналы/режимы рассуждений.
OpenAI выложила gpt-oss-20B и gpt-oss-120B - это MoE-модели с 128k контекстом и «ручкой» reasoning: low/medium/high. Плюс новый формат harmony для сообщений и тулколлов.
Зачем нам это сейчас 🔥
Впервые со времён GPT-2 у OpenAI появились LLM с открытыми весами: можно скачать веса, крутить локально, настраивать под свои пайплайны и политику данных.
Как все устроено простыми словами 🛠️
• Архитектура: трансформер с Mixture-of-Experts. В 120B — 128 экспертов, в 20B — 32, при этом на токен активны 4 (экономия времени/памяти без просадки качества на типичных задачах). Контекст — до ~128k токенов.
• Размер и железо: чекпоинты ≈ 60.8 GiB (120B) и 12.8 GiB (20B). Благодаря квантованию MXFP4 MoE-веса ужимаются так, что 120B помещается в 80 ГБ GPU, а 20B можно запускать от ~16 ГБ памяти.
• Формат harmony: «каналы» ответа — analysis (мышление/часть тулколлов), commentary (тулколлы), final (итог). Он нужен, чтобы модель корректно «думала» и вызывала инструменты.
• Reasoning modes: low/medium/high задаются в системном промпте и напрямую меняют бюджет размышлений: выше точность → дольше отвечает -> выше стоимость.
• Токенизатор: o200k_harmony—чуть аккуратнее с не-английскими символами/эмодзи, но датасет в основном англоязычный—держим это в голове для RU-кейсов.
Мини-пример: как «крутить ручку» рассуждений 🎚️
```
<|start|>system<|message|>
You are a helpful AI.
Reasoning: medium
Tools: web_search, python
<|end|>
```Так вы буквально указываете модели «думать средне». Для A/B можно сравнить low/medium/high по задержке и качеству на своей задаче..
Почему это важно в большом контексте 🌍
• Локальные агенты и приватность: 20B реально тянется на доступном железе; можно строить оффлайн-ассистентов с чувствительными данными.
• Стандартизация интерфейса: harmony снимает боль разношёрстных промпт-форматов и упрощает перенос между рантаймами (vLLM/Ollama/и т.д.).
• Осознанный трейд-офф: режимы рассуждений позволяют тонко балансировать «скорость ↔ точность» и деньги. Пример с AIME в разборе у Джея: medium даёт правильный ответ, а high просто тратит больше токенов.
Как попробовать за час ⏱️
1. Запуск: возьмите 20B на локальной машине (≥16 ГБ RAM/VRAM) или арендуйте 80 ГБ GPU для 120B (или используйте провайдера с vLLM/Ollama).
2. Форматирование: подайте промпты в harmony (готовые рендереры — Python/Rust).
3. Эксперимент: замерьте на своей задаче low vs medium vs high (качество/латентность/стоимость) и выберите пресет под прод.
Пара важных оговорок 🧯
• CoT-трейсы (цепочки рассуждений) не показывайте пользователям без фильтрации/суммаризации — в модельной карте это отмечено отдельно.
• Мультиязычность неплохая, но датасет в основном EN—для чувствительных RU-кейсов планируйте адаптацию/дообучение.
Итого: GPT-OSS — это не «магический скачок», а грамотная инженерия плюс удобные стандарты. В сумме — ниже порог входа, выше контролируемость и понятный путь к локальным агентам.
Если было полезно — поделитесь с коллегами.
Лучше всего почитать блог пост в оригинале:
Джей Аламмар — визуальный разбор (очень наглядно) и про каналы/режимы рассуждений.
👍20❤6🔥5