Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе)
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👍2🗿1
Нейронный Кот
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе) Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить 1. Очень сильно попросить в промпте, какая…
Как сильно OpenAI впереди?
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!🤡
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Introducing Structured Outputs in the API
We are introducing Structured Outputs in the API—model outputs now reliably adhere to developer-supplied JSON Schemas.
❤7
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩4
Слышали про kalshi?
Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира.
Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки!
Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике.
Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет😠
Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира.
Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки!
Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике.
Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🎉1
OpenAI зарелизили поиск
Почему у меня такие предложения по поиску?😀
Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю🐸 🐸 🐸
https://openai.com/index/introducing-chatgpt-search/
Почему у меня такие предложения по поиску?
Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю
https://openai.com/index/introducing-chatgpt-search/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11
Нейронный Кот
OpenAI зарелизили поиск Почему у меня такие предложения по поиску? 😀 Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю 🐸 🐸 🐸 https://openai.com/index/introducing-chatgpt-search/
OpenAI выпустили официальное расширение, которое меняет вашу строку поиска с гугла на чатгпт.
Можно полностью отказаться от поиска гугл!
🔹 Ссылка на расширение
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🌚1
OpenAI релизнули новую фичу, которая ускоряет генерацию — Predicted Outputs
Для задач, где требуется редактирование ответа (например, кодинг), теперь можно передать новый параметр`prediction` в completions API.
Работает примерно так:
1. Мы показываем, какой ответ должен быть
2. Chatgpt одним форвард пассом понимает, где надо исправить ответ (или не одним, если исправлять надо в нескольких местах)
3. Исправляет ответ только там, где надо
Итого, тратится на ~порядок меньше форард пассов.
🔹Gpt-4o по скорости на таких задачах становится быстрее Haiku от антропика
🔹НО вас все равно чарджат за ваш "драфтовый" ответ по цене completion токенов
И Анонс в твиттере
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍1
OpenAI API лежал сегодня 4 часа
Это напоминание, что желательно настроить fallback на claude/gemini/etc, а не зависеть от одного провайдера
Openrouter, кстати, поддерживает автоматический фолбек — просто указываете список "запасных" моделей и он за вас все зароутит — https://openrouter.ai/docs/model-routing
Это напоминание, что желательно настроить fallback на claude/gemini/etc, а не зависеть от одного провайдера
Openrouter, кстати, поддерживает автоматический фолбек — просто указываете список "запасных" моделей и он за вас все зароутит — https://openrouter.ai/docs/model-routing
👍9
Системные промпты отменяются
Оказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово
Зачем?😩
Оказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово
system
на developer
Зачем?
Please open Telegram to view this post
VIEW IN TELEGRAM
💔10😁3
Тоже прогромирую с LLM, но с О1-бомж-версией и руками всегда все файлы копировал и объяснял структуру проекта 😒
Буду пробовать эти тулзы, кажется, они решают мою боль!
Буду пробовать эти тулзы, кажется, они решают мою боль!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from Denis Sexy IT 🤖
В последнее время я все больше программирую с LLM, и теперь добавил в связку o1 Pro:
Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит
И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:
🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера
📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузера
Но самое полезное, что если вы положите в папку пустой файл
***
В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода.
Вот краткая выдержка, общими словами:
1. Сначала, до кода, они дают LLM контекст проекта и просят его понять
2. Группируют похожие файлы по контексту
3. Просят модель прогнозировать, что именно затронет изменение кода
4. Передают ей историю изменений кода
Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит
И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:
🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера
📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузера
Но самое полезное, что если вы положите в папку пустой файл
.ignore
, то оба тула ее проигнорируют – то есть лишние папки/файлы можно убрать из контекста***
В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода.
Вот краткая выдержка, общими словами:
1. Сначала, до кода, они дают LLM контекст проекта и просят его понять
2. Группируют похожие файлы по контексту
3. Просят модель прогнозировать, что именно затронет изменение кода
4. Передают ей историю изменений кода
Shir-Man
Folder Map Generator - Visual Explorer of Project Structures
Generate ASCII tree structures from your project folders. Perfect for visualizing directory layouts and sharing with LLMs. Process files locally with privacy.
👍8
Проклятые токены 🤯
Замечали/задумывались, что всего один случайный токен может привести выход LLM к неправильному ответу или в случае с маленькими моделями — к бреду?
Условно, на запрос
модель может случайно сгенерить токен "import Flask" вместо "import FastAPI"
И дальше уже от этого проклятого токена никуда не деться — придется продолжать ответ с фласком.
Как бы боролись с таким? На этапе обучения? На этапе инференса? CoT не предлагать😁
Замечали/задумывались, что всего один случайный токен может привести выход LLM к неправильному ответу или в случае с маленькими моделями — к бреду?
Условно, на запрос
Реализуй эндпоинт на FastAPI ...
модель может случайно сгенерить токен "import Flask" вместо "import FastAPI"
И дальше уже от этого проклятого токена никуда не деться — придется продолжать ответ с фласком.
Как бы боролись с таким? На этапе обучения? На этапе инференса? CoT не предлагать
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔4😁2👍1
Нейронный Кот
Проклятые токены 🤯 Замечали/задумывались, что всего один случайный токен может привести выход LLM к неправильному ответу или в случае с маленькими моделями — к бреду? Условно, на запрос Реализуй эндпоинт на FastAPI ... модель может случайно сгенерить токен…
Боремся с проклятыми токенами 😎
Люблю статьи от авторов phi — очень простые с топорными методами, но работают хорошо.
В тех репорте phi-4 показали, что
🔹 Проклятые (и благословенные) токены существуют
🔹 Предложили, как с этим бороться
Для задач, где есть правильный ответ, мы можем найти токены, которые негативно или позитивно влияют на вероятность успешного ответа
Как найти такие токены? — авторы называют их pivotal tokens
Считаем условную вероятность, что ответ будет правильным при заданном префиксе ответа. То есть просто эмпирически считаем, какой процент правильных ответов будет при префиксе `import Flask`
Таким макаром находим все pivotal tokens в нашем трейн сете. И учим модель различать хорошие токены от плохих. Для этого формируем пары
И запускаем DPO на этих парах. Еще раз: мы учим предсказывать только один токен! ⚠️
Если бы мы просто делали SFT или DPO на полных ответах, то учились бы предсказывать эти проклятые токены, которые негативно влияют на вероятность успешного ответа.
В таблице 9 можно посмотреть, как DPO на pivotal tokens (stage 1) накидывает в качестве по сравнению с обычным DPO и SFT
🤨 Меня удивило, что проклятыми токенами могут быть вполне безобидные токены в стиле предсказал "that" вместо "the" (см. скрины в треде)
📖 Статья
@neural_cat
Люблю статьи от авторов phi — очень простые с топорными методами, но работают хорошо.
В тех репорте phi-4 показали, что
🔹 Проклятые (и благословенные) токены существуют
🔹 Предложили, как с этим бороться
Для задач, где есть правильный ответ, мы можем найти токены, которые негативно или позитивно влияют на вероятность успешного ответа
p(success)
Как найти такие токены? — авторы называют их pivotal tokens
Считаем условную вероятность, что ответ будет правильным при заданном префиксе ответа. То есть просто эмпирически считаем, какой процент правильных ответов будет при префиксе `import Flask`
Таким макаром находим все pivotal tokens в нашем трейн сете. И учим модель различать хорошие токены от плохих. Для этого формируем пары
prompt = promt + answer prefix
good response = good token
bad response = bad token
И запускаем DPO на этих парах. Еще раз: мы учим предсказывать только один токен! ⚠️
Если бы мы просто делали SFT или DPO на полных ответах, то учились бы предсказывать эти проклятые токены, которые негативно влияют на вероятность успешного ответа.
В таблице 9 можно посмотреть, как DPO на pivotal tokens (stage 1) накидывает в качестве по сравнению с обычным DPO и SFT
📖 Статья
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍4❤1
Нейронный Кот
Боремся с проклятыми токенами 😎 Люблю статьи от авторов phi — очень простые с топорными методами, но работают хорошо. В тех репорте phi-4 показали, что 🔹 Проклятые (и благословенные) токены существуют 🔹 Предложили, как с этим бороться Для задач, где есть…
phi-4 released
И вот сегодня наконец-то зарелизили модель в открытый доступ с MIT лицензией
Идем заменять ваши лламы?
https://huggingface.co/microsoft/phi-4
И вот сегодня наконец-то зарелизили модель в открытый доступ с MIT лицензией
Идем заменять ваши лламы?
https://huggingface.co/microsoft/phi-4
huggingface.co
microsoft/phi-4 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🎉4👍2❤1
Multi-Token Prediction
В DeepSeek учили предсказывать ДВА токена наперед
Подробнее почитайте, что такое MTP тут и тут
Отбросим мысль про ускорение генерации на инференсе
Мне интереснее, что предсказание двух токенов улучшает генерализацию модели (см. таблицу)
И это же логично? Мы, люди, не предсказываем только одно слово (токен), когда формируем мысли
Мы пытаемся предсказать сразу несколько основных токенов, которые будут в нашем ответе
Например, на вопрос про трансформер, мы сразу вспоминаеммайкла бэя такие слова как атеншн, эмбединги, kv cache, etc
Так, вот. Почему бы не учить LLM предсказывать сразу две вещи:
То есть в лосс добавить еще одно слагаемое, которое делает multi-label предсказание ВСЕХ следующих токенов для i-го шага. И предсказывать это одним слоем (матрицей d x |V|)
Будет работать?
В DeepSeek учили предсказывать ДВА токена наперед
Подробнее почитайте, что такое MTP тут и тут
Отбросим мысль про ускорение генерации на инференсе
Мне интереснее, что предсказание двух токенов улучшает генерализацию модели (см. таблицу)
И это же логично? Мы, люди, не предсказываем только одно слово (токен), когда формируем мысли
Мы пытаемся предсказать сразу несколько основных токенов, которые будут в нашем ответе
Например, на вопрос про трансформер, мы сразу вспоминаем
Так, вот. Почему бы не учить LLM предсказывать сразу две вещи:
1. next token
2. all next tokens
То есть в лосс добавить еще одно слагаемое, которое делает multi-label предсказание ВСЕХ следующих токенов для i-го шага. И предсказывать это одним слоем (матрицей d x |V|)
Будет работать?
👍11❤4🤔2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11👎2