Нейронный Кот
Неделю назад попробовали катнуть SGLang на прод в exh.ai Все метрики существенно просели 😟 Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах) Час назад параметр поддержали.…
SGLang на проде 😏
Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...
Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские🤫 До этого у всех провайдеров был shortage GPU
Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...
Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские
Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🫡2
Топ 100 консьюмерских аппок по версии a16z
Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео
🤫 Top 50 Gen AI Consumer Web Products:
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com
🥚 Репорт
@neural_cat
Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍4🔥4❤1👍1😁1
Дистиляция gpt-4o и o1-preview
Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).
Для этого появился новый флаг в completions —
Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.
Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо🥸
Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)
Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.
https://openai.com/index/api-model-distillation/
Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).
Для этого появился новый флаг в completions —
store=true
Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.
Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо
Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)
Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.
https://openai.com/index/api-model-distillation/
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Model Distillation in the API
Fine-tune a cost-efficient model with the outputs of a large frontier model–all on the OpenAI platform
👍8❤1
Моя первая веб аппка (telegram mini app)
Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.
Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал t.iss.one/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)
Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку
🔫 😊 🔫 Фронтенд
🟣 v0
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)
От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать
🟣 ChatGPT (GPT-4o) и Claude (3.5 Sonnet) 🥴
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.
🟣 В дальнейшем я остановился на ChatGPT, так как он предполагал, что я ничего не знаю, и давал базовые советы типа: «Сначала вызови команду npm install, создай такой-то файл». Эти советы немного раздражают, когда ты опытный разработчик, но в моём случае были полезны.
🟣 С помощью Cursor разработал весь функционал приложения. Кажется, я самостоятельно написал всего несколько строчек кода. Единственное — столкнулся с тривиальной багой, которую не могли пофиксить ни Cursor, ни ChatGPT, ни Claude. Только с выходом o1-preview её удалось исправить, лол.
🟣 Сами Telegram Mini Apps оказались прикольными. Достаточно добавить один JS-скрипт, и становятся доступны все методы из документации.
🟣 Деплой через Netlify. Просто подключил GitHub-репозиторий, и всё само выкатилось. Больше ничего не делал. Цена: $0.
🥸 🥸 🥸 Бэкенд
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!
🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.
🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на
🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.
🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.
🙂 🙂 🙂 AI часть
🟣 Написал пару функций, которые парсят доступную публичную информацию о пользователе или канале по юзернейму.
🟣 Промпт скопировал у twitter.wordware.ai — у них можно форкнуть агента и посмотреть внутренности. Немного подкорректировал его, чтобы лучше работал для Telegram.
🟣 Использую GPT-4o с включенными Vision Capabilities и Structured Outputs. Эту фичу я больше всего люблю в современных ллм-системах. По сути, нужно задать pydantic модель (см. скрин) и она у тебя будет на выходе запроса (sic!) Цена: ~$0.1 за генерацию.
Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.
🤪 https://t.iss.one/GigoGramBot/report
Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.
Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал t.iss.one/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)
Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)
От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!
🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.
🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на
pre-checkout
запросы. С помощью этого фреймворка такой сервис сделать очень просто🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.
🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.
Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👏2❤1👍1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе)
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👍2🗿1
Нейронный Кот
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе) Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить 1. Очень сильно попросить в промпте, какая…
Как сильно OpenAI впереди?
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!🤡
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Introducing Structured Outputs in the API
We are introducing Structured Outputs in the API—model outputs now reliably adhere to developer-supplied JSON Schemas.
❤7
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩4
Слышали про kalshi?
Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира.
Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки!
Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике.
Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет😠
Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира.
Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки!
Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике.
Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🎉1
OpenAI зарелизили поиск
Почему у меня такие предложения по поиску?😀
Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю🐸 🐸 🐸
https://openai.com/index/introducing-chatgpt-search/
Почему у меня такие предложения по поиску?
Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю
https://openai.com/index/introducing-chatgpt-search/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11
Нейронный Кот
OpenAI зарелизили поиск Почему у меня такие предложения по поиску? 😀 Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю 🐸 🐸 🐸 https://openai.com/index/introducing-chatgpt-search/
OpenAI выпустили официальное расширение, которое меняет вашу строку поиска с гугла на чатгпт.
Можно полностью отказаться от поиска гугл!
🔹 Ссылка на расширение
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🌚1
OpenAI релизнули новую фичу, которая ускоряет генерацию — Predicted Outputs
Для задач, где требуется редактирование ответа (например, кодинг), теперь можно передать новый параметр`prediction` в completions API.
Работает примерно так:
1. Мы показываем, какой ответ должен быть
2. Chatgpt одним форвард пассом понимает, где надо исправить ответ (или не одним, если исправлять надо в нескольких местах)
3. Исправляет ответ только там, где надо
Итого, тратится на ~порядок меньше форард пассов.
🔹Gpt-4o по скорости на таких задачах становится быстрее Haiku от антропика
🔹НО вас все равно чарджат за ваш "драфтовый" ответ по цене completion токенов
И Анонс в твиттере
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍1
OpenAI API лежал сегодня 4 часа
Это напоминание, что желательно настроить fallback на claude/gemini/etc, а не зависеть от одного провайдера
Openrouter, кстати, поддерживает автоматический фолбек — просто указываете список "запасных" моделей и он за вас все зароутит — https://openrouter.ai/docs/model-routing
Это напоминание, что желательно настроить fallback на claude/gemini/etc, а не зависеть от одного провайдера
Openrouter, кстати, поддерживает автоматический фолбек — просто указываете список "запасных" моделей и он за вас все зароутит — https://openrouter.ai/docs/model-routing
👍9
Системные промпты отменяются
Оказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово
Зачем?😩
Оказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово
system
на developer
Зачем?
Please open Telegram to view this post
VIEW IN TELEGRAM
💔10😁3
Тоже прогромирую с LLM, но с О1-бомж-версией и руками всегда все файлы копировал и объяснял структуру проекта 😒
Буду пробовать эти тулзы, кажется, они решают мою боль!
Буду пробовать эти тулзы, кажется, они решают мою боль!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from Denis Sexy IT 🤖
В последнее время я все больше программирую с LLM, и теперь добавил в связку o1 Pro:
Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит
И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:
🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера
📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузера
Но самое полезное, что если вы положите в папку пустой файл
***
В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода.
Вот краткая выдержка, общими словами:
1. Сначала, до кода, они дают LLM контекст проекта и просят его понять
2. Группируют похожие файлы по контексту
3. Просят модель прогнозировать, что именно затронет изменение кода
4. Передают ей историю изменений кода
Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит
И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:
🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера
📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузера
Но самое полезное, что если вы положите в папку пустой файл
.ignore
, то оба тула ее проигнорируют – то есть лишние папки/файлы можно убрать из контекста***
В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода.
Вот краткая выдержка, общими словами:
1. Сначала, до кода, они дают LLM контекст проекта и просят его понять
2. Группируют похожие файлы по контексту
3. Просят модель прогнозировать, что именно затронет изменение кода
4. Передают ей историю изменений кода
Shir-Man
Folder Map Generator - Visual Explorer of Project Structures
Generate ASCII tree structures from your project folders. Perfect for visualizing directory layouts and sharing with LLMs. Process files locally with privacy.
👍8