Нейронный Кот
1.51K subscribers
82 photos
1 video
78 links
Download Telegram
Нейронный Кот
Неделю назад попробовали катнуть SGLang на прод в exh.ai Все метрики существенно просели 😟 Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах) Час назад параметр поддержали.…
SGLang на проде 😏

Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...

Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские 🤫 До этого у всех провайдеров был shortage GPU

Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🫡2
Топ 100 консьюмерских аппок по версии a16z

Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео

🤫 Top 50 Gen AI Consumer Web Products:
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com

🥚 Репорт

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥41👍1😁1
Дистиляция gpt-4o и o1-preview

Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).

Для этого появился новый флаг в completions — store=true

Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.

Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо 🥸

Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)

Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.

https://openai.com/index/api-model-distillation/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍81
Моя первая веб аппка (telegram mini app)

Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.

Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал t.iss.one/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)

Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку

🔫😊🔫 Фронтенд
🟣v0
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)

От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать

🟣 ChatGPT (GPT-4o) и Claude (3.5 Sonnet) 🥴
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.

🟣 В дальнейшем я остановился на ChatGPT, так как он предполагал, что я ничего не знаю, и давал базовые советы типа: «Сначала вызови команду npm install, создай такой-то файл». Эти советы немного раздражают, когда ты опытный разработчик, но в моём случае были полезны.

🟣 С помощью Cursor разработал весь функционал приложения. Кажется, я самостоятельно написал всего несколько строчек кода. Единственное — столкнулся с тривиальной багой, которую не могли пофиксить ни Cursor, ни ChatGPT, ни Claude. Только с выходом o1-preview её удалось исправить, лол.

🟣Сами Telegram Mini Apps оказались прикольными. Достаточно добавить один JS-скрипт, и становятся доступны все методы из документации.

🟣 Деплой через Netlify. Просто подключил GitHub-репозиторий, и всё само выкатилось. Больше ничего не делал. Цена: $0.

🥸🥸🥸 Бэкенд
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!

🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.

🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на pre-checkout запросы. С помощью этого фреймворка такой сервис сделать очень просто

🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.

🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.

🙂🙂🙂 AI часть
🟣 Написал пару функций, которые парсят доступную публичную информацию о пользователе или канале по юзернейму.

🟣Промпт скопировал у twitter.wordware.ai — у них можно форкнуть агента и посмотреть внутренности. Немного подкорректировал его, чтобы лучше работал для Telegram.

🟣 Использую GPT-4o с включенными Vision Capabilities и Structured Outputs. Эту фичу я больше всего люблю в современных ллм-системах. По сути, нужно задать pydantic модель (см. скрин) и она у тебя будет на выходе запроса (sic!) Цена: ~$0.1 за генерацию.

Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.

🤪 https://t.iss.one/GigoGramBot/report
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👏21👍1
Теперь не круто пользоваться poetry. Пользуемся uv или requirements.txt 😏
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе)

Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить

1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)

https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👍2🗿1
У меня появился автокомплит в чатгпт 🤟
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩4
Слышали про kalshi?

Портфельная компания YC, которая занимается "рынком предсказаний". По сути, обычные люди могут ставить ставки на события из реального мира.

Самое популярное событие сейчас — "Who will win the Presidential Election?" (Trump vs Harris). Круто, что на такие события вообще разрешили делать ставки!

Интересно, насколько вероятности в kalshi могут совпадать с вероятностями в реальной жизни? Как будто, очень близко, ведь люди ставят свои личные деньги, а не просто тыкают кнопку в опроснике.

Там YC еще выпустило шортс про overnight success от Kalshi. Tl;dr — обычно, компании не выстреливают за неделю/месяц/год. Сначала нужно работать несколько лет 😠
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1🎉1
OpenAI зарелизили поиск

Почему у меня такие предложения по поиску? 😀

Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю 🐸🐸🐸

https://openai.com/index/introducing-chatgpt-search/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11
Нейронный Кот
OpenAI зарелизили поиск Почему у меня такие предложения по поиску? 😀 Я по-русски с chatgpt почти не общаюсь, в CS 1.6 не играю, новости особо не читаю 🐸🐸🐸 https://openai.com/index/introducing-chatgpt-search/
ChatGPT Chrome Extension

OpenAI выпустили официальное расширение, которое меняет вашу строку поиска с гугла на чатгпт.

Можно полностью отказаться от поиска гугл! 👀 (я уже так и сделал)

🔹 Ссылка на расширение

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🌚1
🤪 4x ускорение редактирования кода в gpt-4o

OpenAI релизнули новую фичу, которая ускоряет генерацию — Predicted Outputs

Для задач, где требуется редактирование ответа (например, кодинг), теперь можно передать новый параметр`prediction` в completions API.

Работает примерно так:
1. Мы показываем, какой ответ должен быть
2. Chatgpt одним форвард пассом понимает, где надо исправить ответ (или не одним, если исправлять надо в нескольких местах)
3. Исправляет ответ только там, где надо

Итого, тратится на ~порядок меньше форард пассов.

🔹Gpt-4o по скорости на таких задачах становится быстрее Haiku от антропика
🔹НО вас все равно чарджат за ваш "драфтовый" ответ по цене completion токенов

😠 Завтра все заходим в Cursor, выбираем gpt-4o, получаем ускорение в несколько раз

🚨 Ссылка на доку
И Анонс в твиттере

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍1
Это я!
😁17
OpenAI API лежал сегодня 4 часа

Это напоминание, что желательно настроить fallback на claude/gemini/etc, а не зависеть от одного провайдера

Openrouter, кстати, поддерживает автоматический фолбек — просто указываете список "запасных" моделей и он за вас все зароутит — https://openrouter.ai/docs/model-routing
👍9
Системные промпты отменяются

Оказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово system на developer

Зачем? 😩
Please open Telegram to view this post
VIEW IN TELEGRAM
💔10😁3
Тоже прогромирую с LLM, но с О1-бомж-версией и руками всегда все файлы копировал и объяснял структуру проекта 😒

Буду пробовать эти тулзы, кажется, они решают мою боль!
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Forwarded from Denis Sexy IT 🤖
В последнее время я все больше программирую с LLM, и теперь добавил в связку o1 Pro:

Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит

И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:

🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера

📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузера

Но самое полезное, что если вы положите в папку пустой файл .ignore, то оба тула ее проигнорируют – то есть лишние папки/файлы можно убрать из контекста

***

В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода.

Вот краткая выдержка, общими словами:

1. Сначала, до кода, они дают LLM контекст проекта и просят его понять

2. Группируют похожие файлы по контексту

3. Просят модель прогнозировать, что именно затронет изменение кода

4. Передают ей историю изменений кода
👍8