Немного актуального юмора вам в пятничный вечер

Мои пет-проекты в AI: от идеи до 9000 MAU за год

Я тут по-тихому разрабатываю через Claude инструменты, которыми пользуюсь каждый день сам, и по недавней выгрузке имею ~9 000 активных пользователей в месяц

Некоторым проектам меньше месяца, некоторым больше года

Давно не обновлял список проектов, которые поддерживаю лично (все имеют бесплатный функционал, по моим подсчетам для рядового пользователя таких лимитов хватит)


1. @ImageUpscaleDeleteBackground_bot
Бот, который умеет три вещи:
- Делать увеличение (upscale x2)
- Вырезать фон
- Получать карту глубины (для моих экспериментов)
MAU: ~300

2. @fastpixel_bot
Бот для генерации изображений, который понимает вас с двух слов
- Есть веб-версия с бесконечной лентой генераций: https://craft.gptdaisy.com/
- Под капотом: FLUX + runway(По API) на RTX 4000 + qwen (улучшает ваш промпт для генерации) на 4090
MAU: 2600

3. @daisygpt_bot
Карманный ChatGPT (единственный бот, у которого в бесплатном режиме есть история - меня такие расходы пока не беспокоят)
MAU: ~2500

4. @daisytranscribe_bot
Многофункциональный бот для работы с аудио и видео:
- Конвертация в текст файлов размером до 2 ГБ
- Работает в группах
- Автоматическое разделение аудио по ролям
- Встроенное саммари через gpt-4o-mini с возможностью настройки кастомного промпта
- Инфраструктура: 2 сервера с 2080Ti, бот на базе whisper

📈 Текущая статистика:
- Всего пользователей: 9,620
- Monthly Active Users: 3,084
- Weekly Active Users: 1,176
- Обработано файлов: 47,728
- Общее время обработки: 9,808 часов 2 минуты

5. @group_summarizebot
Компактный бот для саммари в группах
MAU: 1000

6. @VectorSagebot
Cовершенно новый проект буду изучать интересно ли людям получать информацию из таких источников
- Что это такое?
- База знаний RAG из 3 крутых каналов: @llm_under_hood, @seeallochnaya, @data_secrets (база будет пополнятся принимаю список в коментах

Можно ли повторить?

Можно и нужно! Только так на практике можно изучать рынок продуктов, быть постоянно в теме и понимать, какие возможности открываются для дальнейшего развития

Сколько это стоит?

Инфраструктура?
- Сервера почти все в собственности (приобретены 2-3 года назад под другие задачи)
- Запросы к GPT при текущем MAU: 50-80$ в месяц
- Виртуалки в РФ и за рубежом около 40$ в месяц

*Понимаю, что со временем придется отключать бесплатные режимы при росте проектов и вводить платные подписки, так как с увеличением MAU будут расти и затраты на OpenAI.*

Время?
Сложно оценить точно, но на разработку и стабилизацию бэкенда, настройку баз данных и моделей уходило разное количество времени. Часть ботов и логики делалась с помощью других разработчиков, но идеи и функционал почти всегда исходили от меня


Зачем я это делаю?
А как еще понимать и изучать рынок? Для меня лично есть только такой способ, делать инструмент и собирать аналитику (активность, обезличенные запросы, иногда даже пишу пользователям спросить зачем они используют моего бота)

Все эти проекты я рассматриваю как эксперименты для изучения потребностей пользователей и возможностей автоматизации рутинных задач

Пока делать окончательные выводы рано так что stay tuned!

@daisytranscribe_bot

Неожиданно для меня бот перевалил за 10к активаций и более 3к MAU в месяц приятная неожиданность что такой простой сервис как транскрибация больших файлов(до 2ГБ) и бесплатное саммари через гпт
Удивляет меня что бесплатный сервис может сам органически расти с 0 до 3к MAU без рекламы за 3 месяца (когда конкуренция точно красный океан)

Кстати бот обработал 50 000 файлов офигеть!

Stay Tuned пока думаю какую из фичей добавить следующую
Скачивание из ютуб
Или улучшать качество текущего функционала (например разделение по ролям)

Построение сложного RAG для работы с технической документацией

Можно ли взять любой RAG засунуть туда документацию и получить крутой ответ?
Спойлер: НЕТ

На этой неделе я исследовал возможности построения RAG-системы
для работы со сложными многосоставными 2-3-4 задания в одном запросе к технической документации
Хочу поделиться интересными находками и подходом, который дал хорошие результаты

Тестовый кейс документация Manticore Search

Для тестирования подхода я взял документацию Manticore Search - высокопроизводительной базы данных для поиска и аналитики
Она отлично подходит для скачивания есть на GitHub в формате md
- Множество взаимосвязанных концепций
- Комбинация SQL и HTTP API
- Специфичные форматы данных (векторы, JSON)
- Различные режимы работы (RT, Plain)

А теперь к проблеме

Классический подход к RAG (просто разбить документацию на чанки и искать по ним) не работает для сложных технических запросов
Например, запрос

"Покажи как оформить json чтобы делать replace в knn колонках 
RT индекса поле называется embedding и пришли пример python запроса"

Кстати предлагаю вам попробовать самим проверить свой RAG сможете ли добиться такого же ответа как у меня (в комментариях)

Такой запрос требует
- Понимания контекста (что такое RT индекс, KNN колонки)
- Объединения информации из разных частей документации
- Генерации корректных примеров кода
- Проверки технической точности

Архитектура эксперимента

- Qwen 7B (16 FP) на RTX 4090
- Multilingual E5 Large для эмбеддингов
- Собственный механизм Chain of Thought

Структура данных в Milvus:

Collection: documentation
Fields:
  - id: primary key
  - filename: string (для формирования ссылок в ответе)
  - chunk_text: string (текст чанка)
  - embeddings: float_vector[1024] (векторы от e5-large)
  - category: string (раздел документации)
  - subcategory: string (подраздел)
  - full_text: string (полный текст документа)

После поиска, объединяем найденные чанки по иерархии документации, получая ~30K токенов контекста для LLM. Ответ в формате Markdown будет содержать
- Уровень анализа запроса
- Найденные документы с их URL
- Готовые примеры кода
- Полный текст документации

Процесс обработки запроса

Query Expansion
- Используем LLM для генерации 3-5 альтернативных запросов
- Учитываем технический контекст
- Переводим на язык документации (английский)

Векторный поиск
- Для каждого расширенного запроса ищем топ-3 результата
- Получаем ~9 релевантных чанков
- Используем иерархию документации для контекста

Объединение + ответ
- Делюсь с вами своей схемой SO + CoT + Outlines + vLLM (В комментариях) + ответ модели на такой запрос

Так и по классике выводы

Что особенного и можно ли повторит?
0) Да самое важное уделить время на разработку стратегии разметки и поиска
(ой маркетинг где RAG работает с любой докой не правда? Как так? =))
1) Статический Chain of Thought
2) Оптимизация контекста по иерархии
3) Локальное развертывание
4) Понимание работы Structured Output

P.S
Решение субъективно и основано на конкретном опыте
Требуется дальнейшее тестирование на разных типах документации
Возможны ошибки при очень специфических запросах
Считаю что нужен агент планировщик поиска по документации

P.S.S Все примеры и код основаны на реальном опыте работы с технической документацией Manticore Search

@daisytranscribe_bot

Приятный фидбек по среди недели!

А ты все еще используешь платные сервисы для STT!
Учитесь как делать удобно себе

Вечная дилема выбора даже AI не помог

С праздником всех причастных ❤️❤️❤️

Deep Research за копейки?

Йоу, народ! Время рассказать, чем я тут занимался в последнее время

Спойлер: Deep Кодил

Короче, решил я окунуться в мир опенсорса на тему Deep Research
Знаете, такие штуки, которые умнее обычного гугления
И вот что я там накопал прошелся по 3-4 репо и пока вот мой топ для понимания как это работает.

Значит берем LangGraph(langsmith)
Берем tavily
Берем LLM
Берем другую LLM которая будет кодить (кстати я попробовал Cursor скоро расскажу как оно там)

1. Можно кастомить агентов с помощью Structure Output + CoT (Chain of Thought, если кто не в курсе).
2. Есть готовые репо, типа этого: https://github.com/langchain-ai/ollama-deep-researcher

Но я же не ищу легких путей! Взял этот репо и перепилил всё под себя что поменял
- Промпты обновил (добавил SO, чтоб было красиво)
- Граф немного перекроил
- Подключил свои серваки с vLLM (видюхи не простаивают!)
- Поправил промпты рефлексии

Короче, получилось вот это чудо:

https://github.com/vakovalskii/ndt-deep-researcher

И вот что самое крутое: с сегодняшнего дня почти все мои наработки будут попадать на GitHub!
Да-да, вы тоже сможете их попробовать!

Я там расписал README так подробно, что даже моя бабушка сможет повторить мой опыт создания такого агента и использования его в быту
Ну, почти 😅

Основная фишка текущего подхода - это визуализация и работа с Structured Output и работа с моделькой 7b =)
Дальше буду кастомить свой CoT

Что умеет эта штука для меня
- Работает на разных языках (прям как я после пятничного стрима "запускаем новое направление))
- Ищет инфу в интернете через Tavily (круче, чем ваша школьная разработка на силениум )


А самое интересное впереди! Скоро расскажу, как сделать монструозную систему с генерацией биг отчета и поиском инфы в нескольких источниках

Следите за обновлениями, кто хочет быть в теме!
Ну а я пошел кодить дальше, пока команда думает, что я занимаюсь "стратегическим планированием" 😎