@daisytranscribe_bot

Неожиданно для меня бот перевалил за 10к активаций и более 3к MAU в месяц приятная неожиданность что такой простой сервис как транскрибация больших файлов(до 2ГБ) и бесплатное саммари через гпт
Удивляет меня что бесплатный сервис может сам органически расти с 0 до 3к MAU без рекламы за 3 месяца (когда конкуренция точно красный океан)

Кстати бот обработал 50 000 файлов офигеть!

Stay Tuned пока думаю какую из фичей добавить следующую
Скачивание из ютуб
Или улучшать качество текущего функционала (например разделение по ролям)

Построение сложного RAG для работы с технической документацией

Можно ли взять любой RAG засунуть туда документацию и получить крутой ответ?
Спойлер: НЕТ

На этой неделе я исследовал возможности построения RAG-системы
для работы со сложными многосоставными 2-3-4 задания в одном запросе к технической документации
Хочу поделиться интересными находками и подходом, который дал хорошие результаты

Тестовый кейс документация Manticore Search

Для тестирования подхода я взял документацию Manticore Search - высокопроизводительной базы данных для поиска и аналитики
Она отлично подходит для скачивания есть на GitHub в формате md
- Множество взаимосвязанных концепций
- Комбинация SQL и HTTP API
- Специфичные форматы данных (векторы, JSON)
- Различные режимы работы (RT, Plain)

А теперь к проблеме

Классический подход к RAG (просто разбить документацию на чанки и искать по ним) не работает для сложных технических запросов
Например, запрос

"Покажи как оформить json чтобы делать replace в knn колонках 
RT индекса поле называется embedding и пришли пример python запроса"

Кстати предлагаю вам попробовать самим проверить свой RAG сможете ли добиться такого же ответа как у меня (в комментариях)

Такой запрос требует
- Понимания контекста (что такое RT индекс, KNN колонки)
- Объединения информации из разных частей документации
- Генерации корректных примеров кода
- Проверки технической точности

Архитектура эксперимента

- Qwen 7B (16 FP) на RTX 4090
- Multilingual E5 Large для эмбеддингов
- Собственный механизм Chain of Thought

Структура данных в Milvus:

Collection: documentation
Fields:
  - id: primary key
  - filename: string (для формирования ссылок в ответе)
  - chunk_text: string (текст чанка)
  - embeddings: float_vector[1024] (векторы от e5-large)
  - category: string (раздел документации)
  - subcategory: string (подраздел)
  - full_text: string (полный текст документа)

После поиска, объединяем найденные чанки по иерархии документации, получая ~30K токенов контекста для LLM. Ответ в формате Markdown будет содержать
- Уровень анализа запроса
- Найденные документы с их URL
- Готовые примеры кода
- Полный текст документации

Процесс обработки запроса

Query Expansion
- Используем LLM для генерации 3-5 альтернативных запросов
- Учитываем технический контекст
- Переводим на язык документации (английский)

Векторный поиск
- Для каждого расширенного запроса ищем топ-3 результата
- Получаем ~9 релевантных чанков
- Используем иерархию документации для контекста

Объединение + ответ
- Делюсь с вами своей схемой SO + CoT + Outlines + vLLM (В комментариях) + ответ модели на такой запрос

Так и по классике выводы

Что особенного и можно ли повторит?
0) Да самое важное уделить время на разработку стратегии разметки и поиска
(ой маркетинг где RAG работает с любой докой не правда? Как так? =))
1) Статический Chain of Thought
2) Оптимизация контекста по иерархии
3) Локальное развертывание
4) Понимание работы Structured Output

P.S
Решение субъективно и основано на конкретном опыте
Требуется дальнейшее тестирование на разных типах документации
Возможны ошибки при очень специфических запросах
Считаю что нужен агент планировщик поиска по документации

P.S.S Все примеры и код основаны на реальном опыте работы с технической документацией Manticore Search

@daisytranscribe_bot

Приятный фидбек по среди недели!

А ты все еще используешь платные сервисы для STT!
Учитесь как делать удобно себе

Вечная дилема выбора даже AI не помог

С праздником всех причастных ❤️❤️❤️

Deep Research за копейки?

Йоу, народ! Время рассказать, чем я тут занимался в последнее время

Спойлер: Deep Кодил

Короче, решил я окунуться в мир опенсорса на тему Deep Research
Знаете, такие штуки, которые умнее обычного гугления
И вот что я там накопал прошелся по 3-4 репо и пока вот мой топ для понимания как это работает.

Значит берем LangGraph(langsmith)
Берем tavily
Берем LLM
Берем другую LLM которая будет кодить (кстати я попробовал Cursor скоро расскажу как оно там)

1. Можно кастомить агентов с помощью Structure Output + CoT (Chain of Thought, если кто не в курсе).
2. Есть готовые репо, типа этого: https://github.com/langchain-ai/ollama-deep-researcher

Но я же не ищу легких путей! Взял этот репо и перепилил всё под себя что поменял
- Промпты обновил (добавил SO, чтоб было красиво)
- Граф немного перекроил
- Подключил свои серваки с vLLM (видюхи не простаивают!)
- Поправил промпты рефлексии

Короче, получилось вот это чудо:

https://github.com/vakovalskii/ndt-deep-researcher

И вот что самое крутое: с сегодняшнего дня почти все мои наработки будут попадать на GitHub!
Да-да, вы тоже сможете их попробовать!

Я там расписал README так подробно, что даже моя бабушка сможет повторить мой опыт создания такого агента и использования его в быту
Ну, почти 😅

Основная фишка текущего подхода - это визуализация и работа с Structured Output и работа с моделькой 7b =)
Дальше буду кастомить свой CoT

Что умеет эта штука для меня
- Работает на разных языках (прям как я после пятничного стрима "запускаем новое направление))
- Ищет инфу в интернете через Tavily (круче, чем ваша школьная разработка на силениум )


А самое интересное впереди! Скоро расскажу, как сделать монструозную систему с генерацией биг отчета и поиском инфы в нескольких источниках

Следите за обновлениями, кто хочет быть в теме!
Ну а я пошел кодить дальше, пока команда думает, что я занимаюсь "стратегическим планированием" 😎

Deep Web Research Продолжаю эксперименты на небольших моделях(локальных) сейчас в тесте t-tech/T-lite-it-1.0
Собрал сложный граф на кучи зависимостях (оно живое и работает!)
Это просто что-то Ринат бы из @llm_under_hood оценил (оч много кастомных CoT и задач рассуждений) я не думал что 7b модель может выдавать такие результаты

Просто покажу вам кусочек информации которую выдает такой подход при простом рисерче информации!

# Research Topic: Лучшие SAST анализаторы 2025 года

## Research Evolution
Исследование началось с выявления ключевых инструментов SAST и их интеграции в DevSecOps и менеджмент безопасности, а также с анализа технологических достижений в анализаторах металлов и сплавов. В ходе последующих итераций были выявлены инновации в интеграции машинного обучения в анализаторы кода и его влияние на безопасность разработки. В заключительной итерации были синтезированы все ключевые выводы и инсайты, подкрепленные соответствующими источниками.

## Comprehensive Findings
В 2025 году инструменты статического анализа кода (SAST) продолжат играть ключевую роль в обеспечении безопасности и качества программного обеспечения, особенно для групп DevSecOps и менеджеров по безопасности. Новые исследования подчеркивают важность интеграции машинного обучения в SAST инструменты для повышения их эффективности и точности. В частности, инструмент Xygeni Лидер выделяется своей способностью обеспечивать высокую точность обнаружения уязвимостей и низкий уровень ложных срабатываний, что делает его предпочтительным выбором для современных команд DevSecOps [1].

Интеграция машинного обучения в SAST инструменты, такие как Xygeni, будет способствовать ускорению и повышению безопасности разработки приложений, что подчеркивает важность использования передовых технологий в области безопасности разработки [3]. Это позволит командам DevSecOps применять проактивный и целостный подход к безопасности, гарантируя устойчивость приложений как к уязвимостям на уровне кода, так и к рискам третьих лиц.

Кроме того, инструменты анализа данных с использованием искусственного интеллекта (AI), такие как Sisense, станут еще более важными для компаний, стремящихся извлекать значимую информацию из растущих объемов данных. AI-инструменты позволят улучшить понимание данных, обеспечивая возможность прогнозного анализа и анализа трендов [1].

### Основные выводы и инсайты:

1. **Интеграция машинного обучения в SAST инструменты**: Улучшение точности и скорости обнаружения уязвимостей в приложениях [1, 3]. Это позволит снизить количество ложных срабатываний и повысить эффективность процесса анализа кода.

2. **Роль Xygeni Лидера**: Высокая точность и низкий уровень ложных срабатываний делают его идеальным выбором для DevSecOps [1]. Xygeni Лидер поддерживает бесшовную интеграцию CI/CD и обеспечивает высокоскоростное сканирование, что делает его подходящим для современных команд DevSecOps.