Searcharvester 🌾
Deep Research agent system

Год наза назад сколотил маленький SearXNG-Tavily-адаптер дроп-ин замена платного Tavily для LLM-пайплайнов на базе SearXNG
На днях вернулся и развил его в полноценный self-hosted deep research stack + sandbox agent per task

Что получилось:
3 независимых сервиса за одним API:
- /search — Tavily-совместимый поиск через SearXNG (100+ движков)
- /extract — URL → чистый markdown через trafilatura, с пресетами размера (s/m/l/f) и пагинацией для длинных статей
- /research — deep research агент(Hermes) даёшь вопрос, получаешь markdown-отчёт с цитатами

Агент-ядро — Hermes (Nous Research, 109k ⭐️), эфемерно спавнится на каждый /research запрос, --rm после exit

Видит три наших скилла: search, extract, deep-research (последний чистая методичка без кода, описывает 5 фаз:

plan → gather → gap-check → synthesise → verify

Стек: SearXNG + FastAPI + trafilatura + Hermes + docker-socket-proxy (для безопасного спавна)
Всё в одном docker compose up
LLM-агностик gpt-oss-120b(на ней делал тесты на vLLM, OpenAI, Anthropic, Ollama, что угодно OpenAI-совместимое)


Старый adapter был тактической заплаткой на Tavily
Новый стек полноценная альтернатива Perplexity/Exa/You.com для self-hosted agentic deep research system setup, и при этом каждый из трёх сервисов полезен сам по себе

РЕПО: https://github.com/vakovalskii/searcharvester

Зацените название кстати! Searcharvester

Ну наконец-то готов релизить OCR сервис

sotaocr.com

Что это? Это сервис распознавания документов. Грузите PDF, получаете распознанный json. По капотом лучшая OCR модель из имеющихся на рынке по цене-качеству.

— Очень хороша в таблицах
— Специально натренирована на математические формулы в LATEX формате.
— Отдает честные границы объектов (LLM это делает как бог на душу положит).
— Знает много языков

Ограничения:
— плохо работает с рукописным вводом. Для этого нужно усиливать модельку, знаю как — если нужно пишите, сделаю
— я пока отключил распознавание картинок, работает только PDF. Планирую скоро включить.

В общем, велкам пробовать. 30 страничек бесплатно, дальше можно закинуть денежку и пользоваться по мере необходимости.

PS Если есть проблемы — сразу в личку пишите, поправлю. Не забудьте написать почту, под которой регались.

FOMO в обнимку с кодинг-агентом

Заметил, что лагеря разделились особенно в коментах под постом Тимура

Есть те, кто обвешивается плагинами, скиллами, автоматизациями саб-агентов, методологиями, которые состоят из 1 000 000 нюансов. И те, кто течет по течению, как я =)

Буду честен: последние мои ИИ-проекты, которые были сделаны с агентами, используют только playwright-плагин для теста вэба и, наверное, всё

80–150 строк CLAUDE.md + оглавление и гиперссылки на заголовки, стартовые папки /docs). Папка /docs с понятной и читаемой вложенностью
И, наверное, всё

CLI и токен в глобальном env + на старте объясняю, где живет моя личная база знаний (сервера, токены до Cloudflare и MikroTik)

Такой сет-ап на сегодня позволяет создавать то, что я вам показываю, за 120–300 минут

Если вожусь дольше, как я это называю «пережарил идею», либо я уже переборщил, либо ушел не туда (не учитываем улучшения базовой версии, которая получилась успешно за 120 минут)

Самая базовая рекомендация, которая у меня к вам есть при вкатывании в ИИ-кодинг:

Просите агента искать в интернете

Просите делать тесты и поглядите, что из них есть код

Старайтесь спрашивать у агента, как бы он сделал лучше (модели на сегодня и так очень умные по статистике)

Просите агента сделать вам отображение логов всего, что вы делаете, в удобном для вас виде(какой, посоветуйтесь с агентом)


Но, кстати, Тимур очень много разговаривает про базу
Загляните к нему в канал, точно найдете очень много полезной инфы
Даже есть очень крутой курсец, который он недавно запустил, мой личный рек

UPDATE: Тимур закинул код на курсец, забираем TMY5XJ

Собрались поболтать про агентов!

Будет интересно привет всем кто офлайн

Как создавать AI-агентов на on-prem-моделях?

Как меняется создание пайплайна, когда мы переходим на локальные модели?

Что вообще может этот ваш Qwen на 4B по сравнению с GPT-5.5?

Чтобы ответить на эти (и многие другие) вопросы максимально-качественно, основываясь на большом практическом опыте, я попросил присоединиться к стриму Валеру.

Все, кому были неудобны стримы по субботам, возрадуйтесь!

Стрим будет во вторник, 5 мая в 16:00 мск.

Проведём его на моём YouTube-канале.

Чтобы добавить событие в календарь, нажимайте сюда.

Задавайте вопросы в комментариях. Обязательно ответим на них на стриме!