Последние дни разбирался с библиотекой Qdrant.
Это векторная база данных для работы с текстом(и не только).

Нужна для поиска и хранения текстов и последующим поиском релевантных фрагментов.

Написал проект с ней и намучился вдоволь⌨️
Ругался, матерился, отвлекался, ну всё, что происходит с каждым из нас. Чувство горящей жопы и чтение документации и соседних проектов в GitHub.

А чего мне не хватало? Так простого мануала для старта, что делать, чтоб посмотреть на быстрые результаты и закрепить мысль
"Это действительно удобно и практично, Я смогу разобраться!"

Так о чем я?
Написал такой мануал и предлагаю вам ознакомиться.
Даже если ты далек от подобного, посмотри на вывод кода и ячеек и станет понятно, что это за технологии такие и из чего строится процесс "программирования"

Это не так страшно, как кажется на берегу.

Возможно на базе этого мануала начнется твоя личная история погружения.
По крайней мере я на это надеюсь)
Всё же хочется делать что-то полезное для людей, а не только для работодателя.

Вот такое "Доброе утро, друзья"
❤️

Мануал

На ближайшее время (Возможно месяц-два), планы такие:
- не забить на изучение волшебного фреймворка pydantic-ai и написать еще пару домашних проектов. Про взаимодействие агентской системы я обязательно вам расскажу.

- Продолжить изучение Qdrat . Написать проект использующий гибридный поиск для работы с документами.

Это "домашние планы". А по работе:
- Развить задачу автоматизированного RAG для отделов менеджеров. Поиск и генерация ответов должны быть настроены максимально просто в рамках допущенных критериев точности. Это та самая задача, где нужно постараться не лезть на вершину передовых технологий, а использовать "старичков" с упором на стабильность.

Надеюсь, что после озвучивания планов вам, у меня появится ещё один пункт в мотивации этим заниматься⌨️

Прочитал интересную статью.

5 практических рекомендаций для продуктов данных с акцентом на создание бизнес-ценности.

Главный тезис:

Масштабирование продуктов данных — это прежде всего стратегическая задача, а не техническая

1. Цель разработки продуктов данных — не в генерации «лучших данных», а в создании конкретной бизнес-ценности

2. Инвестиции в создание продукта должны нести единовременный характер, так как амортизируются при повторном использовании для новых кейсов.

3. Продукт проектируется таким образом, чтоб максимизировать повторное использование и сокращение переделок под новые кейсы.

4. Владение продуктом, это бизнес, Руководитель должен формулировать ценность, искать новые кейсы.

5. Интегрировать ИИ в продукт для автоматизации задач для сокращения времени разработки и экономии денег.

Как по мне, так классные рекомендации, которые можно использовать даже для своих пет-проектов, чтоб была надежда на их рост. 😎

Наконец-то поставил vllm на свою NVIDIA 5090! Делюсь пошаговой инструкцией в своём стиле – чтобы вы не наступали на грабли и сразу начали тестить модели.

1. Создаём локальную среду

python3 -m venv .venv
source .venv/bin/activate

2. Устанавливаем ночную сборку PyTorch

pip3 install --pre torch torchvision torchaudio \
  --index-url https://download.pytorch.org/whl/nightly/cu128

3. Клонируем репозиторий vllm

git clone https://github.com/vllm-project/vllm.git
cd vllm

4. Собираем и устанавливаем vllm

python use_existing_torch.py
pip install -r requirements/build.txt
export MAX_JOBS=6     # подберите под своё железо, без этого — риск зависаний
pip install --no-build-isolation -e .

5. Организуем структуру проекта

/home/nikita/PROJECTS/
├── my_project/      # ваш основной проект
└── vllm/            # клон репозитория vllm
    ├── vllm/        # исходники библиотеки
    ├── setup.py
    └── …

Так удобно держать всё раздельно и подключать vllm как локальный пакет.

⏱️ Установка заняла у меня ~20 минут. Чертовски рад, теперь можно запускать агентов и гонять модели.
⌨️

Я тут пропал на долго. Сначала пытался проект выше довести до ума и даже что-то получилось.

API сервис по работе с локальными LLM
Есть возможность загружать модели с HF в хранилище.
Выбирать модель для инициализации.
Выгружать модель из памяти.
Передавать вопросы, как с chat_template, так и просто текстом.

В целом доволен, Я умничка 😎

А для работы сделал:
Бот в корп. месседжере для сотрудников
- html файлы конвертирует в Markdown,
- Из .md через LLM создает базу вопросов и ответов по документации.
- Заполняет 2 JSON базы со связью между вопросами и путями до файлов.
- Проверяет все дубликаты файлов и не обрабатывает их.
- Обновляет файлы если они изменились.
- Пользователь прям из бота может загрузить новый html файл и он попадет в базу.
- И сам RAG , хоть и простенький, но достаточный.
- Пользователь задает вопрос по документациям - бот отвечает исходя из контекста.

Надеюсь этот ад скоро закончится.
С понедельника отпуск и жду его как никогда)