Наконец-то поставил vllm на свою NVIDIA 5090! Делюсь пошаговой инструкцией в своём стиле – чтобы вы не наступали на грабли и сразу начали тестить модели.

1. Создаём локальную среду

python3 -m venv .venv
source .venv/bin/activate

2. Устанавливаем ночную сборку PyTorch

pip3 install --pre torch torchvision torchaudio \
  --index-url https://download.pytorch.org/whl/nightly/cu128

3. Клонируем репозиторий vllm

git clone https://github.com/vllm-project/vllm.git
cd vllm

4. Собираем и устанавливаем vllm

python use_existing_torch.py
pip install -r requirements/build.txt
export MAX_JOBS=6     # подберите под своё железо, без этого — риск зависаний
pip install --no-build-isolation -e .

5. Организуем структуру проекта

/home/nikita/PROJECTS/
├── my_project/      # ваш основной проект
└── vllm/            # клон репозитория vllm
    ├── vllm/        # исходники библиотеки
    ├── setup.py
    └── …

Так удобно держать всё раздельно и подключать vllm как локальный пакет.

⏱️ Установка заняла у меня ~20 минут. Чертовски рад, теперь можно запускать агентов и гонять модели.
⌨️

Я тут пропал на долго. Сначала пытался проект выше довести до ума и даже что-то получилось.

API сервис по работе с локальными LLM
Есть возможность загружать модели с HF в хранилище.
Выбирать модель для инициализации.
Выгружать модель из памяти.
Передавать вопросы, как с chat_template, так и просто текстом.

В целом доволен, Я умничка 😎

А для работы сделал:
Бот в корп. месседжере для сотрудников
- html файлы конвертирует в Markdown,
- Из .md через LLM создает базу вопросов и ответов по документации.
- Заполняет 2 JSON базы со связью между вопросами и путями до файлов.
- Проверяет все дубликаты файлов и не обрабатывает их.
- Обновляет файлы если они изменились.
- Пользователь прям из бота может загрузить новый html файл и он попадет в базу.
- И сам RAG , хоть и простенький, но достаточный.
- Пользователь задает вопрос по документациям - бот отвечает исходя из контекста.

Надеюсь этот ад скоро закончится.
С понедельника отпуск и жду его как никогда)

Собрал системную инструкцию для агентов в IDE.
Чисто питонячая и, как по мне, рабочая.

Кажись уже нет большой разницы на каком языке взаимодействовать с моделями, так что на русском языке.

Если кто будет пробовать, оставьте отзыв, мне прям интересно!👍
GitHub

как-то очень тяжело с теорией дообучения моделей.
Надеюсь, что какая-то часть информации в голове сохранится.

Ну и хочется верить, что лучше учиться,
чем Не учиться😐