Nano-vLLM - облегченная реализация vLLM, созданная с нуля.

Это минималистичный движок для инференса LLM размером примерно 1200 строк кода на Python, который при этом показывает производительность на уровне vLLM и иногда даже выше.

Главная идея простая - дать быстрый, понятный и лёгкий движок, который можно разобрать буквально за вечер и адаптировать под свои задачи. Поддерживается кеширование, тензорный параллелизм и работа на GPU. Работает локально, без зависимости от облаков.

На тестах с моделью Qwen3-0.6B и 256 параллельными запросами Nano-vLLM показал скорость 1314.65 токенов/с против 1353.86 у vLLM. Разница не превышает 3%, при этом код Nano-vLLM проще и доступнее для модификаций.

Интерфейс совместим с vLLM, за исключением метода генерации. Примеры использования включены в репозиторий.

👉 @PythonPortal

Знаешь, что неприятно реализовывать в Python?

Функцию скользящего среднего.

Ручное хранение всех значений в окне, тот ещё гемор.

Если только ты не используешь collections.deque.

Её параметр maxlen позволяет автоматически выбрасывать лишние значения из окна.

👉 @PythonPortal

Сегодня разработчики представили новый формат данных под названием TOON. Его уже успели окрестить сменщиком JSON. Идея простая: дать ИИ понятный, компактный и быстрый формат без лишнего мусора и перегруженной структуры.

TOON экономит токены, ускоряет обработку и уменьшает объем передаваемых данных. По заявлениям авторов, формат оптимизирован не только для хранения, но и для взаимодействия с моделями искусственного интеллекта, включая гибридные и мультимодальные системы.

Поддержка уже заявлена для JavaScript, Python, Rust, Java и еще нескольких языков, а значит разработчики могут попробовать формат прямо сейчас, без ожидания экосистемы и сторонних библиотек.

Goodbye JSON, hello TOON. 🌟

👉 @PythonPortal

Весь мир: простая понятная капча
Китайцы: почисть лоток

👉 @PythonPortal

78 тем, которые необходимо освоить в области Data Science

👉 @PythonPortal

Представляю Goldman Sachs GS-Quant

Python-инструментарий для количественного анализа, созданный Goldman Sachs.

GS Quant — это Python-набор инструментов для квант-финансов, построенный на базе одной из самых мощных платформ управления рисками.

GS Quant создан для ускорения разработки квант-трейдинговых стратегий и решений для риск-менеджмента. В его основе более 25 лет опыта работы на глобальных рынках.

Чтобы получить доступ к API, нужен client id и secret. Они доступны только институциональным клиентам Goldman Sachs.

Исходники GS-Quant можно найти на GitHub:
https://github.com/goldmansachs/gs-quant

👉 @PythonPortal

Ловите очередной полезный гайд

👉 @PythonPortal

Зарплата 207.000р у Middle-разработчика в Яндекс

«В день уходит несколько часов на созвоны, в остальное время закрываю задачки из спринта, редко перерабатываю. У компании топовый офис, но с коллективом как-то не заладилось. Радуюсь классному ДМС и стабильной зарплате» - middle разработчик из Яндекса.

Бигтех по-русски - канал с реальными зарплатами и историями IT-специалистов российского БигТеха. Там уже опубликованы рассказы программистов Альфа-банка, Сбера и Тинькофф 🤯

Читайте: @bigtech_russia

Теперь в Minecraft можно генерировать 3D-объекты по одному промпту.

Мод Falcraft добавляет в игру продвинутый AI. Можно на лету менять текстуры блоков через NanoBanana или генерировать целые 3D-структуры одной командой прямо во время игры. 🌟

Скачать на GitHub: https://github.com/blendi-remade/falcraft?tab=readme-ov-file

👉 @PythonPortal