GPTSwarm: оптимизация языковых агентов

GPTSwarm - это открытый фреймворк, разработанный учеными из Королевского университета науки и технологий и Швейцарской лаборатории искусственного интеллекта IDSIA.
В основе - узлы графов. GoT.
С техникой оптимизации графов GPTSwarm динамически переконфигурирует связи между агентами, повышая эффективность общения и гибкость.
Благодаря целостной оптимизации, фреймворк быстрее и точнее выполняет задачи и решает проблемы.
GPTSwarm открывает новые возможности для ботов обслуживания клиентов, исследовательских инструментов и других систем на базе искусственного интеллекта.

#GPTSwarm #AI #optimization
-------
@tsingular

Unsloth: оптимизируем обучение LLM в 2-5 раз с экономией памяти 80%

Unsloth - это открытый инструмент, позволяющий значительно ускорить обучение языковых моделей Llama, Mistral и Gemma в 2-5 раз и сэкономить до 80% памяти. 🚀
Поддерживаются алгоритмы обучения DPO, PPO и Reward Modelling. Все ноутбуки Jupyter понятны для начинающих.
Обученные модели можно экспортировать в форматы GGML, vLLM или загрузить на Hugging Face.
Репозиторий на GitHub предоставляет примеры настроек для обучения на Google Colab и Kaggle.
Проект набирает популярность, недавно достигнув 1 млн загрузок в месяц. 📈

Теперь каждый может обучить бесплатно свой ИИ на одной видеокарте.

#Unsloth #LLM #Optimization
-------
@tsingular

LLMflation: цены на LLM-инференс стремительно падают

Стоимость обработки текста в языковых моделях демонстрирует беспрецедентное снижение - в 10 раз ежегодно.
За последние три года цена упала с $60 до $0.06 за миллион токенов, что в 1000 раз дешевле.
Ключевые факторы: улучшенная архитектура, оптимизация ПО, квантизация и специализированное оборудование.
Практические примеры: обработка 10-часового разговора уже стоит $2, анализ всего ядра Linux - менее $1.
Провайдеры LLM-сервисов фокусируются на премиум-сегменте, уступая нижний новым игрокам.

Похоже, скоро AI-помощник будет дешевле чашки кофе ☕️

#LLMflation #inference #optimization
-------
@tsingular