Алгоритм искусственной пчелиной колонии в оптимизации

Искусственная пчелиная колония (ABC) является метаэвристическим алгоритмом, ищущим решения числовых оптимизационных задач.
Алгоритм моделирует поиск пищи настоящими пчелами с разделением на работающих, безработных пчел-сборщиц и источники пищи.
Особое внимание в ABC уделяется обмену информацией между взаимодействующими агентами, имитирующими социальное поведение насекомых.
Эволюционные механизмы алгоритма позволяют эффективно находить глобальные оптимумы.
Применение ABC охватывает рекомендательные системы, оптимизацию энергосетей, калибровку камер, поиск и сегментацию изображений.

Методы ABC активно покоряют разные области, демонстрируя, что природные алгоритмы могут революционизировать IT-сферу.

#ABC #оптимизация #алгоритм

🧠 Впихнуть невпихуемое, решить не решаемое - Новый фреймворк MIT заставил LLM решать "нерешаемые" задачи планирования

Исследователи из MIT создали очень интересный подход - LLMFP (LLM-Based Formalized Programming). Это решение покрывает одну из главных проблем современных LLM: они слабо справляются со сложными задачами планирования.

Суть проблемы в том, что даже GPT-4o и Claude 3.5 не могут сами по себе вырабатывать оптимальные решения для задач с множеством ограничений или многошаговым планированием.

Как это работает:

Вместо бесполезных попыток заставить LLM напрямую решать такие задачи, фреймворк использует языковую модель для формализации задачи, преобразуя её в задачу оптимизации:

1. Definer: определяет цель, переменные решения и ограничения
2. Formulator: создаёт JSON-представление всех переменных
3. Code Generator: пишет код для использования решателя SMT
4. Result Formatter: форматирует результат в понятном виде
5. Self Assessment: проверяет каждый шаг и исправляет ошибки

Фреймворк не требует специфических примеров для каждой задачи. Показал успех 83-87% на 9 разных задачах планирования.
При этом базовые методы едва дотягивают до 40%.

Практические применения в бизнесе:

- Оптимизация цепочек поставок (кейс с кофе из статьи)
- Планирование персонала и рабочих смен
- Управление производственными мощностями
- Распределение задач между роботами в автоматизированных средах

Классический кейс "делай то, в чем ты хорош". LLM понимают язык, решатели SMT решают структурированные задачи. Вместе они становятся намного сильнее.

Что это значит для нас?
Теперь можно не возиться с математическими моделями оптимизации, а просто описать задачу на человеческом языке - и получить оптимизированное решение, созданное LLM.

paper

#Оптимизация #MIT
———
@tsingular

🚀 Unsloth Dynamic v2.0: Революция в квантизации языковых моделей

Команда Unsloth представила важное обновление своего метода квантизации - Dynamic v2.0, который устанавливает новые стандарты производительности для сжатых LLM-моделей.

💡 Техническая суть обновления
• Интеллектуальная послойная квантизация: Вместо избирательной модификации определенных слоев, Dynamic 2.0 динамически адаптирует тип квантизации для каждого возможного слоя, причем комбинации различаются в зависимости от слоя и архитектуры модели

• Улучшенный калибровочный датасет: От 300K до 1.5M токенов высококачественных, вручную отобранных данных для оптимизации разговорной производительности

• Расширенная совместимость: Теперь работает со всеми архитектурами, включая MoE (раньше оптимально работал только с DeepSeek-R1)

• Модельно-специфичная оптимизация: Каждая модель получает индивидуально настроенную схему квантизации - слои, квантизированные в Gemma 3, значительно отличаются от таковых в Llama 4

📊 Оценка качества через KL-дивергенцию
Unsloth использует KL-дивергенцию как золотой стандарт для измерения ошибок квантизации вместо перплексии. Как показывает исследование "Accuracy is Not All You Need", перплексия может давать искаженные результаты из-за компенсирующих эффектов вероятностей токенов, в то время как KL-дивергенция напрямую коррелирует с "флипами" - изменениями ответов с неверных на верные и наоборот.

🧪 Результаты
На примере Gemma 3 27B:
• Dynamic 2.0 с квантизацией Q2_K_XL достигает 68.70% по MMLU 5-shot (против 67.77% в стандартной квантизации)
• 4-битная версия на 2GB меньше, но даёт на 1% лучшую точность, чем QAT-версия от Google

Метрика эффективности, рассчитанная как (MMLU 5-shot - 25)/размер в GB, показывает, что 2-битные квантизации (IQ2_XXS, IQ2_M, Q2_K_XL) обеспечивают оптимальный баланс между производительностью и размером.

🛠 Доступные модели с Dynamic v2.0
• DeepSeek: R1, V3-0324
• Llama: 4 (Scout), 3.1 (8B)
• Gemma 3: 4B, 12B, 27B
• Mistral: Small-3.1-2503

Все квантизированные модели доступны на Hugging Face и готовы к запуску в любом движке вывода: llama.cpp, Ollama или Open WebUI.

Unsloth также помог исправить несколько критических багов в Llama 4, что привело к повышению точности MMLU Pro с 68.58% до 71.53%.

#квантизация #Unsloth #Gemma3 #Llama4 #оптимизация
———
@tsingular