Машиннное обучение | Наука о данных Библиотека
16.8K subscribers
863 photos
14 videos
21 files
709 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
Forwarded from Machinelearning
⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию

В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.

Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.

Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.

При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.

При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.

Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.

📄 Подробности: arxiv.org/abs/2510.17800

🧩 Веса: huggingface.co/zai-org/Glyph

👉 Репозиторий: github.com/thu-coai/Glyph

@ai_machinelearning_big_data


#AI #LLM #Multimodal #Research #DeepLearning
👨‍💻1
Исследователи проверили, могут ли языковые модели быть любопытными - и оказалось, что да

Новое исследование показало, что любопытство повышает качество рассуждений у LLM, почти так же, как у людей.

В эксперименте с головоломками модели «подглядывали» в ответы в 70–80 % случаев, тогда как люди делали это лишь в 37,8 %. Учёные оценивали любопытство с помощью психологической шкалы и поведенческих тестов, измеряя стремление к информации, поиску острых ощущений и социальному интересу.

Результаты показали, что языковые модели проявляют сильное желание узнавать новое, выбирают более безопасные решения при риске и демонстрируют почти человеческий уровень социальной любознательности.

Чтобы проверить, как любопытство влияет на мышление, исследователи заставили модели во время рассуждения задавать себе короткие вопросы - «почему», «что если», «как». Эти само-вопросы помогли избегать поспешных выводов, уменьшили эффект зацикливания и помогли находить недостающие подсказки.

На тестах по логике и математике такой подход превзошёл стандартный chain-of-thought, дав прирост точности на 10,2 % в длинноконтекстных задачах.

Вывод: встроенное любопытство делает ИИ не только умнее, но и осмысленнее - модели начинают думать, а не просто отвечать.

Paper: arxiv.org/abs/2510.20635
3🔥2👍1
🧠 Малые языковые модели догоняют большие, почти без потерь в качестве

Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.

📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.

Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.

📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.

💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.

📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443
4🔥4
Forwarded from AI VK Hub
🔹У ВКонтакте появился новый формат — шопсы. Это публикации авторов с товарами, по которым можно быстро совершить покупку. Подобный контент появлялся в ленте и раньше, но с помощью LLM, VLM и правильной разметки теперь можно определить нативные обзоры или распаковки от авторов.

Рассказываем, что из себя представляет shoppable-разметка, и как инженеры AI VK её внедряют. Ссылка на подробный материал — тут.

#aivk #шопсы #shoppable
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3🤮3💩2🔥1😁1
Forwarded from Machinelearning
🔥 Hugging Face снова выкатили полезные материалы

Вышла бесплатная плейбук о том, как изнутри строят SOTA-модели.

Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.

Это полноценный playbook для тех, кто хочет понимать, как утсрены современные LLM.

Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей

По первым страницам - уровень деталей как в Ultra-scale playbook.

Ссылка
: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture

@ai_machinelearning_big_data

#AI #LLM #MachineLearning #HuggingFace
1