Машиннное обучение | Наука о данных Библиотека
16.9K subscribers
750 photos
10 videos
21 files
651 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
📘 Хочешь понять машинное обучение без головной боли?

GeostatsGuy сделал визуальный учебник по ML с десятками анимаций и интерактивных демо.

🧠 Что внутри:
— Простые объяснения ключевых концепций
— Как работает регрессия, классификация, деревья решений
— Анимации градиентного спуска, переобучения, кросс-валидации
— Наглядные примеры для всех основных алгоритмов

Идеально для студентов, начинающих аналитиков и тех, кто хочет «прочувствовать» машинное обучение, а не просто заучить формулы.

🔗 Читать учебник
🔥6👍42🥰2
🧠 JointThinking: как заставить ИИ думать дважды — но только когда нужно

Новое исследование показывает: если LLM отвечает дважды и второй раз только в случае расхождения, точность резко растёт — а скорость почти не падает.

📌 Как работает JointThinking:
1. Модель сразу выдаёт два ответа:
• быстрый ("Nothinking")
• вдумчивый ("Thinking")

2. Если ответы совпадают — возвращается "Thinking".
3. Если разные — запускается ещё один раунд размышлений с анализом обоих вариантов.

📈 Результаты:
• На GSM8K (арифметика):
• 7B модель: с 87.79% → 91.05%
• 32B модель: с 92.80% → 96.29%

• Повторный шаг включается только в 6% случаев — задержка почти не меняется
• На MMLU-Pro (OOD):
• 7B: с 57.07% → 66.79% — обгоняет даже специализированный метод AdaptThink

🎯 Главная идея:
Согласие Thinking и Nothinking — это сильный сигнал уверенности. А несогласие — повод подумать ещё раз. Этот подход:
• не требует дообучения
• легко масштабируется
• снижает confident‑ошибки до –1.55%

📄 Paper: arxiv.org/abs/2508.03363

Простая идея, впечатляющий прирост. Структурное разнообразие мышления — вот как строятся устойчивые reasoning‑системы.
👍64🔥3
🖥 Мощный учебник по SQL — охватывает всё от базы до продвинутого уровня.

Внутри — 4 модуля, разбитые по сложности:
🟣 Основы SQL
🟣 Средний уровень
🟣 Продвинутый SQL
🟣 Аналитика на SQL

📚 Каждый модуль — это около 10 практичных уроков с возможностью сразу применять знания.

📌 Ссылка тут:
https://mode.com/sql-tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍1🔥1🤮1
Forwarded from Machinelearning
🚀Прорыв от Google: активное обучение с экономией данных на 10 000× при дообучении LLM

Google разработала масштабируемый процесс *active learning*, который позволяет в десятки тысяч раз сократить объём размеченных данных, необходимых для тонкой настройки больших языковых моделей на сложных задачах — например, при модерации рекламного контента.

🟢 Как работает метод:
1. Стартовая модель (LLM-0) получает промпт и автоматически размечает огромный массив данных.
2. Кластеризация выявляет примеры, где модель путается (наиболее спорные и ценные для обучения).
3. Отбор данных: из этих кластеров выбирают информативные и разнообразные примеры.
4. Экспертная разметка — только для выбранных примеров.
5. Итерации: дообучение модели → новый отбор спорных примеров → разметка → снова обучение.

🟢Результаты:
- Сокращение с 100 000 размеченных примеров до менее 500 при сохранении или улучшении качества.
- Улучшение метрики *Cohen’s Kappa* на 55–65 %.
- В больших продакшн-моделях — до 3–4 порядков меньше данных при сопоставимом или лучшем качестве.

🟢 Что такое Cohen’s Kappa?
Это метрика, которая показывает, насколько два "судьи" (например, эксперт и модель) согласны между собой с поправкой на случайные совпадения.
- 0.0 — нет согласия (или хуже случайного)
- 0.41–0.60 — умеренное согласие
- 0.61–0.80 — значительное
- 0.81–1.00 — почти полное согласие
В задачах с дисбалансом классов Kappa даёт более честную оценку, чем обычная точность (accuracy).

Чем лучше предыдущих методов:
- Точечная разметка: размечаются только самые информативные примеры.
- Масштабируемость: метод применим к наборам данных с сотнями миллиардов примеров.
- Экономия ресурсов: меньше времени и затрат на разметку.
- Быстрая адаптация: подходит для доменов с быстро меняющимися правилами (реклама, модерация, безопасность).

🟢Вывод:
При умном отборе данных LLM можно адаптировать в тысячи раз быстрее и дешевле, чем при традиционном обучении на больших размеченных наборах.

#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

🟠Почитать подробно

@ai_machinelearning_big_data


#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72🤔2🔥1🥰1
📘 OpenAI выпустила GPT-5 Prompting Guide — руководство по созданию эффективных промтов

Что внутри:
- 🛠 Agentic workflows — как настраивать автономность модели и управлять глубиной размышлений (`reasoning_effort`).
- 📋 Tool preambles — структура работы с инструментами: цель, план, комментарии, итог.
- Responses API — альтернатива Chat Completions для экономии токенов и улучшения качества.
- 💻 Кодинг — советы по интеграции в Next.js, React, Tailwind и оптимизации стиля кода.
- 🎯 Steering & verbosity — контроль длины и стиля ответа, избегание конфликтующих инструкций.
- 🚀 Minimal reasoning mode — быстрые задачи с чётким планом и приоритетами.
- 🔄 Метапромтинг — использование GPT-5 для улучшения собственных промтов.

Кому полезно:
Разработчикам агентных систем, AI-ассистентов и всем, кто хочет выжать максимум из GPT-5.

🔗 Полный гайд и примеры

#GPT5 #PromptEngineering #OpenAI #AI
7👍4🔥1
Прорыв в алгоритмах: найден способ считать кратчайшие пути быстрее Дейкстры

Учёные придумали новый метод для поиска кратчайших путей в ориентированных графах (с неотрицательными весами), который работает быстрее классического алгоритма Дейкстры.

📌 Что изменилось
— Дейкстра много лет считался почти пределом скорости: O(m + n log n).
— Новый алгоритм ломает эту границу и делает это за O(m log^(2/3) n).
— Особенно заметно ускорение на разреженных графах (где рёбер гораздо меньше, чем n²).

💡 Как это работает (вкратце)
— Вместо глобальной сортировки всех вершин — разбивка задачи на мелкие управляемые части.
— Используется смесь идей из Дейкстры и Беллмана–Форда: приоритеты + несколько проходов по рёбрам.
— Такая “умная” обработка фронтира экономит время и обходит старое узкое место.

🚀 Зачем это нужно
— Быстрее решаются задачи в навигации, графах дорог, сетях и планировании.
— Доказано, что Дейкстра — не предел, и можно ещё ускорять поиск кратчайших путей.

📚 Читать cтатью полностью
22👍10🔥3🤡2👎1🤯1💩1🌭1
🖥 Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ.

Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.

Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.

Готовый вы можете сразу попробовать в @Chatgpturbobot
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍3🥰2👎1
Google представила MLE-STAR — ИИ-агента, который автоматизирует разработку ML-моделей и побеждает в 63% соревнований Kaggle.

🚀 Полная автоматизация — агент сам проектирует, тестирует и оптимизирует модели без ручного кода.
🏆 Рекордные результаты — медали в 63% конкурсов MLE Bench Lite (36% из них — золото) против 25,8% у предыдущих решений.
🌐 Веб-поиск вместо устаревших моделей — MLE-STAR находит и использует актуальные архитектуры (EfficientNet, ViT) вместо ResNet.
🛡 Три модуля защиты — автоматическая проверка на баги, утечки данных и ошибки LLM.
💻 Open source — Google выложила код в составе Agent Development Kit (ADK).
🔄 Авто-апгрейд — за счёт постоянного поиска новейших моделей производительность растёт сама по мере развития ML.

🔜 Подробнее

#Google #GoogleResearch #ml #mle #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
😱74👍1🔥1💩1
🧠 LogicRAG: умный RAG без предсобранных графов

LLM часто ошибаются, когда ответ требует связать много фактов. Классический GraphRAG строит огромный граф по всему корпусу, что дорого и не всегда соответствует логике вопроса.

LogicRAG решает это иначе:

Разбивает запрос на подзадачи и строит небольшой граф зависимостей только для этого вопроса.

Упорядочивает его топологической сортировкой и решает шаг за шагом, подгружая только нужные данные.

Ведёт «скользящую память» — краткое резюме найденных фактов, удаляя лишний контекст.

Объединяет подзадачи одного уровня, чтобы не делать лишние запросы.

Не повторяет почти одинаковые подзапросы.

📊 Результаты:

- 2WikiMQA: +14,7% точности к лучшему базовому методу.
- HotpotQA и MuSiQue: стабильное превосходство.
- Время ответа ~9,8 секунд без затрат на построение графа.

💡 Итог: извлечение данных следует логике вопроса, а не заранее заготовленной карте, что даёт точнее и дешевле ответы.

arxiv.org/abs/2508.06105
👍7🤔21🔥1
✔️ AR-GRPO — новый подход к улучшению авторегрессионных моделей генерации изображений с помощью RL

Исследователи представили AR-GRPO, метод интеграции обучения с подкреплением (online RL) в авторегрессионные (AR) модели генерации изображений.
Он адаптирует алгоритм Group Relative Policy Optimization (GRPO), чтобы дообучать обычные AR-модели с учётом специально разработанных функций вознаграждения.

Эти функции оценивают сгенерированные изображения сразу по нескольким параметрам качества:

- Визуальная привлекательность (perceptual quality)
- Реалистичность (realism)
- Семантическое соответствие запросу (semantic fidelity)

В результате модель учится выдавать не только красивые, но и реалистичные картинки, точно отражающие смысл входного описания.

https://arxiv.org/abs/2508.06924
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2🔥2
Forwarded from Machinelearning
🌟 Embedding Atlas: визуализация структуры эмбедингов прямо в браузере.

Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.

🟡Автоматическая кластеризация и разметка данных.

Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.

Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.

🟡Интерактивность.

В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.

Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.

🟡Embedding Atlas поставляется в виде 2 пакетов:

🟢Python-пакет

Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.

🟢Npm-пакет

Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Документация
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Embedding #Visualisation #Apple
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥1🤯1