Машиннное обучение | Наука о данных Библиотека
16.9K subscribers
757 photos
10 videos
21 files
654 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
Самое трудное — не выучить, а понять, что учить дальше.

Вы только задумываетесь о карьере в ML, начали изучать основы или хотите сменить профессию и войти в IT, но кажется, здесь всё слишком сложно? LLM, MLOps, стеки, профессии — в голове каша. Как не утонуть в информации и понять, с чего реально начать? И главное — какие навыки действительно нужны, чтобы быть уверенным, востребованным специалистом?

7 августа в 18:00 (МСК) karpovꓸcourses проведут бесплатный вебинар с Нерсесом Багияном, руководителем направления по работе с данными. Он расскажет о своем карьерном пути, реальных задачах ML-инженера в 2025 году и ключевых навыках, которые помогают расти — все на примерах из индустрии.

Разложите ML по полочкам на бесплатном вебинаре: https://clc.to/erid_2W5zFJLXfhS

Это старт Data-интенсива: от новичка до оффера, который поможет сориентироваться в сфере Data Science и перейти к первым шагам 🤝🏻

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFJLXfhS
7🔥3👍1
📘 Хочешь понять машинное обучение без головной боли?

GeostatsGuy сделал визуальный учебник по ML с десятками анимаций и интерактивных демо.

🧠 Что внутри:
— Простые объяснения ключевых концепций
— Как работает регрессия, классификация, деревья решений
— Анимации градиентного спуска, переобучения, кросс-валидации
— Наглядные примеры для всех основных алгоритмов

Идеально для студентов, начинающих аналитиков и тех, кто хочет «прочувствовать» машинное обучение, а не просто заучить формулы.

🔗 Читать учебник
🔥6👍42🥰2
🧠 JointThinking: как заставить ИИ думать дважды — но только когда нужно

Новое исследование показывает: если LLM отвечает дважды и второй раз только в случае расхождения, точность резко растёт — а скорость почти не падает.

📌 Как работает JointThinking:
1. Модель сразу выдаёт два ответа:
• быстрый ("Nothinking")
• вдумчивый ("Thinking")

2. Если ответы совпадают — возвращается "Thinking".
3. Если разные — запускается ещё один раунд размышлений с анализом обоих вариантов.

📈 Результаты:
• На GSM8K (арифметика):
• 7B модель: с 87.79% → 91.05%
• 32B модель: с 92.80% → 96.29%

• Повторный шаг включается только в 6% случаев — задержка почти не меняется
• На MMLU-Pro (OOD):
• 7B: с 57.07% → 66.79% — обгоняет даже специализированный метод AdaptThink

🎯 Главная идея:
Согласие Thinking и Nothinking — это сильный сигнал уверенности. А несогласие — повод подумать ещё раз. Этот подход:
• не требует дообучения
• легко масштабируется
• снижает confident‑ошибки до –1.55%

📄 Paper: arxiv.org/abs/2508.03363

Простая идея, впечатляющий прирост. Структурное разнообразие мышления — вот как строятся устойчивые reasoning‑системы.
👍64🔥3
🖥 Мощный учебник по SQL — охватывает всё от базы до продвинутого уровня.

Внутри — 4 модуля, разбитые по сложности:
🟣 Основы SQL
🟣 Средний уровень
🟣 Продвинутый SQL
🟣 Аналитика на SQL

📚 Каждый модуль — это около 10 практичных уроков с возможностью сразу применять знания.

📌 Ссылка тут:
https://mode.com/sql-tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍1🔥1🤮1
Forwarded from Machinelearning
🚀Прорыв от Google: активное обучение с экономией данных на 10 000× при дообучении LLM

Google разработала масштабируемый процесс *active learning*, который позволяет в десятки тысяч раз сократить объём размеченных данных, необходимых для тонкой настройки больших языковых моделей на сложных задачах — например, при модерации рекламного контента.

🟢 Как работает метод:
1. Стартовая модель (LLM-0) получает промпт и автоматически размечает огромный массив данных.
2. Кластеризация выявляет примеры, где модель путается (наиболее спорные и ценные для обучения).
3. Отбор данных: из этих кластеров выбирают информативные и разнообразные примеры.
4. Экспертная разметка — только для выбранных примеров.
5. Итерации: дообучение модели → новый отбор спорных примеров → разметка → снова обучение.

🟢Результаты:
- Сокращение с 100 000 размеченных примеров до менее 500 при сохранении или улучшении качества.
- Улучшение метрики *Cohen’s Kappa* на 55–65 %.
- В больших продакшн-моделях — до 3–4 порядков меньше данных при сопоставимом или лучшем качестве.

🟢 Что такое Cohen’s Kappa?
Это метрика, которая показывает, насколько два "судьи" (например, эксперт и модель) согласны между собой с поправкой на случайные совпадения.
- 0.0 — нет согласия (или хуже случайного)
- 0.41–0.60 — умеренное согласие
- 0.61–0.80 — значительное
- 0.81–1.00 — почти полное согласие
В задачах с дисбалансом классов Kappa даёт более честную оценку, чем обычная точность (accuracy).

Чем лучше предыдущих методов:
- Точечная разметка: размечаются только самые информативные примеры.
- Масштабируемость: метод применим к наборам данных с сотнями миллиардов примеров.
- Экономия ресурсов: меньше времени и затрат на разметку.
- Быстрая адаптация: подходит для доменов с быстро меняющимися правилами (реклама, модерация, безопасность).

🟢Вывод:
При умном отборе данных LLM можно адаптировать в тысячи раз быстрее и дешевле, чем при традиционном обучении на больших размеченных наборах.

#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

🟠Почитать подробно

@ai_machinelearning_big_data


#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72🤔2🔥1🥰1
📘 OpenAI выпустила GPT-5 Prompting Guide — руководство по созданию эффективных промтов

Что внутри:
- 🛠 Agentic workflows — как настраивать автономность модели и управлять глубиной размышлений (`reasoning_effort`).
- 📋 Tool preambles — структура работы с инструментами: цель, план, комментарии, итог.
- Responses API — альтернатива Chat Completions для экономии токенов и улучшения качества.
- 💻 Кодинг — советы по интеграции в Next.js, React, Tailwind и оптимизации стиля кода.
- 🎯 Steering & verbosity — контроль длины и стиля ответа, избегание конфликтующих инструкций.
- 🚀 Minimal reasoning mode — быстрые задачи с чётким планом и приоритетами.
- 🔄 Метапромтинг — использование GPT-5 для улучшения собственных промтов.

Кому полезно:
Разработчикам агентных систем, AI-ассистентов и всем, кто хочет выжать максимум из GPT-5.

🔗 Полный гайд и примеры

#GPT5 #PromptEngineering #OpenAI #AI
7👍4🔥1
Прорыв в алгоритмах: найден способ считать кратчайшие пути быстрее Дейкстры

Учёные придумали новый метод для поиска кратчайших путей в ориентированных графах (с неотрицательными весами), который работает быстрее классического алгоритма Дейкстры.

📌 Что изменилось
— Дейкстра много лет считался почти пределом скорости: O(m + n log n).
— Новый алгоритм ломает эту границу и делает это за O(m log^(2/3) n).
— Особенно заметно ускорение на разреженных графах (где рёбер гораздо меньше, чем n²).

💡 Как это работает (вкратце)
— Вместо глобальной сортировки всех вершин — разбивка задачи на мелкие управляемые части.
— Используется смесь идей из Дейкстры и Беллмана–Форда: приоритеты + несколько проходов по рёбрам.
— Такая “умная” обработка фронтира экономит время и обходит старое узкое место.

🚀 Зачем это нужно
— Быстрее решаются задачи в навигации, графах дорог, сетях и планировании.
— Доказано, что Дейкстра — не предел, и можно ещё ускорять поиск кратчайших путей.

📚 Читать cтатью полностью
22👍10🔥3🤡2👎1🤯1💩1🌭1
🖥 Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ.

Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.

Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.

Готовый вы можете сразу попробовать в @Chatgpturbobot
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍3🥰2👎1
Google представила MLE-STAR — ИИ-агента, который автоматизирует разработку ML-моделей и побеждает в 63% соревнований Kaggle.

🚀 Полная автоматизация — агент сам проектирует, тестирует и оптимизирует модели без ручного кода.
🏆 Рекордные результаты — медали в 63% конкурсов MLE Bench Lite (36% из них — золото) против 25,8% у предыдущих решений.
🌐 Веб-поиск вместо устаревших моделей — MLE-STAR находит и использует актуальные архитектуры (EfficientNet, ViT) вместо ResNet.
🛡 Три модуля защиты — автоматическая проверка на баги, утечки данных и ошибки LLM.
💻 Open source — Google выложила код в составе Agent Development Kit (ADK).
🔄 Авто-апгрейд — за счёт постоянного поиска новейших моделей производительность растёт сама по мере развития ML.

🔜 Подробнее

#Google #GoogleResearch #ml #mle #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
😱74👍1🔥1💩1
🧠 LogicRAG: умный RAG без предсобранных графов

LLM часто ошибаются, когда ответ требует связать много фактов. Классический GraphRAG строит огромный граф по всему корпусу, что дорого и не всегда соответствует логике вопроса.

LogicRAG решает это иначе:

Разбивает запрос на подзадачи и строит небольшой граф зависимостей только для этого вопроса.

Упорядочивает его топологической сортировкой и решает шаг за шагом, подгружая только нужные данные.

Ведёт «скользящую память» — краткое резюме найденных фактов, удаляя лишний контекст.

Объединяет подзадачи одного уровня, чтобы не делать лишние запросы.

Не повторяет почти одинаковые подзапросы.

📊 Результаты:

- 2WikiMQA: +14,7% точности к лучшему базовому методу.
- HotpotQA и MuSiQue: стабильное превосходство.
- Время ответа ~9,8 секунд без затрат на построение графа.

💡 Итог: извлечение данных следует логике вопроса, а не заранее заготовленной карте, что даёт точнее и дешевле ответы.

arxiv.org/abs/2508.06105
👍7🤔21🔥1
✔️ AR-GRPO — новый подход к улучшению авторегрессионных моделей генерации изображений с помощью RL

Исследователи представили AR-GRPO, метод интеграции обучения с подкреплением (online RL) в авторегрессионные (AR) модели генерации изображений.
Он адаптирует алгоритм Group Relative Policy Optimization (GRPO), чтобы дообучать обычные AR-модели с учётом специально разработанных функций вознаграждения.

Эти функции оценивают сгенерированные изображения сразу по нескольким параметрам качества:

- Визуальная привлекательность (perceptual quality)
- Реалистичность (realism)
- Семантическое соответствие запросу (semantic fidelity)

В результате модель учится выдавать не только красивые, но и реалистичные картинки, точно отражающие смысл входного описания.

https://arxiv.org/abs/2508.06924
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍2🔥2
Forwarded from Machinelearning
🌟 Embedding Atlas: визуализация структуры эмбедингов прямо в браузере.

Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.

🟡Автоматическая кластеризация и разметка данных.

Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.

Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.

🟡Интерактивность.

В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.

Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.

🟡Embedding Atlas поставляется в виде 2 пакетов:

🟢Python-пакет

Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.

🟢Npm-пакет

Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Документация
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Embedding #Visualisation #Apple
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥3🥰1🤯1
PyTorch vs TensorFlow — свежий обзор по трём главным критериям: удобство, производительность и деплой.

🛠 **Удобство разработки**
- PyTorch — полностью динамический граф: код работает как обычный Python, можно дебажить без лишних танцев с бубном.
- TensorFlow начинал со статических графов (TF 1.x), но в TF 2 был сделан переход на eager execution с Keras.

Скорость и ресурсы
- В тестах PyTorch обучался ~25% быстрее и выполнял инференс до ~78% быстрее.
- TensorFlow может сокращать разрыв с XLA или TPUs, но всё зависит от тюнинга и железа.

🚀 Деплой и экосистема
- TensorFlow лидирует в продакшене: TensorFlow Lite (мобильные/IoT), TF.js (браузер), TensorFlow Serving (серверы).
- PyTorch — TorchScript, ONNX, TorchServe: отлично для серверов, но тяжелее для мобильных и встроенных устройств.

📊 Вывод
- Быстрые тесты, кастомный ресёрч → PyTorch.
- Масштабный продакшн, мобильные/браузерные клиенты → TensorFlow.

📌 Подробности
🔥9👍41🥰1
Неформально про реком
Глитч нейросети — это база, а ивент AI VK & Pro в «оригинале» — повод собраться и узнать, как меняются рекомендательные системы.

27 августа VK проводит AI VK & Pro — закрытый митап про RecSys и ML. Где соберутся крутые ML-инженеры, исследователи и разработчики.

В программе доклады от ML-лидов VK. Поговорим про Discovery Platform, продовые трансформеры и мультимодальные модели.
Приходите задать вопросы, поделиться опытом и поглитчевать среди своих в неформальной обстановке. А после — афтепати: винил, сигары, вино и покер.


📍 Москва, только офлайн
📅 27 августа, сбор с 18:00
🎟 Вход по регистрации
2
Forwarded from Machinelearning
📌g-AMIE: мультиагентная система от Google Reserch.

Google представила g-AMIE (guardrailed-AMIE) — расширенную версию своей исследовательской системы AMIE, которая работает в паре с врачом по принципу асинхронного надзора.

Идея проста: ИИ собирает анамнез, а врач принимает решения. Для этого была разработана многоагентная система на базе Gemini 2.0 Flash и специальный веб-интерфейс "кабинет врача"

🟡Обновленная система состоит из 3 агентов.

Агент-диалог ведёт беседу с пациентом, собирая информацию. Его работа делится на 3 фазы: общий сбор анамнеза, целенаправленная проверка первоначального дифференциального диагноза и заключительная фаза с ответами на вопросы пациента.

Агент-ограничитель следит за тем, чтобы агент-диалог не давал никаких индивидуальных медицинских советов, диагнозов или планов лечения, при необходимости перефразируя его ответы.

Агент SOAP-записи генерирует подробную медицинскую карту в популярном формате SOAP, разделяя задачи предварительных итогов (жалобы пациента, объективные данные) и вывода (оценка и план лечения).

После сбора анамнеза сгенерированная SOAP-запись и черновик заключения отправляются на проверку врачу через «кабинет врача». Врач может редактировать документы и либо одобрить отправку сообщения, либо принять решение о необходимости очной консультации.

Чтобы оценить эффективность такого подхода, было проведено рандомизированное слепое исследование в формате виртуального объективного структурированного клинического экзамена (ОСКЭ) на 60 клинических сценариях.

В исследовании участвовали пациенты, g-AMIE и 2 контрольные группы: врачи общей практики и медсестры-практики/ассистенты врачей. Обеим человеческим группам было предписано работать в тех же ограничениях, что и g-AMIE, то есть только собирать анамнез без предоставления советов. Затем их SOAP-записи и проекты сообщений оценивались группой опытных врачей-наблюдателей.

🟡Результаты эксперимента.

Во-первых, g-AMIE успешно справился с задачей и ни разу не был уличён в предоставлении индивидуальных медицинских советов.

Во-вторых, его способность извлекать ключевую информацию из беседы с пациентом была оценена выше, чем у обеих контрольных групп. SOAP-записи, сгенерированные g-AMIE, были признаны более полными, точными и читаемыми.

Врачи-наблюдатели чаще предпочитали работать с записями от ИИ и с большей вероятностью одобряли составленные им сообщения для пациентов.

Более того, дифференциальные диагнозы и планы лечения, основанные на данных от g-AMIE, были оценены как более адекватные.

🟡Нюансы.

g-AMIE оказался более "многословным", что, с одной стороны, способствовало лучшему установлению контакта с пациентом (тестовые пациенты отметили его эмпатию), но с другой — приводило к более длительному времени проверки записей врачами.

Во-вторых, хотя в записях g-AMIE и встречались галлюцинации, их частота была сопоставима с ошибками памяти у людей.

Интересно, что медсестры и ассистенты врачей показали себя лучше, чем врачи общей практики, как в сборе анамнеза, так и в соблюдении ограничений.

Авторы объясняют это тем, что врачи не привыкли воздерживаться от советов во время консультации и их стандартный рабочий процесс был нарушен. Поэтому результаты не следует интерпретировать как прямое превосходство ИИ над клиницистами в реальном мире, так как люди не были обучены работать в этой новой парадигме.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2