Анализ данных (Data analysis)
47.1K subscribers
2.65K photos
303 videos
1 file
2.3K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
💡 Синтетические картинки, которые обучают лучше реальных

Исследователи из MIT показали неожиданную вещь:
крошечный синтетический датасет может обучать linear probes на огромных vision-моделях лучше, чем настоящие изображения.

Они создали метод Linear Gradient Matching (LGM), который делает следующее:

1) Берут замороженную модель-основу (DINO, CLIP и т.д.)
2) Смотрят, какие градиенты она выдаёт на реальных изображениях
3) Генерируют синтетические картинки так, чтобы градиенты совпадали
4) Обучают линейный классификатор - и он работает лучше, чем при обучении на исходных данных

Почему это полезно:
— работает между моделями (генерировано под DINO → отлично работает в CLIP)
— особенно сильна на тонких классификациях, где важны микродетали
— помогает увидеть, на что реально смотрит модель: спурьёзные корреляции, похожие кластеры, структуру embedding-пространства

Это меняет представление о данных.

Раньше: «Нужно собрать миллионы картинок».
Теперь: «Нужно правильно сгенерировать десятки».

arxiv.org/abs/2511.16674
🔥163
Обычно модель хорошо работает только на том датасете, на котором её обучили. Стоит поменять источник данных, качество падает.

В этой статье показывают простой приём: можно заставить нейросеть учиться так, чтобы она не могла определить, с какого датасета пришёл пример. В итоге она начинает выделять более общие, универсальные признаки, которые работают в любых условиях.

Метод очень лёгкий - добавляется к любой нейросети за несколько строк кода. Но результат стабильный: модель лучше справляется с новыми данными, которых раньше не видела.

Работа приятно выделяется: понятная идея, чёткое объяснение, реальные результаты, а не очередные «+2% на случайной метрике».

Почитать: chapterpal.com/s/386d57f4/domain-adversarial-training-of-neural-networks
PDF: arxiv.org/pdf/1505.07818
🔥114👍4
⚡️ OpenAI, Anthropic и Google только что получили доступ к петабайтам закрытых экспериментальных данных. Эти данные десятилетиями копили 17 Национальных лабораторий США.

И речь уже не про «улучшение чатботов». Новая государственная программа США — Genesis Mission - официально строит автономных научных агентов.

Они называют это «закрытым научным контуром» (Closed-Loop discovery), и это меняет саму физику изобретений. Не человек использует инструменты — система работает полностью автономно.

Схема, описанная в дорожной карте DOE, выглядит как научная фантастика:

• AI проектирует: смотрит на массивы данных и формирует гипотезу вроде «если смешать эти сплавы при 4000°C - получится сверхпроводник».

• Он отправляет инструкции в роботизированную лабораторию (которую строит DOE), чтобы физически смешать материалы.

• Робот мгновенно возвращает результаты. Если эксперимент провален - AI корректирует формулу.

• Такой цикл прогоняется тысячами итераций, без пауз, 24/7.

Genesis Mission - это попытка впервые в истории построить систему, где наука создаёт саму себя. Без человека в центре.
🔥29👍12🤯91🤔1
Запустите интеллектуальную базу знаний в облаке с AI

Корпоративная база знаний с AI — это централизованная система в облаке для хранения, управления и поиска информации, дополненная искусственным интеллектом. Встроенные в базу AI-ассистенты автоматически упорядочивают документы, отвечают на вопросы сотрудников и помогают быстро работать с большими объемами данных 😎

Сценарии использования:
❇️Создание и ведение продуктовой базы знаний

❇️Управление проектной документацией

❇️Хранение и быстрый поиск кадровых документов

❇️Ведение личных заметок сотрудниками


Начните работу в корпоративной базе знаний с AI: разверните готовое open source решение в облаке Cloud.ru, чтобы получить полный контроль над данными с резервным копированием и встроенной защитой.

Оставить заявку
Please open Telegram to view this post
VIEW IN TELEGRAM
1
🧠 Depth Anything 3: Восстановление визуального пространства из любых видов

Depth Anything 3 (DA3) — это модель, предсказывающая пространственно согласованную геометрию из произвольных визуальных входов. Она использует простой трансформер и уникальное представление глубины, что позволяет достигать высоких результатов в оценке глубины и позы.

🚀Основные моменты:
- 💎 Модель DA3 превосходит предыдущие версии в оценке глубины.
- 🌊 Поддержка монокулярной и многовидовой оценки глубины.
- 🎯 Оценка позы с высокой точностью.
- 🔧 Удобный интерфейс и возможность экспорта в разные форматы.
- 📐 Специальные модели для метрической оценки глубины.

📌 GitHub: https://github.com/ByteDance-Seed/Depth-Anything-3

#python
🔥52👍2
Привет, это Yandex for Analytics

Предлагаем размяться и проверить свои навыки. Ответы есть, но подглядывать во время решения — неспортивно ⬇️

🔵 Задача 1. Вспоминаем теорию вероятностей
🔵 Задача 2. Теорема Байеса
🔵 Задача 3. Базовая база теории игр
🔵 Задача 4. Тренируем SQL
🔵 Задача 5. Честная математическая статистика
🔵 Задача 6. Что-то на бизнесовом

💠 Скоро вернёмся с новыми задачами. А пока делитесь своими решениями в комментариях!

Подписывайтесь:
💬 @Yandex4Analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
8🌭1
✔️ Upwork* опубликовал исследование с громким выводом:
самые мощные LLM-агенты часто не справляются даже с простыми рабочими задачами, если действуют полностью самостоятельно.

Но стоит подключить эксперта-человека - и успешность выполнения растёт до +70%.

🔍 Что выяснили
- Upwork провёл 300 реальных оплачиваемых проектов (до $500) в областях: написание текстов, дата-сайенс, веб-разработка, инженерия, продажи, перевод.
- Задачи были специально упрощены, чтобы дать агентам шанс.
- Даже так - агенты, работающие в одиночку, часто проваливались.
- Но когда опытный фрилансер давал короткий отзыв (в среднем 20 минут), качество резко росло с каждой итерацией.

📊 Конкретные цифры
- Claude Sonnet 4 (данные): 64% → 93%
- Gemini 2.5 Pro (маркетинг/продажи): 17% → 31%
- GPT-5 (инжиниринг): 30% → 50%

Эффект особенно заметен в задачах, требующих вкуса, контекста и оценочных решений: письмо, маркетинг, перевод.
Там один цикл обратной связи повышает результат на до +17 пунктов.

Бенчмарки мало отражают реальную работу.
В исследовании использовали строгий pass/fail на финальном результате, плюс внешнюю независимую проверку.

Паттерн очевиден:
- детерминированные задачи (код, преобразование данных) — агенты справляются лучше
- творческие и «открытые» задачи — агенты ошибаются чаще

💰 Экономика
Связка «агент + эксперт» дешевле и быстрее, чем «человек в одиночку».
AI-расходы на Upwork выросли на 53% YoY в Q3-25.

Еще Upwork строит Uma оркестратора, который направляет задачи между людьми и моделями, проверяет результаты и замыкает улучшение по циклу.

*Upwork - это крупная международная онлайн-биржа фриланса

Полный отчёт: upwork.com/static/webflow/assets/webflow-human-agent-productivity-index/upbench_paper.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥1👌1