Машиннное обучение | Наука о данных Библиотека
16.8K subscribers
985 photos
20 videos
21 files
821 links
админ - @workakkk

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram - 🔥лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

№ 5037635661
Download Telegram
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI открыла доступ к GPT-5.2 Codex через Responses API.

Модель, ранее доступная лишь в среде Codex, теперь предлагается широкому кругу разработчиков. OpenAI позиционирует версию 5.2 как инструмент для глубокого рефакторинга, написания сложной функциональности и аудита безопасности.

Модель поддерживает мультимодальный ввод и предлагает гибкую настройку глубины рассуждений — от низкого до очень высокого уровня.

За повышенную производительность придется платить: стоимость токенов выросла до $1.75 за миллион на вход и $14 на выход. Поддержка новой модели уже появилась в Cursor и Windsurf.
OpenAI Developers в сети X

✔️ Anthropic усиливает команду экспериментальных продуктов Labs.

Майк Кригер оставляет пост директора по продукту, чтобы сосредоточиться на создании новых инструментов в паре с Беном Манном. Руководство основной продуктовой стратегией переходит к Ами Вора, присоединившейся к компании в конце 2025 года; она возглавит Labs совместно с техническим директором Рахулом Патилом.

Подразделение зарекомендовало себя как генератор хитов Anthropic. Именно здесь родился Claude Code, который всего за 6 месяцев превратился в продукт с миллиардной выручкой и был разработан стандарт MCP, ставший отраслевым эталоном со 100 млн. загрузок ежемесячно.

Президент компании Даниэла Амодей говорит, что формат лаборатории позволяет действовать экстремально быстро: например, Cowork был создан с нуля именно в Labs всего за полторы недели.
anthropic.com

✔️ Z.AI представила модель GLM-Image.

GLM-Image стала важной вехой в технологической независимости КНР. Это первая модель, которая обучалась исключительно на китайском стеке - серверах Huawei Ascend Atlas 800T A2 и фреймворке MindSpore, без использования ускорителей NVIDIA.

Под капотом гибрид из 9-миллиардного авторегрессионного трансформера и 7-миллиардного диффузионного декодера на базе DiT. Разработчики утверждают, что такая связка превосходит конкурентов в рендеринге текста и создания инфографики.

API модели предлагается по цене примерно 1,5 цента за изображение, а веса выложены на HuggingFace и ModelScope.
z.ai

✔️ Google обновила модель Veo.

Google обновила свою видеомодель Veo до версии 3.1, добавив возможность генерации роликов с соотношением сторон 9:16, инструменты для апскейлинга до 4K и переработку функции референса по изображению.

3.1 лучше удерживает визуальную консистентность персонажей и окружения между сценами и точнее следует коротким промптам.

Новые возможности уже доступны в приложении Gemini, AI Studio и на Vertex AI.
blog.google

✔️ Скандал с суверенным ИИ в Южной Корее.

Госпроект Сеула стоимостью $6,9 млрд, призванный избавить страну от технологической зависимости от США и КНР, оказался в центре скандала: ключевые участники использовали опен-сорс решения китайских конкурентов.

Проверка показала, что 3 из 5 финалистов конкурса, компании Naver Cloud, SK Telecom и стартап Upstage заимствовали компоненты у Alibaba, DeepSeek и Zhipu AI. В частности, выяснилось, что визуальный энкодер флагманской модели Naver HyperCLOVA X на 99,5% совпадает с архитектурой Qwen 2.5.

Разработчики оправдываются инженерной целесообразностью, утверждая, что заимствовали лишь вспомогательные модули и код инференса. Однако, использование компонентов с китайскими копирайтами в проекте, который финансируется государством, вызвало жесткую критику общественности и поставило под угрозу квалификацию участников.
wsj.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1🔥1
🧠 Почему современные LLM (скорее всего) не могут быть «сознательными» - строгий аргумент

Вышла работа, которая очень трезво разбирает популярный вопрос:
могут ли LLM обладать сознанием?

Автор утверждает: есть научная причина, почему сегодняшние большие языковые модели *не* сознательны - и аргумент построен не на мнениях, а на критериях научности.

Критерии теории сознания:
falsifiable - теорию можно (в принципе) опровергнуть
non-trivial - теория не должна “назначать сознание” почти всему подряд

И вот ключевой вывод статьи:
многие известные теории сознания не проходят эти критерии.

Главная мысль:
по одним только ответам модели нельзя доказать сознание - потому что ответы можно полностью скопировать.

Автор строит “цепочку подстановок”:
LLM → простая feedforward-сеть → lookup table
(таблица «вопрос-ответ», просто хранилище пар)

Все три системы дают одинаковые ответы.

Но lookup table очевидно не сознателен - это просто сохранённые пары.
А значит:
если теория считает LLM сознательной из-за ответов,
она обязана признать сознательной и lookup table,
а это делает теорию тривиальной и бессмысленной.

Если же теория пытается “спастись” внутренним устройством модели,
подстановки сохраняют те же ответы, но ломают предсказания теории -
то есть теорию можно опровергнуть.

Отсюда сильный вывод:
📌 нет серьёзной, проверяемой теории, которая могла бы назвать
статичные, развернутые LLM сознательными.

Что может быть важным отличием?
Автор указывает на continual learning:
когда система реально меняется от опыта и несёт контекст внутри себя.

У людей мозгу не нужно “вставлять весь чат заново” каждый раз - контекст хранится внутри.
У LLM без continual learning этого свойства нет.

Самое интересное: работа превращает вопрос «ChatGPT сознателен?» в конкретный стресс-тест
и даёт чеклист - что будущие заявления про conscious AI обязаны объяснить.

web3.arxiv.org/pdf/2512.12802
4👍3👎3😘2🕊1
🧪 Новое исследование Anthropic: как ученые используют Claude, чтобы ускорять науку

Claude подключают к базам данных и научному софту, добавляют guardrails (проверяемость и контроль) - и модель начинает работать как агент, который не “болтает”, а реально выполняет исследования.

1) Stanford - Biomni (Claude + сотни биомедицинских инструментов)
Biomni объединяет огромный набор научных тулов, и Claude-агент может работать сразу по ~25 биоподразделам по обычному запросу на английском.

Результаты тестов:
- GWAS-анализ (поиск связей генов и признаков) занимает 20 минут вместо месяцев
- обработка 450 файлов с носимых устройств (30 людей) - 35 минут вместо 3 недель
- анализ 336 000 эмбриональных клеток - нашел известные регуляторы и предложил новые факторы транскрипции
- можно “обучать” его экспертным рабочим процессам как переиспользуемым навыкам

2) CRISPR-лаборатория - MozzareLLM
В CRISPR-экспериментах отключают тысячи генов и смотрят, что ломается.
Самая сложная часть - интерпретация массивов результатов.

MozzareLLM:
- группирует связанные гены
- объясняет, какую функцию они могут делить
- отмечает малоизученные гены
- выставляет confidence, чтобы понять, что реально стоит продолжать

В сравнении моделей Claude оказался лучшим - и даже смог правильно распознал путь модификации РНК, который другие модели списали как шум.

3) Лаборатория с дорогими скринингами
Один точечный экран может стоить > $20 000.
Обычно люди выбирают гены “вручную”, буквально по табличке, как гадание.

Они построили карту молекул и связей между ними - и Claude “путешествует” по этой карте, предлагая лучшие генные цели.
Дальше планируют сравнить:
выбор Claude vs выбор человека vs полный геномный скрининг.

Это исследование про экономику науки:

скорость + масштаб
= больше экспериментов
= быстрее открытия
= без увеличения команды и бюджета

https://www.anthropic.com/news/accelerating-scientific-research
4👍3
Forwarded from Machinelearning
✔️ Sakana AI выпустили RePo - LLM, которые умеют “наводить порядок” в контексте

Обычные языковые модели читают текст как одну длинную ленту.

Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.

И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.

Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.

Sakana AI предложили решение - RePo (Context Re-Positioning).

Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.

Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь.

Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном

В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)

Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.

▶️ Устойчивость к шуму (Noisy Context)
Средний результат по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

🟡 Прирост: +7.24 пункта (сильно)

Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.

🔥 Примеры прироста на конкретных задачах
(везде RePo > RoPE)

- TriviaQA: 61.47 → 73.02 (**+11.55**)
- GovReport: 6.23 → 16.80 (**+10.57**)
- 2WikiMultihopQA: 23.32 → 30.86 (**+7.54**)
- MuSiQue: 7.24 → 13.45 (**+6.21*

Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.

🟡Подробности: pub.sakana.ai/repo/
🟡Статья: arxiv.org/abs/2512.14391

@ai_machinelearning_big_data

#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍4🔥2
📌 Новая работа Microsoft + University of Pennsylvania показывает, как LLM могут решать более сложную математику **короче и точнее** - за счёт семплирования и “слияния” вариантов мысли.

Метод называется Multiplex Thinking.

Обычный Chain-of-Thought работает так:
модель расписывает шаги рассуждений текстом, и это:
- быстро раздувает длину ответа
- заставляет рано выбрать один путь решения (и ошибиться)

Multiplex Thinking меняет сам механизм шага:
на каждом шаге модель семплирует K вариантов следующего токена, а затем объединяет их в один “внутренний токен”.

Как это устроено:
- токены - это маленькие куски текста, которые предсказывает модель
- вместо выбора одного варианта сразу, берутся K предположений
- затем их эмбеддинги (внутренние векторы модели) смешиваются в один токен
- итог: неопределённость “упаковывается” без увеличения длины рассуждения

Если модель уверена - варианты совпадают, и поведение почти как обычное.
Если не уверена - сомнения сохраняются внутри шага, не раздувая цепочку мыслей.

Ключевой плюс:
так как варианты берутся как реальные случайные выборки из распределения вероятностей модели, обучение через reward может направлять модель к более сильным траекториям рассуждений.

Авторы проверили метод на двух размерах DeepSeek R1 Distill Qwen:
- 6 сложных математических бенчмарков
- сравнение с обычным пошаговым CoT и другими continuous-token методами

Результат:
точность выше (от 1 до 1024 семплов)
при этом генерируется меньше токенов, что критично, когда дорого прогонять много попыток решения

arxiv.org/abs/2601.08808
3🔥1🥰1
🖥 Большинство “парсеров” умирают через 2 дня.
Ты научишься делать те, которые живут в проде.

Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:

• не падают от мелких правок на сайте
• собирают данные в разы быстрее
• обновляют всё сами по расписанию
• обходят ограничения и баны
• выглядят как сервис, а не хаос из файлов

Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключиться.

В итоге ты сможешь:

• забирать данные для своих проектов
• автоматизировать чужую рутину
• делать инструменты для аналитики
• брать коммерческие заказы на сбор данных

Это навык, который напрямую превращается в деньги.
Не “знаю Python”, а умею добывать данные из интернета профессионально.

🎁 48 часов скидка 50% на Stepik: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥2👍1
QAD vs QAT - как правильно учить 4-bit модели

Quantization-aware distillation (QAD) помогает сохранить поведение сильной teacher-модели,
а QAT остаётся привязан к обычной задаче предсказания следующего токена.

🧠 QAD - Quantization-Aware Distillation

- Есть teacher - большая модель высокой точности (заморожена)
- Есть student - квантованная 4-bit модель

Студент учится копировать всё распределение вероятностей следующего слова,
а не только один правильный ответ.

Используется KL divergence - метрика различия двух распределений вероятностей.
Она заставляет student делать свои выходы максимально похожими на teacher.

Почему это важно:

Teacher даёт "мягкие цели" (soft targets) - показывает, какие ответы близки к правильному, а какие совсем мимо.
Это особенно полезно, когда 4-bit квантование вносит шум и искажения в обучение.

QAD учит модель вести себя как большая, даже если она сильно ужата.

⚙️ QAT - Quantization-Aware Training

Справа на схеме:

- 4-bit модель обучается напрямую
- Используются обычные метки токенов
- Лосс - cross entropy

Модель получает награду только за то, что ставит высокую вероятность на один правильный следующий токен.

Что значит "shift + mask"

- Shift - модель предсказывает следующий токен по предыдущим (стандартный autoregressive режим)
- Mask - некоторые позиции не учитываются в лоссе (padding, служебные токены и т.д.)

Главное различие

| QAD | QAT |
|------|------|
| Есть teacher | Учителя нет |
| Копируем распределение вероятностей | Угадываем один правильный токен |
| Используется KL divergence | Используется cross entropy |
| Лучше сохраняет поведение большой модели | Проще, но теряет "тонкие знания" |
| Стабильнее при сильном квантовании | Сильнее страдает от шума 4-bit |

Вывод:
QAD помогает перенести "интеллект" большой модели в сильно сжатую версию.
QAT - это обычное обучение, но с учётом того, что модель уже квантована.

research.nvidia.com/labs/nemotron/nemotron-qad
3👍2
💡 Новое исследование предупреждает о преступном использовании тысяч развертываний открытых моделей ИИ.

В ходе 293-дневного наблюдения выяснилось, что 7,5 % системных промптов пропускают вредоносную активность, а хосты сосредоточены в основном в Китае и США.

Многие установили Ollama для локального запуска ИИ и оставили его доступным из сети.

Сканирование в течение 293 дней выявило 175 108 публичных серверов Ollama в 130 странах.

Это означает, что незнакомцы в сети могли отправлять им подсказки и иногда делать больше, чем просто получать текст.

Ollama должна слушать только 127.0.0.1, то есть быть доступной только на том же компьютере.

Если стоит 0.0.0.0, она слушает всю сеть и может случайно стать публичной.

Исследователи зафиксировали 7,23 млн появлений таких хостов, при этом 13 % хостов дают 76 % всех появлений, то есть небольшая группа работает почти постоянно.

Около 48 % рекламировали вызов инструментов, что позволяет подсказкам запускать действия, например выполнять функции, а не только генерировать текст.

Некоторые публичные установки также используют ретривал, и внедрение подсказок может заставить систему раскрывать данные, которые она подтягивает.

Открытые конечные точки могут быть захвачены как бесплатные вычислительные ресурсы для спама или фишинга, и группа из 5 000 хостов в среднем работала 87 % времени.

Недавний завирусившийся ИИ-агент OpenClaw (Clawdbot) спровоцировал новый кризис безопасности.

С проектом OpenClaw (который сначала был Clawdbot, а потом Moltbot) творится классический хайп-экзит. То, что задумывалось как удобный инструмент для управления компьютером через мессенджеры, на деле превратилось в огромную дыру в безопасности. Идея дать ИИ-агенту привилегированные права изначально выглядела так себе, и теперь мы видим последствия.

Из-за того, что Anthropic заставила автора менять название из-за прав на бренд, возникла путаница. Хакеры этим вовсю пользуются: воруют названия и плодят фейковые репозитории с вирусами внутри. Тем временем сотрудники компаний ставят себе OpenClaw без ведома айтишников. В итоге исследователи находят в сети сотни открытых панелей управления, где лежат чужие API-ключи и истории переписки.

reuters.com/technology/open-source-ai-models-vulnerable-criminal-misuse-researchers-warn-2026-01-29/
5👍4🔥1
Forwarded from AI инвестиции
🌟 Вот 20 лучших аккаунтов X в AI, на которые стоит подписаться:

• [Machinelearrn] (https://x.com/Machinelearrn) — Машинное обучение, ИИ и аналитика на русском
• [karpathy](https://x.com/karpathy) — король LLM
• [steipete](https://x.com/steipete) — создатель openclaw
• [gregisenberg](https://x.com/gregisenberg) — король идей для стартапов
• [rileybrown](https://x.com/rileybrown) — король vibecode
• [corbin_braun](https://x.com/corbin_braun) — король Cursor
• [jackfriks](https://x.com/jackfriks) — король solo-приложений
• [levelsio](https://x.com/levelsio) — король solo-стартапов
• [marclou](https://x.com/marclou) — король solo-стартапов
• [EXM7777](https://x.com/EXM7777) — король AI ops и систем
• [eptwts](https://x.com/eptwts) — король AI-денег в Twitter
• [godofprompt](https://x.com/godofprompt) — король промптов
• [vasuman](https://x.com/vasuman) — король AI-агентов
• [AmirMushich](https://x.com/AmirMushich) — король AI-рекламы
• [0xROAS](https://x.com/0xROAS) — король AI-UGC
• [egeberkina](https://x.com/egeberkina) — король AI-изображений
• [MengTo](https://x.com/MengTo) — король AI-лендингов
• [rryssf_](https://x.com/rryssf_) — король автоматизаций
• [kloss_xyz](https://x.com/kloss_xyz) — король системной архитектуры
• [emollick](https://x.com/emollick) — король науки об AI
• [Hesamation](https://x.com/Hesamation) — король AI/ML

@FinanceStable
4👍2🤡1
🖥 ChatGPT радикально изменил то, как студенты пишут код - и это видно в данных.

Новое исследование сравнило 5 семестров до появления ChatGPT и 5 после, анализируя:
• количество попыток сдачи
• итоговую длину кода
• сколько строк менялось между попытками

Что обнаружили:

Студенты стали менять примерно в 10 раз больше строк кода между сабмитами.
Но прирост оценки за одну попытку стал меньше.

При этом финальные оценки по заданиям остались почти идеальными.

То есть:

• решения стали длиннее
• правки стали крупнее
• пошаговое улучшение между попытками стало слабее

Раньше студенты чаще двигались маленькими шагами: исправил — стало лучше — ещё немного подкрутил.
Теперь правки стали более «скачкообразными» — большие куски кода меняются за раз, но без чёткого постепенного прогресса.

Это похоже на смену стиля разработки: от итеративного мышления к модели «перегенерировать и поправить».

Исследование:
Changes in Coding Behavior and Performance Since the Introduction of LLMs

arxiv.org/abs/2601.11835
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍3🔥1
✔️ Маленькие LLM вместе могут конкурировать с гигантскими моделями, если заставить их спорить правильно

Вместо одной огромной модели используется группа более простых моделей, которые критикуют друг друга и по кругу улучшают общий ответ.

Идея из исследования *Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation*.

В чём суть

Систему строят не как один “мозг”, а как команду моделей:

1. Несколько разных LLM дают первоначальные ответы
2. Они читают ответы друг друга
3. Критикуют, дорабатывают и предлагают улучшения
4. Лучшие идеи проходят дальше
5. Процесс идёт раундами, пока качество растёт

Это называется N-Way Self-Evaluating Deliberation — многостороннее самооценивание с повторным обсуждением.

Почему это работает

- Плохие ранние ответы можно исправить на следующих раундах
- Ошибки одной модели подхватываются другими
- Идеи не “залипают” в первой версии

Чтобы ни одна модель не доминировала:

- используется анонимная оценка
- применяется квадратичное голосование, чтобы лучшая идея побеждала честно

Роль брокера

Специальный “брокер” выбирает, какие модели лучше подходят под конкретную задачу, а дальше они работают как команда, перепроверяя друг друга.

Главный вывод

Исследователи показывают, что consumer-модели могут конкурировать с сильнейшими LLM, если:

- есть структурированная система раундов
- есть механизм критики
- есть правила отбора лучших ответов

Система меняет вычисления на “память”:

вместо огромной модели используется больше раундов текстовой обратной связи.

Чуть больше времени — но гораздо дешевле железо.

Что это означает на практике

Можно временно собрать “сильную” модель из набора разных LLM:

- без дообучения
- без гигантских GPU
- просто через правильную организацию взаимодействия

Это способ усилить интеллект системы за счёт структуры, а не размера.

Статья: arxiv.org/abs/2601.16863
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥3
📊 Прогноз Forrester: как ИИ повлияет на рынок труда к 2030 году

Аналитики Forrester оценили влияние искусственного интеллекта на занятость в США в период 2025–2030.

Главные цифры:

— ИИ может стать причиной 6% всех потерь рабочих мест
— Это примерно 10.4 млн позиций к 2030 году

Но есть важный нюанс.

В отчёте подчёркивается:
массовое вытеснение людей ИИ маловероятно, если только производительность не начнёт расти значительно быстрее текущих темпов.

Другими словами:

— Да, часть задач будет автоматизирована
— Да, некоторые роли исчезнут
— Но полного «замещения людей» в ближайшие годы не ожидается

Почему:

— Бизнес внедряет ИИ постепенно
— Многие процессы требуют человеческого контроля
— Производительность растёт, но не настолько быстро, чтобы резко сокращать штат

Что это значит на практике:

ИИ скорее меняет структуру работы, чем массово уничтожает рабочие места:
- меньше рутинных задач
- больше автоматизации
- больше ролей, связанных с управлением и использованием ИИ

Полный прогноз: forrester.com/press-newsroom/forrester-impact-ai-jobs-forecast/
4👍2🔥1