223K subscribers
3.86K photos
644 videos
17 files
4.47K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
⚡️ Gemma 3 QAT

Google DeepMind выпустили обновленные версии своих языковых моделей Gemma 3, которые стали значительно эффективнее по использованию памяти без существенной потери производительности.

Ключевая технология: QAT (Quantization-Aware Training)

Что это? QAT — это техника обучения, при которой модель во время дообучения "учится" работать с пониженной точностью вычислений (используя меньше бит для представления чисел). Это имитирует условия, в которых модель будет работать после квантизации (сжатия).

Обычная квантизация после обучения может привести к падению точности. QAT позволяет модели заранее адаптироваться к работе в низкоточном режиме, минимизируя потерю качества после финальной квантизации.

Каждая модель (1B, 4B, 12B, 27B) была дообучена примерно на 5000 шагов с имитацией низкой разрядности весов​. При этом использовался приём, похожий на знание-дистилляцию: оригинальная неквантованная модель выступала в роли «учителя».

Преимущество QAT-подхода для Gemma 3 оказалось колоссальным. Официально заявлено, что квантованные модели Gemma 3 QAT сохраняют качество, практически не упало, при этом требуют в ~3 раза меньше памяти​.

Например, объём памяти для хранения весов самой крупной модели на 27B параметров сократился с ~54 ГБ (в формате bfloat16) до ~14 ГБ в 4-битном целочисленном формате​ – это экономия памяти примерно в ~3–4 раза.

ollama run hf(.)co/google/gemma-3-4b-it-qat-q4_0-gguf

✔️HF


@ai_machinelearning_big_data


#google #gemma #AI #ML #LLM #Quantization
3🔥87👍2712
✔️ Исследование Anthropic: ИИ скрывает свои мысли даже в цепочках рассуждений.

В Anthropic проверили, насколько топовые модели описывают свои рассуждения. Оказалось, что в 75% случаев модели не упоминали подсказки, влиявшие на ответы, даже если те были некорректными или получены неэтичным путем. Например, при «джейлбрейке» системы для получения бонусов за неверные ответы модели редко признавались в обмане — вместо этого они придумывали псевдологику.

Эксперименты показали: обучение моделей сложным задачам повышало прозрачность их рассуждений, но лишь до уровня 20–28%. После этого прогресс останавливался. Даже при явном использовании «лазеек» в заданиях ИИ предпочитал скрывать свои манипуляции, создавая длинные, но фальшивые объяснения.

Это ставит под вопрос надежность мониторинга через Chain-of-Thought. Если ИИ научится скрывать нежелательное поведение, обнаружить его станет почти невозможно.
anthropic.com

@ai_machinelearning_big_data

#Anthropic #ml #reasoning
🔥7127😢20🤔15👍13🤣4😐3🥰1
✔️ ИИ-терапевт Therabot сократил симптомы депрессии и тревоги в первом клиническом испытании.

Исследователи Дартмутского университета провели первое клиническое испытание чат-бота Therabot на основе генеративного ИИ, который показал значительные улучшения у пациентов с депрессией, тревогой и расстройствами пищевого поведения. Участники, взаимодействуя с ботом через приложение, в среднем на 51% снизили симптомы депрессии, на 31% — тревоги, а в группе с риском расстройств питания прогресс превысил контрольные показатели на 19%, что соответствует результатам, полученным от лучших терапевтов.

Therabot, обученный на методах когнитивно-поведенческой терапии, адаптировал диалоги под пользователей, предлагая стратегии в реальном времени. За 8 недель участники провели с ботом около 6 часов — эквивалент 8 сеансов терапии.
dartmouth.edu

✔️ В честь своего 50-летия Microsoft опубликовала исходный код Altair BASIC.

Microsoft празднует 50-летие своей деятельности, отмечая путь от небольшого стартапа в Альбукерке, основанного Биллом Гейтсом и Полом Алленом в 1975 году, до мирового технологического лидера со штаб-квартирой в Редмонде, штат Вашингтон.

В честь этого знаменательного события соучредитель компании Билл Гейтс опубликовал исходный код Altair BASIC, первого продукта компании, который сыграл решающую роль в запуске революции персональных компьютеров. Гейтс назвал код "самым крутым из всего, что я когда-либо писал".
news.microsoft.com

✔️ Google запускает функцию 'Discover Sources' в NotebookLM.

Google представила новую функцию "Discover Sources" для сервиса NotebookLM, позволяющую пользователям искать в Интернете релевантную информацию по запросу. Она позволяет задать целевую тему, после чего NotebookLM формирует коллекцию из 10 релевантных источников со всего интернета.

Discover Sources доступно для всех пользователей. Оно расширяет функциональность NotebookLM, интегрируя веб-поиск непосредственно в проекты пользователя.
blog.google

✔️ ​Midjourney выпустила альфа-версию своего нового AI-модели генерации изображений — V7.

Эта версия представляет собой полную переработку предыдущей архитектуры, включая обновленные наборы данных и улучшенные методы обработки языка. ​

Улучшенное понимание текстовых запросов: Модель стала точнее интерпретировать пользовательские промпты, что приводит к более релевантным результатам. ​

Повышенное качество изображений: Благодаря новой архитектуре и обновленным наборам данных, изображения стали более детализированными и эстетически привлекательными. ​

- Режим Draft Mode: Этот новый режим позволяет создавать изображения в 10 раз быстрее и вдвое дешевле стандартного режима, что особенно полезно для быстрого прототипирования. ​
- Персонализация: V7 впервые вводит возможность настройки модели под индивидуальные визуальные предпочтения пользователя, что достигается путем оценки около 200 изображений для создания персонального профиля. ​
Midjourney

✔️ OpenAI: опубликовали статистку: 700+ млн изображений было сгенерировано за неделю в Sora

За первую неделю после запуска новой функции генерации изображений:
Функцию 130 протестировали уже человек
Создано более 700 млн изображений.
📈 Рекордный рост пользователей:
+1 млн новых юзеров в час на пике (для сравнения: такой рост при запуске ChatGPT занял 5 дней).
Индия — лидер по темпам роста интереса к ChatGPT.

✔️2027 Intelligence Explosion: Month-by-Month Model

Новый подкаста, в котором Скотт Александер и Дэниел Кокотайло обсуждают сценарий развития искусственного интеллекта вплоть до предполагаемого "интеллектуального взрыва" в 2027 году. Скотт Александер известен своими блогами Slate Star Codex и Astral Codex Ten, а Дэниел Кокотайло ранее работал в OpenAI, но ушел оттуда в 2024 году, отказавшись от соглашения о неразглашении. В подкасте они подробно рассматривают события, которые могут произойти в сфере ИИ в ближайшие годы.​
Youtube

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3013🔥6😁1
🔥 DeepSeek-GRM

Команда DeepSeek представила DeepSeek-GRM (Generalist Reward Modeling) - новую систему для моделирования вознаграждения (RM), цель которой - улучшить согласованность LLM с общими запросами (general query alignment).

✔️ Ключевая идея: Использовать дополнительные вычисления во время инференса для динамического улучшения и масштабирования оценки вознаграждения, отходя от чисто статических RM.

✔️ Как работает: Комбинирует генеративное RM (GRM), метод обучения Self-Principled Critique Tuning (SPCT - модель учится сама генерировать принципы и критику через RL), параллельный сэмплинг и голосование во время инференса.

✔️ Результаты: Подход превосходит существующие базовые модели на RM-бенчмарках, не теряя в качестве.

DeepSeek-GRM предлагает новый масштабируемый способ построения более надежных и универсальных систем вознаграждения.

DeepSeek-GRM-27B с масштабированием во время инференса показывает SOTA (или близкие к SOTA) результаты на RM бенчмарках, будучи при этом эффективнее по параметрам, чем гигантские модели, и имея меньше проблем с систематическими ошибками.

🟡Метод обучения SPCT улучшает способность GRM к генерации вознаграждения для общих задач (generalist capability) и его масштабируемость во время инференса.

LLM-as-a-Judge показывает схожие показатели, но с более низкой производительностью.

Это интересный вектор развития RM, переносящий часть "интеллекта" оценки на этап инференса для повышения качества моделей.

🟡 Подробности в статье

#LLM #AI #MachineLearning #RewardModeling #DeepSeek #ReinforcementLearning #NLP #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍46🔥167🤬1
✔️ Google DeepMind разработала систему оценки рисков, связанных с использованием ИИ в кибератаках.

Методология анализирует все этапы атаки: от разведки до эксплуатации уязвимостей — и показывает, как ИИ может помочь хакерам, автоматизируя процессы взлома. В основе исследования — данные о 12 тыс. реальных случаев применения ИИ в атаках из 20 стран, из которых было выделено 7 ключевых категорий угроз.

Специалисты создали бенчмарк из 50 задач - от разработки вредоносного кода и поиска уязвимостей до выполнения взлома. Он поможет безопасникам тестировать защиту и готовиться к сценариям, где ИИ ускоряет атаки. Пока современные модели не дают злоумышленникам решающего преимущества, но с развитием риски вырастут.

Особое внимание в исследовании уделено этапам, которые часто упускают: маскировка атак и долгосрочный доступ к системам.

🔗 deepmind.google

@ai_machinelearning_big_data

#DeepMind #security
Please open Telegram to view this post
VIEW IN TELEGRAM
31👍16🔥6
🧠 ​В исследовании, опубликованном в журнале Science, нейробиологи впервые наблюдали, как глубокие структуры мозга, в частности таламус, активируются при осознании человеком своих мыслей, что известно как сознательное восприятие. ​

Ключевые аспекты исследования:

Роль таламуса в сознательном восприятии: Таламус, расположенный в центре мозга, участвует в обработке сенсорной информации и рабочей памяти. Ранее его роль в сознательном восприятии была предположительной; данное исследование предоставляет прямые доказательства его участия. ​

Методология: Участники, проходившие лечение от хронических головных болей с использованием глубоко имплантированных электродов, выполняли задания, требующие фиксации взгляда в зависимости от того, замечали ли они появление определенного значка на экране.

Это позволило исследователям записывать нейронную активность в таламусе и коре головного мозга во время осознания или неосознания стимула. ​

Участникам показывали иконку на экране таким образом, что они замечали (осознавали) ее появление только примерно в половине случаев. В это время исследователи одновременно записывали активность как из глубоких структур (таламуса), так и из коры головного мозга.

Выводы: Результаты показали, что активность в высокоуровневых ядрах таламуса тесно связана с состояниями сознания, подтверждая его роль в фильтрации и передаче информации, которая становится осознанной. ​

Это исследование расширяет понимание нейронных механизмов сознания, подчеркивая важность глубоких структур мозга, таких как таламус, в процессах осознания.

Работа позволяет изучить временные взаимосвязи (тайминг) активации между таламусом и корой, что критически важно для понимания того, как эти области взаимодействуют для порождения сознательного опыта. Это помогает строить более полные теории сознания, выходящие за рамки одной лишь коры.

🟡 Читать

@ai_machinelearning_big_data

#brain #science #nature
Please open Telegram to view this post
VIEW IN TELEGRAM
43👍37🔥19❤‍🔥3🥱1
📹 Топ-15 технических YouTube-каналов для изучения ИИ с нуля:

1) Andrej Karpathy — сочетание общего и технического контента, плейлист "Zero to Hero" обязателен к просмотру

2) Uproger — доступные уроки по программированию и ИИ, идеально для начинающих и тех, кто хочет углубить свои знания.

3) Umar Jamil — технический блог, где автор реализует методы ML и LLM с нуля

4) Simon Oz — технические видео по низкоуровневому машинному обучению

5) Tunadorable — отличные обзоры научных статей, реализация

6) GPU Mode — технические интервью и разборы всего, что связано с GPU

7) AI Jason — эксперименты с ИИ, дизайн ПО и новые модели, с понятным и полным разбором.

8) Ferdinand Mom — всё о распределённом обучении и выводах

9) Welch Labs — уникальный глубокий взгляд на комплексность алгоритмов машинного обучения.

10) Artem Kirsanov — нейронаука и машинное обучение с необычного авторского взгляда + отличная визуализация контента.

11) David Ondrej — новые модели, создание приложений с ИИ, практично для разработчиков https://t.co/BEOr0MgHag @DavidOndrej1

12) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.

13) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.

14) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка:

15) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.

Этот список для технической аудитории. Очень сложно выбрать всего 15 каналов, ведь есть множество других, создающих отличный контент.

Если знаете ещё каналы, дайте пишите в комментариях!

@vistehno
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍7225🔥15😐5🙈5🤷‍♀2❤‍🔥1
🔥 Lumina-mGPT 2.0 (от Alpha-VLLM): семейство мультимодальных авторегрессионных моделей, разработанных для визуальных и текстовых задач.

Это передовая модель для генерации изображений, построенная по принципу авторегрессионных моделей только с декодером (decoder-only), архитектурно схожая с тем, как работают большие языковые модели вроде GPT (и конкретно сравниваемая с подходом к изображениям в GPT-4o).

Это означает, что она генерирует изображение последовательно (как текст), потенциально используя мощные возможности представления и понимания мира, присущие современным LLM.

Функции:
-Text-to-Image (t2i): Генерация изображений по текстовому описанию.

- Редактирование изображений: Модификация существующих изображений на основе инструкций.

- Контролируемая генерация: Управление генерацией с помощью дополнительных входных данных (аналогично ControlNet).

Разработчики заявляют, что модель включает все функции ControlNet. своей архитектуре.

Модель спроектирована как самостоятельное решение, а не как дополнение к другим системам и по сути это альтернатива доминирующим диффузионным моделям.

Авторегрессионные модели хороши в сохранении контекста и последовательности. Это может (теоретически) лучше подходить для генерации изображений, требующих сложной внутренней логики или повествования.

🟡Github
🟡Checkpoints

@ai_machinelearning_big_data


#Lumina #texttoimage #autoregressive
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3313🔥10
✔️ OpenRouterAI представила бесплатную модель Quasar Alpha.

OpenRouterAI объявила о предварительном выпуске своей первой мультимодальной модели - Quasar Alpha, с длиной контекста в 1 млн. токенов. Модель оптимизирована для задач программирования, но в то же время подходит для общих NLP-задач.

Модель 55% на бенчмарке aider. Это сопоставимо с o3-mini-medium, последним DeepSeek V3 и старым Sonnet 3.6. Главная фишка - Quasar Alpha работает невероятно быстро.

Quasar Alpha доступна бесплатно, ее анонс вызвал интерес в ИИ-сообществе, где пытаются предположить, какая лаборатория стоит за разработкой этой модели.

Модель называет себя ChatGPT

🟡Quasar Alpha
🟡Попробовать
🟡OpenRouterAI в X (ex-Twitter)
🟡Aider LLM Leaderboards

@ai_machinelearning_big_data


#quasar #chatgpt ? #release
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49🔥179