Forwarded from Data Secrets
How much do language models memorize? Новое исследование от Meta FAIR, Google DeepMind и NVIDIA
Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?
Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.
Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.
➖ Авторы опираются на понятия из теории информации Колмогорова и Шеннона, и четко разделяют запоминание и обобщение. Если модель воспроизвела что-либо – не значит, что она это запомнила, а не обобщила. В обратную сторону – то же самое.
➖ Количество информации, которое модель именно запомнила, считают так. Берут две модели одинаковой архитектуры и размера: одна – референсная – обучена на огромном количестве данных, вторая – испытуемая – на ограниченном датасете.
Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.
Вот так и получилось число 3.6 бит/параметр.
Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.
Красота, как она есть arxiv.org/abs/2505.24832
Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?
Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.
Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.
Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.
Вот так и получилось число 3.6 бит/параметр.
Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.
Красота, как она есть arxiv.org/abs/2505.24832
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4👏1
Forwarded from Rings & Moons
This media is not supported in your browser
VIEW IN TELEGRAM
Возможно по красоте это и уступает фильму "Пекло" (Sunshine), но зато перед нами реальные кадры, сделанные зондом Parker во время рекордного сближения с Солнцем в декабре 2024 года. Он приблизился к нему на расстояние всего в 6,2 миллиона км. Это почти в восемь раз ближе, чем минимально возможное расстояние между нашей звездой и Меркурием.
Кадры демонстрируют солнечную активность в виде наслаивающихся друг на друга корональных выбросов. Когда они достигают Земли, то вызывают геомагнитные бури и полярные сияния.
Кадры демонстрируют солнечную активность в виде наслаивающихся друг на друга корональных выбросов. Когда они достигают Земли, то вызывают геомагнитные бури и полярные сияния.
👍4👏1
Forwarded from Бездушные системы
Возвращение в строй инфографик. На этот раз про первые спутники связи.
Поддержите реакциями рубрику. 50 реакций — готовим новые инфографики.
Связаться, отправить новость, идею или предложение:
@bezdconnection_bot
Подписаться на Бездушные системы
Поддержите реакциями рубрику. 50 реакций — готовим новые инфографики.
Связаться, отправить новость, идею или предложение:
@bezdconnection_bot
Подписаться на Бездушные системы
👍4👏1
Forwarded from Denis Sexy IT 🤖
Нашел пейпер который ставит крест на старом сраче в стиле:
Нет не тратит, один «средний» запрос к ChatGPT (≈ 800 слов вопроса + 150–300 слов ответа) тратит 10-50 мл чистой пресной воды
Для типичных дата‑центров Microsoft в США это ≈ 17 мл, из которых ~2 мл тратится на охлаждение серверов, а ~15 мл – на производство электроэнергии
То есть бутылки воды 0,5 л хватает на 10-50 таких запросов
А обычный запрос в Google поиске потребляет ≈ 1,3 мл пресной воды (водо‑потребление = испарение + потери на электростанциях) и «забирает» из природного источника ≈ 15 мл
Бутылки 0,5 л хватает примерно на 370 запросов. Это в 10‑15 раз меньше, чем средний запрос к ChatGPT, но разница не такая большая как пишут в твиттерах
Одним аргументом у AI-хейтеров меньше
ОдИн ЗаПрОс ЧаТгипитИ ТрАтИт дисять Литрав вады!
Нет не тратит, один «средний» запрос к ChatGPT (≈ 800 слов вопроса + 150–300 слов ответа) тратит 10-50 мл чистой пресной воды
Для типичных дата‑центров Microsoft в США это ≈ 17 мл, из которых ~2 мл тратится на охлаждение серверов, а ~15 мл – на производство электроэнергии
То есть бутылки воды 0,5 л хватает на 10-50 таких запросов
А обычный запрос в Google поиске потребляет ≈ 1,3 мл пресной воды (водо‑потребление = испарение + потери на электростанциях) и «забирает» из природного источника ≈ 15 мл
Бутылки 0,5 л хватает примерно на 370 запросов. Это в 10‑15 раз меньше, чем средний запрос к ChatGPT, но разница не такая большая как пишут в твиттерах
Одним аргументом у AI-хейтеров меньше
🤔4👍1
Forwarded from Оператор С-500
🛰️ Boeing создаст для армии США два спутника стратегической связи за $2,8 млрд. Первый аппарат планируется вывести на орбиту в 2031 году.
😱4👍1
Forwarded from ЦБСТ
Министерство обороны США внедряет ИИ в повседневную работу
Американская компания Anthropic получила контракт от Минобороны США на сумму до 200 миллионов долларов. Деньги выделены на разработку и внедрение специальной версии искусственного интеллекта под названием Claude Gov. Эта система будет использоваться в работе Пентагона и других государственных ведомств.
Контракт оформлен через Совет оборонных инноваций (DIU) — структуру, которая отвечает за внедрение гражданских технологий в армию. Речь не о разовой покупке. Это долгосрочная программа: Claude адаптируют под нужды военных, проверят на безопасность, интегрируют в инфраструктуру.
Что такое Claude Gov и зачем он нужен
Речь не идёт об ИИ, который управляет оружием или дронами. Claude Gov — это, по сути, «умный помощник» для аналитиков, штабных офицеров, специалистов в области логистики и кибербезопасности. Он помогает быстрее обрабатывать информацию, давать рекомендации и снижать нагрузку на персонал.
В отличие от обычной версии Claude, модель Claude Gov создаётся с учётом требований госслужб: она должна работать в изолированной системе, не подключаться к интернету, быть устойчива к кибератакам и не допускать утечек данных. Плюс — все решения, которые предлагает ИИ, должны быть понятны и объяснимы для человека.
Применение Claude в ядерной сфере
Параллельно с военными проектами Claude уже начали использовать в Ливерморской национальной лаборатории. Это один из ключевых научных центров США, где занимаются вопросами ядерного сдерживания и энергетической безопасности. Сейчас там с моделью работает около 10 тысяч учёных.
Claude помогает им в моделировании физических процессов, анализе рисков, управлении энергосистемами и других задачах, где нужны сложные расчёты и большая точность. Это показывает, что ИИ уже встраивается не только в военные, но и в научные и энергетические структуры государства.
Почему это важно для рынка технологий
Контракт на 200 миллионов долларов — это сигнал остальным игрокам: теперь Минобороны США делает ставку не на «открытые» решения, а на специально доработанные системы под полный контроль государства.
Такой подход может вытеснить с рынка мелкие стартапы, у которых нет ресурсов для выполнения жёстких требований. Зато крупные игроки вроде Anthropic, OpenAI или Palantir, у которых за спиной стоят Microsoft, Amazon и Google, получают доступ к огромным бюджетам.
Вывод
Claude Gov — это элемент цифровой бюрократии нового типа. Его задача — помогать в принятии решений, обрабатывать документы, анализировать данные и снижать риски ошибок. США формируют инфраструктуру, где ИИ становится частью госуправления и обороны. Причём этот процесс только начинается — $200 миллионов в данном случае лишь первый шаг.
@ano_cbst
Американская компания Anthropic получила контракт от Минобороны США на сумму до 200 миллионов долларов. Деньги выделены на разработку и внедрение специальной версии искусственного интеллекта под названием Claude Gov. Эта система будет использоваться в работе Пентагона и других государственных ведомств.
Контракт оформлен через Совет оборонных инноваций (DIU) — структуру, которая отвечает за внедрение гражданских технологий в армию. Речь не о разовой покупке. Это долгосрочная программа: Claude адаптируют под нужды военных, проверят на безопасность, интегрируют в инфраструктуру.
Что такое Claude Gov и зачем он нужен
Речь не идёт об ИИ, который управляет оружием или дронами. Claude Gov — это, по сути, «умный помощник» для аналитиков, штабных офицеров, специалистов в области логистики и кибербезопасности. Он помогает быстрее обрабатывать информацию, давать рекомендации и снижать нагрузку на персонал.
В отличие от обычной версии Claude, модель Claude Gov создаётся с учётом требований госслужб: она должна работать в изолированной системе, не подключаться к интернету, быть устойчива к кибератакам и не допускать утечек данных. Плюс — все решения, которые предлагает ИИ, должны быть понятны и объяснимы для человека.
Применение Claude в ядерной сфере
Параллельно с военными проектами Claude уже начали использовать в Ливерморской национальной лаборатории. Это один из ключевых научных центров США, где занимаются вопросами ядерного сдерживания и энергетической безопасности. Сейчас там с моделью работает около 10 тысяч учёных.
Claude помогает им в моделировании физических процессов, анализе рисков, управлении энергосистемами и других задачах, где нужны сложные расчёты и большая точность. Это показывает, что ИИ уже встраивается не только в военные, но и в научные и энергетические структуры государства.
Почему это важно для рынка технологий
Контракт на 200 миллионов долларов — это сигнал остальным игрокам: теперь Минобороны США делает ставку не на «открытые» решения, а на специально доработанные системы под полный контроль государства.
Такой подход может вытеснить с рынка мелкие стартапы, у которых нет ресурсов для выполнения жёстких требований. Зато крупные игроки вроде Anthropic, OpenAI или Palantir, у которых за спиной стоят Microsoft, Amazon и Google, получают доступ к огромным бюджетам.
Вывод
Claude Gov — это элемент цифровой бюрократии нового типа. Его задача — помогать в принятии решений, обрабатывать документы, анализировать данные и снижать риски ошибок. США формируют инфраструктуру, где ИИ становится частью госуправления и обороны. Причём этот процесс только начинается — $200 миллионов в данном случае лишь первый шаг.
@ano_cbst
Anthropic
Anthropic awarded $200M DOD agreement for AI capabilities
The U.S. Department of Defense (DOD), through its Chief Digital and Artificial Intelligence Office (CDAO), has awarded Anthropic a two-year prototype other transaction agreement with a $200 million ceiling. As part of the agreement, Anthropic will prototype…
🤔4👍2
Forwarded from Роскосмос
Дмитрию Баканову представили первую в России поточную линию сборки космических аппаратов массой до 100 кг
Глава Роскосмоса посетил компанию «РЕШЕТНЁВ» (входит в Роскосмос).
Он осмотрел производственную площадку и центр компетенций, где испытывают и собирают полезную нагрузку для всех космических аппаратов компании. На предприятии создаются компоненты для спутников «Экспресс-АМУ4», «Экспресс-РВ», «Луч-5ВМ» и «Ямал-501».
Также Дмитрий Баканов ознакомился с новой поточной линией сборки космических аппаратов массой до 100 кг.
Линия оснащена роботизированными системами и технологиями контроля качества. Конвейерное производство позволяет снизить себестоимость серийных космических аппаратов и их комплектующих, а также оперативно формировать многоспутниковые орбитальные группировки.
После осмотра гендиректор Роскосмоса провёл рабочее совещание с руководством предприятия.
Глава Роскосмоса посетил компанию «РЕШЕТНЁВ» (входит в Роскосмос).
Он осмотрел производственную площадку и центр компетенций, где испытывают и собирают полезную нагрузку для всех космических аппаратов компании. На предприятии создаются компоненты для спутников «Экспресс-АМУ4», «Экспресс-РВ», «Луч-5ВМ» и «Ямал-501».
Также Дмитрий Баканов ознакомился с новой поточной линией сборки космических аппаратов массой до 100 кг.
Линия оснащена роботизированными системами и технологиями контроля качества. Конвейерное производство позволяет снизить себестоимость серийных космических аппаратов и их комплектующих, а также оперативно формировать многоспутниковые орбитальные группировки.
После осмотра гендиректор Роскосмоса провёл рабочее совещание с руководством предприятия.
1👍3
Forwarded from Sber AI
Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
Исходя из этого, выделяются четыре базовых навыка:
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
➡️ Видеогайд, как замерить модель
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал👈
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода🔘 Кодовая база, разработанная на основе LM Evaluation Harness
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
вход → внутреннее состояние → выход
Исходя из этого, выделяются четыре базовых навыка:
🔘 восприятие (отвечает за входные данные)🔘 логика и знания (внутренние характеристики модели)🔘 генерация (отвечает за выходные данные)
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Forwarded from ИИМПЕРИЯ
⚡ИИ-ГОНКА: НОВАЯ ЛУНА
Америка сбросила тормоза. Мир входит в горячую фазу войны за разум.
Империи не строят сомневающиеся. Их строят те, кто нажимает «Пуск».
ФАКТЫ:
23 июля 2025 годаДональд Трамп подписал серию указов, снимающих все тормоза с американского ИИ.
— Убраны экологические и экспортные ограничения
— Стерты этические рамки, установленные при Байдене
— Объявлен стратегический приоритет: "ИИ — это наша новая атомная бомба"
Пока Европа шепчет об угрозах, Америка строит цифровую луну.
ИИ — не просто технология. Это власть, скорость, рынок, контроль.
ИНСАЙД:
Илон Маск строит датацентр-монстра в Мемфисе — 200,000 GPU. Цель: миллионы чипов, чтобы накормить Grok, ИИ-модель xAI, «ищущую истину, а не политкорректность».
xAI уже слился с Twitter (теперь X), слился с медиа, скоро — со всем.
OpenAI не отстаёт. Проект Stargate вырос с $100 млрд до $500 млрд.
Первая локация в Техасе: 64,000 ускорителей GB200, мощность — 5 ГВт.
Цели — создать ИИ-инфраструктуру уровня Манхэттенского проекта.
ДЕЙСТВИЕ:
⚠️ Ставки выше, чем во время космической гонки.
Это не про Луну. Это про контроль над человечеством.
Кто первый — тот пишет алгоритмы.
Кто опоздал — станет клиентом.
США ускоряются. Китай догоняет. Европа застряла в бумажках.
💥 Вывод:
ИИ-гонка стала ядерной. Маск vs Альтман. США vs весь остальной мир.
Рынок жмёт «вход» на триллионы, но это вход в неизвестность.
Экология, этика, монополии — всё подождёт.
Победа достанется тому, кто рискнёт первым.
👑 Репостни, если понимаешь, что ИИ — это уже не код, а оружие.
Ты знаешь, кто выигрывает войны.
Америка сбросила тормоза. Мир входит в горячую фазу войны за разум.
Империи не строят сомневающиеся. Их строят те, кто нажимает «Пуск».
ФАКТЫ:
23 июля 2025 года
— Убраны экологические и экспортные ограничения
— Стерты этические рамки, установленные при Байдене
— Объявлен стратегический приоритет: "ИИ — это наша новая атомная бомба"
Пока Европа шепчет об угрозах, Америка строит цифровую луну.
ИИ — не просто технология. Это власть, скорость, рынок, контроль.
ИНСАЙД:
Илон Маск строит датацентр-монстра в Мемфисе — 200,000 GPU. Цель: миллионы чипов, чтобы накормить Grok, ИИ-модель xAI, «ищущую истину, а не политкорректность».
xAI уже слился с Twitter (теперь X), слился с медиа, скоро — со всем.
OpenAI не отстаёт. Проект Stargate вырос с $100 млрд до $500 млрд.
Первая локация в Техасе: 64,000 ускорителей GB200, мощность — 5 ГВт.
Цели — создать ИИ-инфраструктуру уровня Манхэттенского проекта.
ДЕЙСТВИЕ:
⚠️ Ставки выше, чем во время космической гонки.
Это не про Луну. Это про контроль над человечеством.
Кто первый — тот пишет алгоритмы.
Кто опоздал — станет клиентом.
США ускоряются. Китай догоняет. Европа застряла в бумажках.
💥 Вывод:
ИИ-гонка стала ядерной. Маск vs Альтман. США vs весь остальной мир.
Рынок жмёт «вход» на триллионы, но это вход в неизвестность.
Экология, этика, монополии — всё подождёт.
Победа достанется тому, кто рискнёт первым.
👑 Репостни, если понимаешь, что ИИ — это уже не код, а оружие.
Ты знаешь, кто выигрывает войны.
🤔3👍2
Forwarded from Ассоциация SMM-специалистов АСМИР
Тема:
«3 пути России: Космос, AI & IT — кто выйдет на новую орбиту?»
У России есть три вектора движения:
1️⃣ Космос — масштаб, технологии и новая геополитика
2️⃣ AI — интеллект систем, управление, безопасность
3️⃣ IT — экосистемы, продукты и цифровой суверенитет
📅 5 августа / Город влияния
🎫 Регистрация на мероприятие по ссылке, бронируйте места заранее!
#АСМИР
#РКС #космос #AI #space #ИскуственныйИнтеллект #IT #стартапы #маркетинг #информация #влияние
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍4👏4
Forwarded from Космонавт Александр Мисуркин
Сегодня — запуск корабля Crew Dragon с международным экипажем:
▪ Зена Кардман — командир-дебютант
▪ Майкл Финк — опытный астронавт NASA
▪ Олег Платонов — космонавт Роскосмоса в рамках
перекрёстных полетов
▪ Кимия Юи — астронавт JAXA, чьё имя означает «морская черепаха» 🐢
Время старта: 31 июля, 19:09 мск
Стыковка: 2 августа, 10:00 мск
Экипаж проведёт на орбите полгода и будет выполнять научную программу, следить за состоянием станции и участвовать в разгрузке грузовиков. Они сменят часть экипажа 73-й экспедиции — Энн МакКлейн, Николь Айерс, Такуя Ониси и Кирилла Пескова, которые вернутся на Землю в начале августа.
Кстати, на этот запуск прилетел глава Роскосмоса Дмитрий Баканов. Вчера он пообщался с экипажем Crew-11, а сегодня встретится с руководством NASA. Это первая очная встреча глав космических агентств России и США практически за семь лет (предыдущая состоялась в октябре 2018 года).
Пожелаем экипажу успешного старта и реализации всех намеченных планов 🤝
▪ Зена Кардман — командир-дебютант
▪ Майкл Финк — опытный астронавт NASA
▪ Олег Платонов — космонавт Роскосмоса в рамках
перекрёстных полетов
▪ Кимия Юи — астронавт JAXA, чьё имя означает «морская черепаха» 🐢
Время старта: 31 июля, 19:09 мск
Стыковка: 2 августа, 10:00 мск
Экипаж проведёт на орбите полгода и будет выполнять научную программу, следить за состоянием станции и участвовать в разгрузке грузовиков. Они сменят часть экипажа 73-й экспедиции — Энн МакКлейн, Николь Айерс, Такуя Ониси и Кирилла Пескова, которые вернутся на Землю в начале августа.
Кстати, на этот запуск прилетел глава Роскосмоса Дмитрий Баканов. Вчера он пообщался с экипажем Crew-11, а сегодня встретится с руководством NASA. Это первая очная встреча глав космических агентств России и США практически за семь лет (предыдущая состоялась в октябре 2018 года).
Пожелаем экипажу успешного старта и реализации всех намеченных планов 🤝
👍3👏1