Forwarded from Заметки инженера - исследователя
Командующий Космическим командованием США генерал Стивен Уайтинг посетил Австралию - в рамках усилий двух стран по наращиванию военного сотрудничества. В Австралии он провел множество встреч с официальными лицами и посетил большое количество "космических" объектов. В том числе - город Аделиада, "центр зарождающейся космической индустрии Австралии". Издание Breaking Defense взяло интервью у Уайтинга во время визита в этот город.
В интервью мне показались наиболее интересными следующие моменты.
1. "Золотым куполом" занимается Северное командование США.
Космические силы США - фактически выступают в роли подрядчика для Северного командования.
Может быть это и не новость. Но я впервые вижу, чтобы об этом говорили так чётко (может быть, потому что раньше не обращал внимание).
Почему это важно.
Северное командование появилось после терактов 9/11. Да, какой-нибудь CENTCOM имеет в своём распоряжении качественно большие материальные ресурсы. А, например, AFRICOM, фактически, ведет самостоятельную внешнюю политику на гигантском континенте.
Но зато Северное командование в некоторых случаях может дублировать функции гражданской администрации на территории США, и, потенциально, при некоторых условиях, может её заменить.
При этом создали Северное командование записные неоконы Чейни и Рамсфелд (интересный обзор этой истории). И вряд ли эта группа потеряла над ним контроль.
В общем, Северное командование - это что-то вроде пресловутого квартермастера Джона Сильвера, которого боялся сам капитан пиратского корабля Флинт.
Трамп начал своё второе президентство с попытки присоединения Гренландии. Гренландию он не присоединил (пока что?). Но вот в военно-административном плане - передал её от Европейского командования Северному.
"Золотой купол" собирается строить "силиконовая долина".
"Силиконовая долина" имеет странные связи с крайним ирано-израильским конфликтом.
В общем, достаточно масштабный пазл складывается. И не последнюю роль в нём играет "Золотой купол".
2. Низкоорбитальные группировки связи.
"Раньше спутниковая связь всегда обеспечивалась с геостационарной орбиты, но теперь у нас есть эти большие, разветвлённые группировки спутников на низкой околоземной орбите, которые действительно могут обеспечить широкополосный интернет в любой точке планеты, и это революционная возможность. И мы хотим убедиться, что наши вооружённые силы могут использовать все эти возможности. Мы называем это гибридной архитектурой, потому что она действительно минимизирует влияние какого-либо конкретного средства радиоэлектронной борьбы, например".
В целом, уже состоялась военная революция, связанная с внедрением низкоорбитального широкополосного интернета. Уайтинг говорит, что необходимо как можно быстрее массово развернуть эти возможности в интересах американских военных.
3. Оценка китайского военного космоса.
Уайтинг выделил три наиболее важных успеха Китая в сфере военного космоса.
"Первый - Китай создал космическую систему наведения, которая позволяет находить, фиксировать, отслеживать и наводить средства поражения на силы США и наших союзников в Индо-Тихоокеанском регионе. Они используют эту систему для стрельбы по целям за горизонтом.
Второе направление, где Китай действует с головокружительной скоростью, — это создание комплекса противокосмического оружия. Сюда входит всё: от обратимых кибератак, помех спутниковой связи и GPS до высокоэнергетических лазеров, а также противоспутниковых ракет и противоспутниковых спутников.
И в-третьих, они невероятно быстро освоили все преимущества космоса, чтобы сделать свою армию, Народно-освободительную армию, Народно-освободительный флот и Народно-освободительные военно-воздушные силы более смертоносными, более точными и более дальними, используя космические технологии".
#BreakingDefense
В интервью мне показались наиболее интересными следующие моменты.
1. "Золотым куполом" занимается Северное командование США.
Космические силы США - фактически выступают в роли подрядчика для Северного командования.
Может быть это и не новость. Но я впервые вижу, чтобы об этом говорили так чётко (может быть, потому что раньше не обращал внимание).
Почему это важно.
Северное командование появилось после терактов 9/11. Да, какой-нибудь CENTCOM имеет в своём распоряжении качественно большие материальные ресурсы. А, например, AFRICOM, фактически, ведет самостоятельную внешнюю политику на гигантском континенте.
Но зато Северное командование в некоторых случаях может дублировать функции гражданской администрации на территории США, и, потенциально, при некоторых условиях, может её заменить.
При этом создали Северное командование записные неоконы Чейни и Рамсфелд (интересный обзор этой истории). И вряд ли эта группа потеряла над ним контроль.
В общем, Северное командование - это что-то вроде пресловутого квартермастера Джона Сильвера, которого боялся сам капитан пиратского корабля Флинт.
Трамп начал своё второе президентство с попытки присоединения Гренландии. Гренландию он не присоединил (пока что?). Но вот в военно-административном плане - передал её от Европейского командования Северному.
"Золотой купол" собирается строить "силиконовая долина".
"Силиконовая долина" имеет странные связи с крайним ирано-израильским конфликтом.
В общем, достаточно масштабный пазл складывается. И не последнюю роль в нём играет "Золотой купол".
2. Низкоорбитальные группировки связи.
"Раньше спутниковая связь всегда обеспечивалась с геостационарной орбиты, но теперь у нас есть эти большие, разветвлённые группировки спутников на низкой околоземной орбите, которые действительно могут обеспечить широкополосный интернет в любой точке планеты, и это революционная возможность. И мы хотим убедиться, что наши вооружённые силы могут использовать все эти возможности. Мы называем это гибридной архитектурой, потому что она действительно минимизирует влияние какого-либо конкретного средства радиоэлектронной борьбы, например".
В целом, уже состоялась военная революция, связанная с внедрением низкоорбитального широкополосного интернета. Уайтинг говорит, что необходимо как можно быстрее массово развернуть эти возможности в интересах американских военных.
3. Оценка китайского военного космоса.
Уайтинг выделил три наиболее важных успеха Китая в сфере военного космоса.
"Первый - Китай создал космическую систему наведения, которая позволяет находить, фиксировать, отслеживать и наводить средства поражения на силы США и наших союзников в Индо-Тихоокеанском регионе. Они используют эту систему для стрельбы по целям за горизонтом.
Второе направление, где Китай действует с головокружительной скоростью, — это создание комплекса противокосмического оружия. Сюда входит всё: от обратимых кибератак, помех спутниковой связи и GPS до высокоэнергетических лазеров, а также противоспутниковых ракет и противоспутниковых спутников.
И в-третьих, они невероятно быстро освоили все преимущества космоса, чтобы сделать свою армию, Народно-освободительную армию, Народно-освободительный флот и Народно-освободительные военно-воздушные силы более смертоносными, более точными и более дальними, используя космические технологии".
#BreakingDefense
🤔4👍1
Фрейд, родившийся в Берлине в 1922 году, был внуком Зигмунда Фрейда — психоаналитика, изменившего наше понимание человеческого разума. Его художественный метод строился на глубоком наблюдении, превращая портреты в своего рода диалог между художником и моделью. Его работы одновременно строгие и нежные, беспристрастные и глубоко интимные. Британский критик Мартин Гейфорд писал, что в XX веке Фрейд "возродил фигуративную традицию", которая к тому времени почти полностью утратила популярность.
Однажды художник сказал в интервью: "Можно узнать о человеке, а возможно, и о себе, если просто смотреть на него очень внимательно, не осуждая". Этот принцип наблюдения — внимательного взгляда на окружающее, отказа от поспешных суждений — лежит в основе инженерного мышления. Сегодня, восстанавливая технологическую республику, перед нами стоит задача направить этот инженерный инстинкт — этот поистине безжалостный прагматизм — на достижение общих целей нации. Однако для этого мы должны осмелиться спросить себя: кто мы есть и кем стремимся стать?
Александр С. Карп, Николас В. Замиска Технологическая республика
Однажды художник сказал в интервью: "Можно узнать о человеке, а возможно, и о себе, если просто смотреть на него очень внимательно, не осуждая". Этот принцип наблюдения — внимательного взгляда на окружающее, отказа от поспешных суждений — лежит в основе инженерного мышления. Сегодня, восстанавливая технологическую республику, перед нами стоит задача направить этот инженерный инстинкт — этот поистине безжалостный прагматизм — на достижение общих целей нации. Однако для этого мы должны осмелиться спросить себя: кто мы есть и кем стремимся стать?
Александр С. Карп, Николас В. Замиска Технологическая республика
2🔥4👍1
Forwarded from Мультивселенная
В конце июля в космос отправятся два спутника «Ионосфера-М» № 3 и № 4.
Про цели и задачи новых космических аппаратов можно узнать из видео
https://t.iss.one/roscosmos_gk/17805
Про цели и задачи новых космических аппаратов можно узнать из видео
https://t.iss.one/roscosmos_gk/17805
👍5👏1
Forwarded from Data Secrets
How much do language models memorize? Новое исследование от Meta FAIR, Google DeepMind и NVIDIA
Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?
Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.
Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.
➖ Авторы опираются на понятия из теории информации Колмогорова и Шеннона, и четко разделяют запоминание и обобщение. Если модель воспроизвела что-либо – не значит, что она это запомнила, а не обобщила. В обратную сторону – то же самое.
➖ Количество информации, которое модель именно запомнила, считают так. Берут две модели одинаковой архитектуры и размера: одна – референсная – обучена на огромном количестве данных, вторая – испытуемая – на ограниченном датасете.
Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.
Вот так и получилось число 3.6 бит/параметр.
Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.
Красота, как она есть arxiv.org/abs/2505.24832
Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?
Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.
Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.
Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.
Вот так и получилось число 3.6 бит/параметр.
Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.
Красота, как она есть arxiv.org/abs/2505.24832
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4👏1
Forwarded from Rings & Moons
This media is not supported in your browser
VIEW IN TELEGRAM
Возможно по красоте это и уступает фильму "Пекло" (Sunshine), но зато перед нами реальные кадры, сделанные зондом Parker во время рекордного сближения с Солнцем в декабре 2024 года. Он приблизился к нему на расстояние всего в 6,2 миллиона км. Это почти в восемь раз ближе, чем минимально возможное расстояние между нашей звездой и Меркурием.
Кадры демонстрируют солнечную активность в виде наслаивающихся друг на друга корональных выбросов. Когда они достигают Земли, то вызывают геомагнитные бури и полярные сияния.
Кадры демонстрируют солнечную активность в виде наслаивающихся друг на друга корональных выбросов. Когда они достигают Земли, то вызывают геомагнитные бури и полярные сияния.
👍4👏1
Forwarded from Бездушные системы
Возвращение в строй инфографик. На этот раз про первые спутники связи.
Поддержите реакциями рубрику. 50 реакций — готовим новые инфографики.
Связаться, отправить новость, идею или предложение:
@bezdconnection_bot
Подписаться на Бездушные системы
Поддержите реакциями рубрику. 50 реакций — готовим новые инфографики.
Связаться, отправить новость, идею или предложение:
@bezdconnection_bot
Подписаться на Бездушные системы
👍4👏1
Forwarded from Denis Sexy IT 🤖
Нашел пейпер который ставит крест на старом сраче в стиле:
Нет не тратит, один «средний» запрос к ChatGPT (≈ 800 слов вопроса + 150–300 слов ответа) тратит 10-50 мл чистой пресной воды
Для типичных дата‑центров Microsoft в США это ≈ 17 мл, из которых ~2 мл тратится на охлаждение серверов, а ~15 мл – на производство электроэнергии
То есть бутылки воды 0,5 л хватает на 10-50 таких запросов
А обычный запрос в Google поиске потребляет ≈ 1,3 мл пресной воды (водо‑потребление = испарение + потери на электростанциях) и «забирает» из природного источника ≈ 15 мл
Бутылки 0,5 л хватает примерно на 370 запросов. Это в 10‑15 раз меньше, чем средний запрос к ChatGPT, но разница не такая большая как пишут в твиттерах
Одним аргументом у AI-хейтеров меньше
ОдИн ЗаПрОс ЧаТгипитИ ТрАтИт дисять Литрав вады!
Нет не тратит, один «средний» запрос к ChatGPT (≈ 800 слов вопроса + 150–300 слов ответа) тратит 10-50 мл чистой пресной воды
Для типичных дата‑центров Microsoft в США это ≈ 17 мл, из которых ~2 мл тратится на охлаждение серверов, а ~15 мл – на производство электроэнергии
То есть бутылки воды 0,5 л хватает на 10-50 таких запросов
А обычный запрос в Google поиске потребляет ≈ 1,3 мл пресной воды (водо‑потребление = испарение + потери на электростанциях) и «забирает» из природного источника ≈ 15 мл
Бутылки 0,5 л хватает примерно на 370 запросов. Это в 10‑15 раз меньше, чем средний запрос к ChatGPT, но разница не такая большая как пишут в твиттерах
Одним аргументом у AI-хейтеров меньше
🤔4👍1
Forwarded from Оператор С-500
🛰️ Boeing создаст для армии США два спутника стратегической связи за $2,8 млрд. Первый аппарат планируется вывести на орбиту в 2031 году.
😱4👍1
Forwarded from ЦБСТ
Министерство обороны США внедряет ИИ в повседневную работу
Американская компания Anthropic получила контракт от Минобороны США на сумму до 200 миллионов долларов. Деньги выделены на разработку и внедрение специальной версии искусственного интеллекта под названием Claude Gov. Эта система будет использоваться в работе Пентагона и других государственных ведомств.
Контракт оформлен через Совет оборонных инноваций (DIU) — структуру, которая отвечает за внедрение гражданских технологий в армию. Речь не о разовой покупке. Это долгосрочная программа: Claude адаптируют под нужды военных, проверят на безопасность, интегрируют в инфраструктуру.
Что такое Claude Gov и зачем он нужен
Речь не идёт об ИИ, который управляет оружием или дронами. Claude Gov — это, по сути, «умный помощник» для аналитиков, штабных офицеров, специалистов в области логистики и кибербезопасности. Он помогает быстрее обрабатывать информацию, давать рекомендации и снижать нагрузку на персонал.
В отличие от обычной версии Claude, модель Claude Gov создаётся с учётом требований госслужб: она должна работать в изолированной системе, не подключаться к интернету, быть устойчива к кибератакам и не допускать утечек данных. Плюс — все решения, которые предлагает ИИ, должны быть понятны и объяснимы для человека.
Применение Claude в ядерной сфере
Параллельно с военными проектами Claude уже начали использовать в Ливерморской национальной лаборатории. Это один из ключевых научных центров США, где занимаются вопросами ядерного сдерживания и энергетической безопасности. Сейчас там с моделью работает около 10 тысяч учёных.
Claude помогает им в моделировании физических процессов, анализе рисков, управлении энергосистемами и других задачах, где нужны сложные расчёты и большая точность. Это показывает, что ИИ уже встраивается не только в военные, но и в научные и энергетические структуры государства.
Почему это важно для рынка технологий
Контракт на 200 миллионов долларов — это сигнал остальным игрокам: теперь Минобороны США делает ставку не на «открытые» решения, а на специально доработанные системы под полный контроль государства.
Такой подход может вытеснить с рынка мелкие стартапы, у которых нет ресурсов для выполнения жёстких требований. Зато крупные игроки вроде Anthropic, OpenAI или Palantir, у которых за спиной стоят Microsoft, Amazon и Google, получают доступ к огромным бюджетам.
Вывод
Claude Gov — это элемент цифровой бюрократии нового типа. Его задача — помогать в принятии решений, обрабатывать документы, анализировать данные и снижать риски ошибок. США формируют инфраструктуру, где ИИ становится частью госуправления и обороны. Причём этот процесс только начинается — $200 миллионов в данном случае лишь первый шаг.
@ano_cbst
Американская компания Anthropic получила контракт от Минобороны США на сумму до 200 миллионов долларов. Деньги выделены на разработку и внедрение специальной версии искусственного интеллекта под названием Claude Gov. Эта система будет использоваться в работе Пентагона и других государственных ведомств.
Контракт оформлен через Совет оборонных инноваций (DIU) — структуру, которая отвечает за внедрение гражданских технологий в армию. Речь не о разовой покупке. Это долгосрочная программа: Claude адаптируют под нужды военных, проверят на безопасность, интегрируют в инфраструктуру.
Что такое Claude Gov и зачем он нужен
Речь не идёт об ИИ, который управляет оружием или дронами. Claude Gov — это, по сути, «умный помощник» для аналитиков, штабных офицеров, специалистов в области логистики и кибербезопасности. Он помогает быстрее обрабатывать информацию, давать рекомендации и снижать нагрузку на персонал.
В отличие от обычной версии Claude, модель Claude Gov создаётся с учётом требований госслужб: она должна работать в изолированной системе, не подключаться к интернету, быть устойчива к кибератакам и не допускать утечек данных. Плюс — все решения, которые предлагает ИИ, должны быть понятны и объяснимы для человека.
Применение Claude в ядерной сфере
Параллельно с военными проектами Claude уже начали использовать в Ливерморской национальной лаборатории. Это один из ключевых научных центров США, где занимаются вопросами ядерного сдерживания и энергетической безопасности. Сейчас там с моделью работает около 10 тысяч учёных.
Claude помогает им в моделировании физических процессов, анализе рисков, управлении энергосистемами и других задачах, где нужны сложные расчёты и большая точность. Это показывает, что ИИ уже встраивается не только в военные, но и в научные и энергетические структуры государства.
Почему это важно для рынка технологий
Контракт на 200 миллионов долларов — это сигнал остальным игрокам: теперь Минобороны США делает ставку не на «открытые» решения, а на специально доработанные системы под полный контроль государства.
Такой подход может вытеснить с рынка мелкие стартапы, у которых нет ресурсов для выполнения жёстких требований. Зато крупные игроки вроде Anthropic, OpenAI или Palantir, у которых за спиной стоят Microsoft, Amazon и Google, получают доступ к огромным бюджетам.
Вывод
Claude Gov — это элемент цифровой бюрократии нового типа. Его задача — помогать в принятии решений, обрабатывать документы, анализировать данные и снижать риски ошибок. США формируют инфраструктуру, где ИИ становится частью госуправления и обороны. Причём этот процесс только начинается — $200 миллионов в данном случае лишь первый шаг.
@ano_cbst
Anthropic
Anthropic awarded $200M DOD agreement for AI capabilities
The U.S. Department of Defense (DOD), through its Chief Digital and Artificial Intelligence Office (CDAO), has awarded Anthropic a two-year prototype other transaction agreement with a $200 million ceiling. As part of the agreement, Anthropic will prototype…
🤔4👍2
Forwarded from Госкорпорация «Роскосмос»
Дмитрию Баканову представили первую в России поточную линию сборки космических аппаратов массой до 100 кг
Глава Роскосмоса посетил компанию «РЕШЕТНЁВ» (входит в Роскосмос).
Он осмотрел производственную площадку и центр компетенций, где испытывают и собирают полезную нагрузку для всех космических аппаратов компании. На предприятии создаются компоненты для спутников «Экспресс-АМУ4», «Экспресс-РВ», «Луч-5ВМ» и «Ямал-501».
Также Дмитрий Баканов ознакомился с новой поточной линией сборки космических аппаратов массой до 100 кг.
Линия оснащена роботизированными системами и технологиями контроля качества. Конвейерное производство позволяет снизить себестоимость серийных космических аппаратов и их комплектующих, а также оперативно формировать многоспутниковые орбитальные группировки.
После осмотра гендиректор Роскосмоса провёл рабочее совещание с руководством предприятия.
Глава Роскосмоса посетил компанию «РЕШЕТНЁВ» (входит в Роскосмос).
Он осмотрел производственную площадку и центр компетенций, где испытывают и собирают полезную нагрузку для всех космических аппаратов компании. На предприятии создаются компоненты для спутников «Экспресс-АМУ4», «Экспресс-РВ», «Луч-5ВМ» и «Ямал-501».
Также Дмитрий Баканов ознакомился с новой поточной линией сборки космических аппаратов массой до 100 кг.
Линия оснащена роботизированными системами и технологиями контроля качества. Конвейерное производство позволяет снизить себестоимость серийных космических аппаратов и их комплектующих, а также оперативно формировать многоспутниковые орбитальные группировки.
После осмотра гендиректор Роскосмоса провёл рабочее совещание с руководством предприятия.
1👍3
Forwarded from Sber AI
Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
Исходя из этого, выделяются четыре базовых навыка:
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
➡️ Видеогайд, как замерить модель
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал👈
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода🔘 Кодовая база, разработанная на основе LM Evaluation Harness
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
вход → внутреннее состояние → выход
Исходя из этого, выделяются четыре базовых навыка:
🔘 восприятие (отвечает за входные данные)🔘 логика и знания (внутренние характеристики модели)🔘 генерация (отвечает за выходные данные)
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3