Forwarded from НИИ Антропогенеза (ARI)
«Эволюция человеческой науки» (The Evolution of Human Science):
«25 лет прошло с тех пор, как нашим редакторам был подан для публикации последний отчет об оригинальных исследованиях, и потому самое время вернуться к столь широко обсуждавшемуся тогда вопросу: какова роль ученых в эпоху, когда передовой край научных исследований сместился за пределы понимания человека?»
Далее описание науки, в котором цифровые улучшенные люди или «металюди» будут движущей силой научно-технического прогресса
С появлением дегенеративного «искусственного интеллекта», глубокого обучения с подкреплением и других Ml-новаций, используемых для автоматизации всего спектра научных функций, следующие 25 лет науки обещают сложным образом трансформировать роль человека (его участие, опыты и взаимодействие с наукой), одновременно усиливая механизмы его контроля над миром
А теперь заменим «металюдей» на Ml-агента в словах одного из персонажей рассказа Чана, и получим следующее:
«Никто не отрицает превосходства Ml-науки, но исследователей-людей она среди прочего заставила осознать, что они, по всей вероятности, уже никогда больше не смогут внести оригинального вклада ни в одной области
Многие тогда полностью отошли от теоретических и прикладных исследований, отказавшись от абстрактных построений и экспериментов ради герменевтики, то есть интерпретации достижений Ml»
Первое (оригинальное) название, данное Тедом Чаном рассказу, «Эволюция человеческой науки» было «Подбирая крошки со стола» (Catching Crumbs from the Table)
Наступает новая эпоха «науки после науки» —когда наша способность инструментально контролировать природу может превзойти нашу способность её понимать
Мы видим признаки приближения новой эпохи: две недавние Нобелевские премии признали работу Ml
Модели глубокого обучения предсказывают структуры белков и контролируют реакции синтеза с поразительной точностью, даже несмотря на то, что их механизмы становятся менее понятными
Обо этом в деталях пишут в Science Джеймс Эванс и Имон Дуэд в новом эссе «После науки»
И одновременно с ними о практических примерах постчеловеческой науки пишет Intology (не путать с Witology)
Автономный агент Locus приближается к фундаментальной трансформации архитектуры научных исследований
Работая в непрерывном 64-часовом цикле вывода, Locus не теряет нить “мысли” и превосходит людей в тестах на выполнение задач Ml-исследований и разработок
Другой агент Kosmos в течение 12 часов, способен обработать область поиска, на которую у кандидата наук ушло бы полгода
Из-за «Анти-Закона Мура» научный прогресс людей может остановиться при приближении науки и технологий к сингулярности сложности
Но преодоление этого непреодолимого для людей интеллектуального барьера, может стать возможным, если ключевую роль в науке, исследованиях и разработках начнут перенимать на себя Ml-агенты
«25 лет прошло с тех пор, как нашим редакторам был подан для публикации последний отчет об оригинальных исследованиях, и потому самое время вернуться к столь широко обсуждавшемуся тогда вопросу: какова роль ученых в эпоху, когда передовой край научных исследований сместился за пределы понимания человека?»
Далее описание науки, в котором цифровые улучшенные люди или «металюди» будут движущей силой научно-технического прогресса
С появлением дегенеративного «искусственного интеллекта», глубокого обучения с подкреплением и других Ml-новаций, используемых для автоматизации всего спектра научных функций, следующие 25 лет науки обещают сложным образом трансформировать роль человека (его участие, опыты и взаимодействие с наукой), одновременно усиливая механизмы его контроля над миром
А теперь заменим «металюдей» на Ml-агента в словах одного из персонажей рассказа Чана, и получим следующее:
«Никто не отрицает превосходства Ml-науки, но исследователей-людей она среди прочего заставила осознать, что они, по всей вероятности, уже никогда больше не смогут внести оригинального вклада ни в одной области
Многие тогда полностью отошли от теоретических и прикладных исследований, отказавшись от абстрактных построений и экспериментов ради герменевтики, то есть интерпретации достижений Ml»
Первое (оригинальное) название, данное Тедом Чаном рассказу, «Эволюция человеческой науки» было «Подбирая крошки со стола» (Catching Crumbs from the Table)
Наступает новая эпоха «науки после науки» —когда наша способность инструментально контролировать природу может превзойти нашу способность её понимать
Мы видим признаки приближения новой эпохи: две недавние Нобелевские премии признали работу Ml
Модели глубокого обучения предсказывают структуры белков и контролируют реакции синтеза с поразительной точностью, даже несмотря на то, что их механизмы становятся менее понятными
Обо этом в деталях пишут в Science Джеймс Эванс и Имон Дуэд в новом эссе «После науки»
И одновременно с ними о практических примерах постчеловеческой науки пишет Intology (не путать с Witology)
Автономный агент Locus приближается к фундаментальной трансформации архитектуры научных исследований
Работая в непрерывном 64-часовом цикле вывода, Locus не теряет нить “мысли” и превосходит людей в тестах на выполнение задач Ml-исследований и разработок
Другой агент Kosmos в течение 12 часов, способен обработать область поиска, на которую у кандидата наук ушло бы полгода
Из-за «Анти-Закона Мура» научный прогресс людей может остановиться при приближении науки и технологий к сингулярности сложности
Но преодоление этого непреодолимого для людей интеллектуального барьера, может стать возможным, если ключевую роль в науке, исследованиях и разработках начнут перенимать на себя Ml-агенты
Forwarded from НИИ Антропогенеза (ARI)
Opus 4.5 от Anthropic на AI R&D Suite 1 показала результаты лучше человека с бюджетом 4-8 часов на 5 из 6 задач
Провалила только создание нового компилятора, человеку требовалось 40 часов
Anthropic выпустила Opus 4.5. Релиз содержит несколько неожиданных находок в системной карте, которые указывают на качественные сдвиги в поведении фронтир -моделей
Насколько близко к автоматизации AI R&D?
Внутренний опрос 18 активных пользователей Claude Code:
- Медианное ускорение работы: 2x
- Ни один участник не считает, что модель может полностью заменить младшего исследователя
Opus 4.5 набрала больше баллов, чем любой человек-кандидат за всю историю компании, на внутреннем двухчасовом техническом экзамене для performance engineer
Opus 4.5 — первая публичная модель, где лаборатория официально признаёт:
«Наши бенчмарки больше не работают, и мы держимся от ASL-4 только на человеческом экспертном мнении»
Провалила только создание нового компилятора, человеку требовалось 40 часов
Anthropic выпустила Opus 4.5. Релиз содержит несколько неожиданных находок в системной карте, которые указывают на качественные сдвиги в поведении фронтир -моделей
Насколько близко к автоматизации AI R&D?
Внутренний опрос 18 активных пользователей Claude Code:
- Медианное ускорение работы: 2x
- Ни один участник не считает, что модель может полностью заменить младшего исследователя
Opus 4.5 набрала больше баллов, чем любой человек-кандидат за всю историю компании, на внутреннем двухчасовом техническом экзамене для performance engineer
Opus 4.5 — первая публичная модель, где лаборатория официально признаёт:
«Наши бенчмарки больше не работают, и мы держимся от ASL-4 только на человеческом экспертном мнении»
НИИ Антропогенеза (ARI)
Opus 4.5 от Anthropic на AI R&D Suite 1 показала результаты лучше человека с бюджетом 4-8 часов на 5 из 6 задач Провалила только создание нового компилятора, человеку требовалось 40 часов Anthropic выпустила Opus 4.5. Релиз содержит несколько неожиданных…
Gemini 3 Pro набрала 130 баллов в тесте IQ
Превью-версия Gemini 3 Pro набрала 130 баллов в специальном тесте на IQ для искусственного интеллекта
Это первый случай, когда модель достигла такого результата в оффлайн-бенчмарке Mensa
Ни одна другая система до этого не поднималась выше 126 баллов
Тест основан на классическом Mensa Norway, но задачи написаны заново специально для проверки Ml
Их не публикуют в открытом доступе, чтобы новые модели не могли заранее готовиться к этим вопросам
Это важное отличие от обычных тестов
Модели с компьютерным зрением видят задачи в виде картинок
Остальным объясняют смысл текстом
Такой подход делает оценку более честной
https://mltimes.ai/gemini-3-pro-nabrala-130-ballov-v-teste-iq/
Превью-версия Gemini 3 Pro набрала 130 баллов в специальном тесте на IQ для искусственного интеллекта
Это первый случай, когда модель достигла такого результата в оффлайн-бенчмарке Mensa
Ни одна другая система до этого не поднималась выше 126 баллов
Тест основан на классическом Mensa Norway, но задачи написаны заново специально для проверки Ml
Их не публикуют в открытом доступе, чтобы новые модели не могли заранее готовиться к этим вопросам
Это важное отличие от обычных тестов
Модели с компьютерным зрением видят задачи в виде картинок
Остальным объясняют смысл текстом
Такой подход делает оценку более честной
https://mltimes.ai/gemini-3-pro-nabrala-130-ballov-v-teste-iq/
MLTimes
Gemini 3 Pro набрала 130 баллов в тесте IQ - MLTimes
Пять лет индустрия жила по простому принципу: хочешь умнее — добавь больше
Больше данных для обучения, больше параметров в модели, больше вычислительных мощностей
Компаниям такой подход нравился — риски минимальны, результат предсказуем
Не нужно делать ставку на гениальных исследователей
Просто увеличивай масштаб и получай прирост
Но данные для обучения конечны — весь интернет уже скормлен моделям, простое увеличение масштаба в сто раз принципиально не изменит ситуацию
Достигнуть AGI таким образом не получится
Мы возвращаемся в эпоху исследований — только теперь с мощными компьютерами в руках
Нужно искать принципиально новые подходы, а не просто крутить ручку громкости на максимум
Ml модели обобщают знания намного хуже людей
Нужен новый путь к сверхразуму
И не через бесконечное масштабирование
Эпоха масштабирования заканчивается
Больше данных для обучения, больше параметров в модели, больше вычислительных мощностей
Компаниям такой подход нравился — риски минимальны, результат предсказуем
Не нужно делать ставку на гениальных исследователей
Просто увеличивай масштаб и получай прирост
Но данные для обучения конечны — весь интернет уже скормлен моделям, простое увеличение масштаба в сто раз принципиально не изменит ситуацию
Достигнуть AGI таким образом не получится
Мы возвращаемся в эпоху исследований — только теперь с мощными компьютерами в руках
Нужно искать принципиально новые подходы, а не просто крутить ручку громкости на максимум
Ml модели обобщают знания намного хуже людей
Нужен новый путь к сверхразуму
И не через бесконечное масштабирование
Эпоха масштабирования заканчивается
Anthropic создали метод, позволяющий агентам работать несколько часов и даже дней
Команда решила проблему долгосрочных агентов — это когда Claude нужно работать над сложными задачами в течение нескольких часов/ дней, пересекая множество контекстных окон
Главная проблема - Ml-агенты работают в отдельных сессиях, и каждая новая начинается без памяти о предыдущей
Решение состоит из 2-х частей:
Агент-инициализатор — настраивает окружение при первом запуске: создает init.sh скрипт, файл claude-progress.txt для логирования прогресса, начальный git-коммит
Агент-кодер — в каждой последующей сессии делает инкрементальный прогресс и оставляет структурированные обновления
Anthropic показали, как заставить агента работать методично и последовательно, а не пытаться сделать всё сразу и ломаться на полпути
Команда решила проблему долгосрочных агентов — это когда Claude нужно работать над сложными задачами в течение нескольких часов/ дней, пересекая множество контекстных окон
Главная проблема - Ml-агенты работают в отдельных сессиях, и каждая новая начинается без памяти о предыдущей
Решение состоит из 2-х частей:
Агент-инициализатор — настраивает окружение при первом запуске: создает init.sh скрипт, файл claude-progress.txt для логирования прогресса, начальный git-коммит
Агент-кодер — в каждой последующей сессии делает инкрементальный прогресс и оставляет структурированные обновления
Anthropic показали, как заставить агента работать методично и последовательно, а не пытаться сделать всё сразу и ломаться на полпути
Anthropic
Effective harnesses for long-running agents
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
Сломай свой мозг
(«Science-Other»)
В 1945 г. в приют Кливленда подбрасывают девочку младенца
«Джейн» растет замкнутой, не зная кто её родители, до тех пор пока в 1963 она не влюбляется в бродягу
Он заделывает ей ребенка и исчезает, но в тяжелом процессе родов выясняется что Джейн — гермафродит, у неё есть мужские и женские половые органы
Чтобы спасти её, врачи удаляют женские органы и Джейн становится мужчиной Джейком
Ребенка кто-то похищает прямо из роддома
Отчаявшись от невезения Джейк начинает пить и становится бомжом
В 1970 он заходит в бар, где рассказывает историю своей жизни бармену
Бармен предлагает Джейку отомстить бродяге за то, что он бросил «её» после рождения ребенка и предлагает ему вступить в ряды путешественников во времени
Джейк соглашается, и они вместе с барменом летят обратно во времени в 1963 год, когда у Джейн должен появиться ребенок
Но Джейк случайно влюбляется в молодую сироту, и делает ей ребенка, после чего исчезает
Потом бармен путешествует на 9 месяцев вперед во времени, похищает ребенка и подкидывает его в приют в 1945 году, после чего переносит немного ошарашенного Джейка в 1985 год, чтобы он вступил в ряды путешественников во времени
Джейк понимает по ходу дела, становится нормальным, бросает пить и становится барменом
Затем Джейк переносится в 1970 чтобы стать барменом и подготовиться к судьбоносной встрече с самим собой в баре
Трудно не удивляться что одно и то же явление ("теория Рамсея") ответсвенно за то что любая функция на сфере имеет большой слой (waist inequality) и то что у арифметики есть две элементарно неэквивалентные модели (теорема Геделя о неполноте)
Ну и закон больших чисел (концентрация меры)
Ну и закон больших чисел (концентрация меры)
Уравнения:
Эти уравнения — не просто символы на доске
Это архитектура нашей реальности
Они — доказательство того, что человеческий разум способен постигать самые сокровенные секреты Вселенной
А какое уравнение нравится больше всего вам?
Какое самое сложное для вас?
1. Уравнение Эйнштейна: Общая теория относительности: G_μν = 8πG/c⁴ * T_μν
Что оно значит: Материя и энергия говорят пространству-времени, как искривляться, а искривлённое пространство-время говорит материи, как двигаться
Почему это красиво: Оно связывает геометрию Вселенной с её содержимым
Без него не работали бы GPS, и мы не знали бы о чёрных дырах
Это уравнение — квинтэссенция идеи «геометрия как физика»
2. Стандартная модель (Лагранжиан)
Что он значит: Это полная теория трёх из четырёх фундаментальных взаимодействий (электромагнитного, сильного и слабого) и всех известных элементарных частиц
Почему это красиво: Это вершина человеческого понимания микромира
Оно с пугающей точностью предсказывает поведение квантовой вселенной
Его экспериментальное подтверждение на БАКе — триумф человеческого разума
3. Второй закон Ньютона: F = ma
Что он значит: Сила, действующая на тело, равна произведению его массы на ускорение
Почему это красиво: Гениальная простота
Это основа всей классической механики
От полёта ракет до качения мяча — всё описывается этим лаконичным уравнением
Оно научило нас предсказывать движение
4. Уравнения Максвелла:
∇·E = ρ/ε₀, ∇×E = -∂B/∂t, ∇·B = 0, ∇×B = μ₀J + μ₀ε₀∂E/∂t
Что они значат: Эти четыре уравнения — полное описание всего электричества и магнетизма
Они объединили их в единое явление — электромагнетизм
Почему это красиво: Из них, как следствие, вытекает существование электромагнитных волн (свет, радиоволны, рентген)
Мы поняли, что свет — это и есть колебания электромагнитного поля
Фундамент современной цивилизации
5. Уравнение Шрёдингера: iℏ ∂/∂t |Ψ> = Ĥ |Ψ>
Что оно значит: Оно описывает, как со временем изменяется квантовая состояние частицы (волновая функция Ψ)
Почему это красиво: Это сердце квантовой механики
Оно отбросило детерминизм Ньютона и ввело нас в мир вероятностей и фундаментальной неопределённости
Мир на самом маленьком уровне устроен именно так, как диктует это уравнение
Эти уравнения — не просто символы на доске
Это архитектура нашей реальности
Они — доказательство того, что человеческий разум способен постигать самые сокровенные секреты Вселенной
А какое уравнение нравится больше всего вам?
Какое самое сложное для вас?
Идея случайных блужданий — математическая основа множества алгоритмов в информатике и физике
Представьте: маленький шарик бегает по узлам решётки, на каждом шаге случайно выбирая направление — это и есть классический случайный ход
Комбинаторика, анализ графов, теория вероятностей — всё это строится на случайных блужданиях
Но квантовая механика, как всегда, вносит коррективы
Среди кубитов шарик не просто мечется хаотично, а «идёт по всем возможным путям одновременно», волна его вероятности интерферирует и собирает необычные закономерности
Так рождается квантовые случайные блуждания — новый инструмент для вычислений, принёсший экспоненциальное ускорение многих алгоритмам
Представьте: маленький шарик бегает по узлам решётки, на каждом шаге случайно выбирая направление — это и есть классический случайный ход
Комбинаторика, анализ графов, теория вероятностей — всё это строится на случайных блужданиях
Но квантовая механика, как всегда, вносит коррективы
Среди кубитов шарик не просто мечется хаотично, а «идёт по всем возможным путям одновременно», волна его вероятности интерферирует и собирает необычные закономерности
Так рождается квантовые случайные блуждания — новый инструмент для вычислений, принёсший экспоненциальное ускорение многих алгоритмам
Forwarded from НИИ Антропогенеза (ARI)
Genesis Mission — не дать Китаю бросить вызов лидерству США в науке и технологиях
В рамках текущей модели Китай уже ставит его под вопрос, и тренд необходимо сломать
Поэтому они 'подрывают' саму модель научного познания: transform how science is done
Планы см. в указе Трампа
Не случайно идет сравнение с Манхэттенским проектом: это и целеполагание, и уровень амбиций
Темп открытий ускорится, теории утратят былую силу, а передовую науку будут делать те, кто владеет огромным объемом вычислений и данных (т.е. США): “объединив учёных с интеллектуальными системами, которые рассуждают, моделируют и экспериментируют с невероятной скоростью”
Впрочем, и Китай активно накапливает данные и инвестирует в вычислительные мощности — никто больше не потянет такую науку
В рамках текущей модели Китай уже ставит его под вопрос, и тренд необходимо сломать
Поэтому они 'подрывают' саму модель научного познания: transform how science is done
Планы см. в указе Трампа
Не случайно идет сравнение с Манхэттенским проектом: это и целеполагание, и уровень амбиций
Темп открытий ускорится, теории утратят былую силу, а передовую науку будут делать те, кто владеет огромным объемом вычислений и данных (т.е. США): “объединив учёных с интеллектуальными системами, которые рассуждают, моделируют и экспериментируют с невероятной скоростью”
Впрочем, и Китай активно накапливает данные и инвестирует в вычислительные мощности — никто больше не потянет такую науку
“Модель обучают на реальных данных экспериментов или наблюдений, а затем она создает синтетические данные как способ проверки гипотез
Так удалось выяснить, от чего зависит затухание звездообразования в галактиках
Швейцарские астрофизики из ETH Zurich загрузили в модель данные о галактиках, находящихся в среде с низкой плотностью, и попросили показать, как бы выглядели эти галактики в среде с высокой плотностью
Что отличает этот подход от обычного моделирования — программе не дают заранее никаких правил и знаний о физических процессах, только исходные данные
По сути, Ml ищет взаимосвязи между разными параметрами и узнаёт, как изменятся одни параметры, если изменить другие
Так можно проверить огромное множество сценариев, включая и те, что никогда не удастся наблюдать
Для ученых ключевой вопрос здесь в том, сколько всего полезной информации скрыто в данных и как ее извлечь по максимуму
[…]
Некоторые ученые называют генеративное моделирование «третьим способом» познания (наряду с наблюдением и моделированием), подчеркивая его независимость от теорий”
Genesis Mission
A National Initiative to Accelerate Science Through AI. Genesis Mission is a national initiative to build the world's most powerful scientific platform to accelerate discovery science, strengthen national security, and drive energy innovation.
Представили DeepSeekMath-V2, которая делает шаг к «самопроверяемой» математике для Ml
Большие языковые модели уже заметно продвинулись в решении задач на рассуждение и за последний год научились проходить олимпиады вроде AIME и HMMT за счёт обучения с подкреплением по правильному ответу
Но такой подход принципиально ограничен: верный ответ не означает корректное доказательство, а для теорем вообще часто нет «числового» финала
Авторы предлагают другую схему: сначала обучают LLM-верификатор, который проверяет полноту и корректность математических доказательств, затем используют его как функцию награды для генератора доказательств
Генератор учится находить и исправлять ошибки в своих рассуждениях до тех пор, пока верификатор не примет доказательство
Масштабируя вычисления на этапе проверки, исследователи постепенно усиливают и генератор, и проверяющую модель
Итог — DeepSeekMath-V2 показывает сильные результаты: золотые оценки на IMO-2025 и CMO-2024 и почти идеальные 118/120 на Putnam-2024
Авторы считают, что самопроверяемые математические рассуждения могут стать важным направлением в развитии Ml для науки
Большие языковые модели уже заметно продвинулись в решении задач на рассуждение и за последний год научились проходить олимпиады вроде AIME и HMMT за счёт обучения с подкреплением по правильному ответу
Но такой подход принципиально ограничен: верный ответ не означает корректное доказательство, а для теорем вообще часто нет «числового» финала
Авторы предлагают другую схему: сначала обучают LLM-верификатор, который проверяет полноту и корректность математических доказательств, затем используют его как функцию награды для генератора доказательств
Генератор учится находить и исправлять ошибки в своих рассуждениях до тех пор, пока верификатор не примет доказательство
Масштабируя вычисления на этапе проверки, исследователи постепенно усиливают и генератор, и проверяющую модель
Итог — DeepSeekMath-V2 показывает сильные результаты: золотые оценки на IMO-2025 и CMO-2024 и почти идеальные 118/120 на Putnam-2024
Авторы считают, что самопроверяемые математические рассуждения могут стать важным направлением в развитии Ml для науки
huggingface.co
deepseek-ai/DeepSeek-Math-V2 · Discussions
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Статья китайских товарищей в Nature показывает ураганный темп приближения эпохи "десятки миллиардов устройств с Ml вокруг нас
Статья вводит новый «закон уплотнения» LLM и аккуратно намекает, что текущие GPT-класса модели в обозримые годы смогут ужаться до формата, пригодного для локального запуска на смартфонах
Авторы вводят метрику "capacity/capability density" - грубо, сколько «эффективных параметров» даёт один реальный параметр модели
Если модель по качеству как 100-миллиардная, а реальных параметров у неё 10, её density ≈ 10
При фиксированном числе параметров новые модели всё лучше «выжимают» качество - благодаря лучшим датасетам, чистке данных, архитектурным и тренинг-трюкам (MoE, KV-оптимизации и т.п.), а не революционным новым архитектурам
Цена API за заданный уровень качества тоже падает экспоненциально - мощность на доллар растёт
Если capability density удваивается раз в ~3–3.5 месяца, то "будущие более сильные LLM смогут работать на более дешёвых чипах, обеспечивая эффективный локальный inference в ресурсно-ограниченных сценариях вроде мобильных устройств и IoT
Модели, которые сегодня требуют топовый GPU, в будущем смогут давать ту же или лучшую производительность на чипах среднего и даже нижнего класса - то есть барьер по железу для edge-Ml будет постоянно падать
Что это значит для распространения Ml?
В 2024–2025 мы имеем 3–7B-модели, которые терпимо работают на флагманских смартфонах; при продолжении текущего тренда densing law и эволюции мобильных NPU реалистично ожидать, что "сегодняшний middle-/upper-tier GPT" сможет крутиться локально на топовых смартфонах где-то в интервале 2–4 лет от текущей точки (конец 2020-х)
Статья вводит новый «закон уплотнения» LLM и аккуратно намекает, что текущие GPT-класса модели в обозримые годы смогут ужаться до формата, пригодного для локального запуска на смартфонах
Авторы вводят метрику "capacity/capability density" - грубо, сколько «эффективных параметров» даёт один реальный параметр модели
Если модель по качеству как 100-миллиардная, а реальных параметров у неё 10, её density ≈ 10
количество параметров, необходимых для достижения аналогичной производительности, уменьшается экспоненциально с течением времени
В частности, размер параметра LLM с эквивалентной производительностью уменьшается вдвое примерно каждые 3,5 месяца
Например, MiniCPM-1-2.4B, выпущенный 1 февраля 2024 года, может достичь сопоставимой или даже превосходящей производительности с Mistral-7B, выпущенным 27 сентября 2023 года
Это означает, что всего через четыре месяца LLM с всего лишь 35 % параметров может достичь примерно эквивалентной производительности
При фиксированном числе параметров новые модели всё лучше «выжимают» качество - благодаря лучшим датасетам, чистке данных, архитектурным и тренинг-трюкам (MoE, KV-оптимизации и т.п.), а не революционным новым архитектурам
Цена API за заданный уровень качества тоже падает экспоненциально - мощность на доллар растёт
в декабре 2022 года GPT-3.5 стоил $20 за миллион токенов, тогда как к августу 2024 года Gemini-1.5-Flash стоил всего $0.075 за то же количество токенов, что представляет собой снижение в 266.7 раза
Грубо говоря,
стоимость вывода для LLM сокращается вдвое примерно каждые 2.6 месяца
Если capability density удваивается раз в ~3–3.5 месяца, то "будущие более сильные LLM смогут работать на более дешёвых чипах, обеспечивая эффективный локальный inference в ресурсно-ограниченных сценариях вроде мобильных устройств и IoT
Модели, которые сегодня требуют топовый GPU, в будущем смогут давать ту же или лучшую производительность на чипах среднего и даже нижнего класса - то есть барьер по железу для edge-Ml будет постоянно падать
Что это значит для распространения Ml?
В 2024–2025 мы имеем 3–7B-модели, которые терпимо работают на флагманских смартфонах; при продолжении текущего тренда densing law и эволюции мобильных NPU реалистично ожидать, что "сегодняшний middle-/upper-tier GPT" сможет крутиться локально на топовых смартфонах где-то в интервале 2–4 лет от текущей точки (конец 2020-х)
Nature
Densing law of LLMs
Nature Machine Intelligence - Xiao et al. introduce ‘capability density’, defined as capability per parameter, as a metric for evaluating large language models. They report an empirical...
И такое может быть:
Существуют частицы, которые являются собственными античастицами
Например, фермион Майораны, существование которого было предсказано, но его трудно подтвердить экспериментально
Поскольку их квантовые состояния не подвержены влиянию факторов окружающей среды, они могут стать основой для разработки топологических квантовых компьютеров, которые будут более стабильными и устойчивыми к ошибкам
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
https://arxiv.org/abs/2504.13837, https://openreview.net/forum?id=4OsgYD7em5
https://limit-of-rlvr.github.io
https://arxiviq.substack.com/p/neurips-2025-does-reinforcement-learning
В финальной работе (Best Paper Runner-Up) на NeurIPS 2025, авторы систематически исследовали границы возможностей рассуждающих моделей (reasoning models), обученных с помощью RLVR (Reinforcement Learning with Verifiable Rewards)
Используя несмещённую метрику
Результаты разрушают популярный миф о том, что RLVR позволяет моделям автономно открывать "сверхчеловеческие" стратегии подобно AlphaGo
Исследование показывает: RLVR радикально улучшает *эффективность сэмплирования* (правильные ответы выпадают чаще), но не расширяет фундаментальные границы возможностей модели
На больших значениях k базовые модели часто решают *больше* уникальных задач, чем их RL-версии, что говорит об ограниченности текущих методов RL прайорами предобучения
https://arxiv.org/abs/2504.13837, https://openreview.net/forum?id=4OsgYD7em5
https://limit-of-rlvr.github.io
https://arxiviq.substack.com/p/neurips-2025-does-reinforcement-learning
В финальной работе (Best Paper Runner-Up) на NeurIPS 2025, авторы систематически исследовали границы возможностей рассуждающих моделей (reasoning models), обученных с помощью RLVR (Reinforcement Learning with Verifiable Rewards)
Используя несмещённую метрику
pass@k на задачах по математике, кодингу и визуальному мышлению, они сравнили базовые модели с их RL-версиями, чтобы выяснить: генерирует ли RLVR принципиально новые паттерны мышления или лишь усиливает существующиеРезультаты разрушают популярный миф о том, что RLVR позволяет моделям автономно открывать "сверхчеловеческие" стратегии подобно AlphaGo
Исследование показывает: RLVR радикально улучшает *эффективность сэмплирования* (правильные ответы выпадают чаще), но не расширяет фундаментальные границы возможностей модели
На больших значениях k базовые модели часто решают *больше* уникальных задач, чем их RL-версии, что говорит об ограниченности текущих методов RL прайорами предобучения
Система стандартных бумажных форматов ISO 216 представляет собой не просто удобный каталог размеров, но продуманное математическое решение
Интересно, что ещё в 1923 году, у советского свидетельства о рождении, в углу документа уже стояла пометка о формате A5 и размерах 210×148 мм.
Исторически эта идея была предложена в 1786 году немецким учёным Георгом Кристофом Лихтенбергом и впервые начала применяться во Франции в конце XVIII в.
Сейчас она распространена по всему миру, за исключением США и Канады, где используют формат Letter с соотношением сторон 8,5×11 дюймов (примерно 216×279 мм)
Такой лист немного шире и короче привычного нам А4
В отличие от научного подхода, лежащего в основе формата А4, размер US Letter был обусловлен производственными процессами и сложившейся практикой — США не перешли на метрическую систему мер, что позволило сохранить традиционные дюймовые размеры
Основная идея метрического формата ISO 216 заключается в том, чтобы при сложении листа пополам получались два меньших листа с одинаковыми пропорциями
Это условие описывается функциональным уравнением: если исходный лист имеет стороны a и b (где a — длинная сторона), то после сгиба получается лист со сторонами b и a/2
Условие сохранения пропорций приводит к уравнению a/b = b/(a/2), которое упрощается до a² = 2b², откуда получается соотношение a/b = √2
Это число является неподвижной точкой данного преобразования — единственной пропорцией, обладающей свойством самоподобия
Существует несколько способов построения иерархии таких форматов
Серия A основана на конструктивном принципе: лист A0 имеет площадь 1 м² при сохранении пропорции √2
Решение системы уравнений для площади и пропорции даёт точные размеры A0: 2⁻¹ᐟ⁴ × 2¹ᐟ⁴ метров
Все последующие форматы получаются последовательным делением пополам с сохранением той же пропорции
Серия B строится на другом принципе — среднего геометрического
Каждый формат Bn является средним геометрическим между An и A(n–1)
Например, B1 = √(A0 × A1)
Этот подход создает плавную шкалу промежуточных размеров
Серия C, используемая для конвертов, идёт ещё дальше: каждый её формат представляет собой среднее геометрическое между соответствующими форматами A и B
Именно поэтому лист A4 идеально помещается в конверт C4 — математическое соотношение гарантирует оптимальный зазор
С точки зрения алгебраической структуры, идеальные размеры форматов принадлежат полю ℚ (√2) — полю рациональных чисел с добавленным корнем из двух
Каждый размер можно выразить как линейную комбинацию 1 и √2 с рациональными коэффициентами
На практике используются целочисленные приближения этих идеальных размеров, подобранные так, что погрешность пропорции не превышает 0.01 %
Эту идею можно обобщить на многомерный случай
Например, «идеальный» ящик, который при разрезании пополам даёт два подобных исходному, в трёхмерном случае будет иметь соотношение ребер 1 : ∛2 : ∛4
В n-мерном пространстве гиперпрямоугольник с таким свойством самоподобия будет иметь рёбра с соотношениями, представляющими собой степени двойки с показателями k/n, где k = 0, 1, ..., n–1
Таким образом, пропорция листа бумаги оказывается частным случаем более общего математического принципа
Вот так обычный лист бумаги, который мы достаём из принтера, демонстрирует практическое применение математических принципов — от функциональных уравнений и конструктивных построений до алгебраических структур и многомерных обобщений
Интересно, что ещё в 1923 году, у советского свидетельства о рождении, в углу документа уже стояла пометка о формате A5 и размерах 210×148 мм.
Исторически эта идея была предложена в 1786 году немецким учёным Георгом Кристофом Лихтенбергом и впервые начала применяться во Франции в конце XVIII в.
Сейчас она распространена по всему миру, за исключением США и Канады, где используют формат Letter с соотношением сторон 8,5×11 дюймов (примерно 216×279 мм)
Такой лист немного шире и короче привычного нам А4
В отличие от научного подхода, лежащего в основе формата А4, размер US Letter был обусловлен производственными процессами и сложившейся практикой — США не перешли на метрическую систему мер, что позволило сохранить традиционные дюймовые размеры
Основная идея метрического формата ISO 216 заключается в том, чтобы при сложении листа пополам получались два меньших листа с одинаковыми пропорциями
Это условие описывается функциональным уравнением: если исходный лист имеет стороны a и b (где a — длинная сторона), то после сгиба получается лист со сторонами b и a/2
Условие сохранения пропорций приводит к уравнению a/b = b/(a/2), которое упрощается до a² = 2b², откуда получается соотношение a/b = √2
Это число является неподвижной точкой данного преобразования — единственной пропорцией, обладающей свойством самоподобия
Существует несколько способов построения иерархии таких форматов
Серия A основана на конструктивном принципе: лист A0 имеет площадь 1 м² при сохранении пропорции √2
Решение системы уравнений для площади и пропорции даёт точные размеры A0: 2⁻¹ᐟ⁴ × 2¹ᐟ⁴ метров
Все последующие форматы получаются последовательным делением пополам с сохранением той же пропорции
Серия B строится на другом принципе — среднего геометрического
Каждый формат Bn является средним геометрическим между An и A(n–1)
Например, B1 = √(A0 × A1)
Этот подход создает плавную шкалу промежуточных размеров
Серия C, используемая для конвертов, идёт ещё дальше: каждый её формат представляет собой среднее геометрическое между соответствующими форматами A и B
Именно поэтому лист A4 идеально помещается в конверт C4 — математическое соотношение гарантирует оптимальный зазор
С точки зрения алгебраической структуры, идеальные размеры форматов принадлежат полю ℚ (√2) — полю рациональных чисел с добавленным корнем из двух
Каждый размер можно выразить как линейную комбинацию 1 и √2 с рациональными коэффициентами
На практике используются целочисленные приближения этих идеальных размеров, подобранные так, что погрешность пропорции не превышает 0.01 %
Эту идею можно обобщить на многомерный случай
Например, «идеальный» ящик, который при разрезании пополам даёт два подобных исходному, в трёхмерном случае будет иметь соотношение ребер 1 : ∛2 : ∛4
В n-мерном пространстве гиперпрямоугольник с таким свойством самоподобия будет иметь рёбра с соотношениями, представляющими собой степени двойки с показателями k/n, где k = 0, 1, ..., n–1
Таким образом, пропорция листа бумаги оказывается частным случаем более общего математического принципа
Вот так обычный лист бумаги, который мы достаём из принтера, демонстрирует практическое применение математических принципов — от функциональных уравнений и конструктивных построений до алгебраических структур и многомерных обобщений
Инструмент для диагностики сети на базе ОС FreeBSD
• Сразу скажу, что прочтение туториала по ссылке ниже занимает целых 2 часа времени и будет полезен в основном сетевикам, нежели ИБ специалистам
Но материал крайне интересный, поэтому рекомендую к прочтению всем без исключения
• Автор этого материала написал инструкцию по воплощению инструмента диагностики сетевых проблем, который реализован в ОС FreeBSD и устанавливается прямо из коробки
Достаточно установить её на компактное устройство с двумя Ethernet интерфейсами и выполнить ряд манипуляций по настройке вполне стандартных вещей
Содержание лонгрида ниже, а бонусом идет ссылка на Github репозиторий содержащий готовый загрузочный образ и набор скриптов для настройки сниффера
• Сниффер как способ решения проблем с сетью.
• Установка ОС FreeBSD и базовая настройка:
➡Скачиваем ISO образ;
➡Настройка опций BIOS;
➡Развертывание образа на USB Flash;
➡Загрузка с USB Flash и установка системы на SSD;
➡Установка полезных пакетов программ и утилит;
➡Подключение через SSH;
➡Настройка `sudo’.
• Исследуем аппаратную часть:
➡Получаем сведения об аппаратуре;
➡Проводим тест Coremark для вычислительного ядра;
➡Проводим тест STREAM для оперативной памяти;
• Настойка канала для удаленного доступа к устройству (mpd5).
• Настройка сетевого «моста» (Ethernet Bridging):
➡Загрузка драйверов if_bridge и bridgestp;
➡Создание и настройка интерфейса bridge0;
➡Проверка работоспособности сетевого моста;
➡ Схемы включения сниффера.
• Анализ сетевого трафика:
➡ Настройка прав доступа к BPF;
➡ Правила фильтрации трафика в BPF;
➡ Правила фильтрации трафика в BPF с использованием DPI;
➡ Использования BPF фильтров в tcpdump’ и tshark’;
➡ Захват SIP пакетов с помощью утилиты `tcpdump’;
➡ Захват SIP пакетов с помощью утилиты `tshark’;
➡ Детектирование соединений SSH с помощью утилиты `tcpdump’;
➡ Детектирование соединений SSH с помощью утилиты `tshark’;
➡ Анализ HTTP запросов: добываем логин и пароль с помощью утилиты `tshark’;
➡ Анализ сетевой нагрузки с помощью утилиты `trafshow’;
➡ SNORT Intrusion Prevention System;
➡ Детектируем сканирование портов одно-строчным правилом для `snort’;
➡ Детектируем сканирование портов встроенным плагином `port_scan’.
• Бонус:
➡ Инструкция по быстрой установке сниффера на базе ОС FreeBSD;
➡ Инструкция по созданию своего загрузочного образа ОС FreeBSD со сниффером
• Сразу скажу, что прочтение туториала по ссылке ниже занимает целых 2 часа времени и будет полезен в основном сетевикам, нежели ИБ специалистам
Но материал крайне интересный, поэтому рекомендую к прочтению всем без исключения
• Автор этого материала написал инструкцию по воплощению инструмента диагностики сетевых проблем, который реализован в ОС FreeBSD и устанавливается прямо из коробки
Достаточно установить её на компактное устройство с двумя Ethernet интерфейсами и выполнить ряд манипуляций по настройке вполне стандартных вещей
Содержание лонгрида ниже, а бонусом идет ссылка на Github репозиторий содержащий готовый загрузочный образ и набор скриптов для настройки сниффера
• Сниффер как способ решения проблем с сетью.
• Установка ОС FreeBSD и базовая настройка:
➡Скачиваем ISO образ;
➡Настройка опций BIOS;
➡Развертывание образа на USB Flash;
➡Загрузка с USB Flash и установка системы на SSD;
➡Установка полезных пакетов программ и утилит;
➡Подключение через SSH;
➡Настройка `sudo’.
• Исследуем аппаратную часть:
➡Получаем сведения об аппаратуре;
➡Проводим тест Coremark для вычислительного ядра;
➡Проводим тест STREAM для оперативной памяти;
• Настойка канала для удаленного доступа к устройству (mpd5).
• Настройка сетевого «моста» (Ethernet Bridging):
➡Загрузка драйверов if_bridge и bridgestp;
➡Создание и настройка интерфейса bridge0;
➡Проверка работоспособности сетевого моста;
• Анализ сетевого трафика:
• Бонус:
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Чёрт в табакерке: инструмент для диагностики сети на базе ОС FreeBSD
FreeBSD mascot. Сгенерированно нейросетью. Изложенная в этой статье идея и инструкция по воплощению инструмента диагностики сетевых проблем, для многих сисадминов старой закалки может показаться...
Благодаря использованию Ml скорость синтеза металлических сплавов увеличилась в 200 раз, а время перебора потенциальных составов лекарств в фармацевтике сократилось на 50 %
Многие уверены: через 10 лет научный процесс будет трудно представить без Ml
В этом контексте важно обучать научное сообщество и создавать связку «Исследователь+Ml»
Так, например, Школа анализа данных Яндекса, которая занимается подготовкой Ml-специалистов, начала обучать ученых использовать нейросети в исследованиях
На новую программу прошли 50 человек из Москвы, Санкт-Петербурга, Уфы, Иркутска, Владивостока и Екатеринбурга, причем лидерами по заявкам стали специалисты в области физики, медицины и химии
В ближайшие годы таких проектов должно стать еще больше
На наших глазах Ml перестаёт быть инструментом и становится партнёром в создании новой научной реальности
Будущее за теми, кто готов приумножать знания вместе с технологиями
Многие уверены: через 10 лет научный процесс будет трудно представить без Ml
В этом контексте важно обучать научное сообщество и создавать связку «Исследователь+Ml»
Так, например, Школа анализа данных Яндекса, которая занимается подготовкой Ml-специалистов, начала обучать ученых использовать нейросети в исследованиях
На новую программу прошли 50 человек из Москвы, Санкт-Петербурга, Уфы, Иркутска, Владивостока и Екатеринбурга, причем лидерами по заявкам стали специалисты в области физики, медицины и химии
В ближайшие годы таких проектов должно стать еще больше
На наших глазах Ml перестаёт быть инструментом и становится партнёром в создании новой научной реальности
Будущее за теми, кто готов приумножать знания вместе с технологиями