Пост про предвзятость в исследованиях, кризис воспроизводимости
https://t.iss.one/Fourier_series/687

Ну типа есть проблемки как с предвзятостью так и с воспроизводимостью

Из 53 знаковых исследований в онкологии воспроизвелись 6

Или вот про психологию занятно:

Вот две опорные работы. Если очень коротко, что произошло:
— Часть экспериментов психологов, на которых строится вся наука, нельзя повторить с тем же результатом. В других науках обычно можно, и это и делает науку наукой.
— Почему? Потому что психологи оказались самыми предвзятыми по каким-то причинам.

Предвзятость + кривые методологии + смешные приземленные вещи, типа:

— Выборочное сообщение — исследователи публикуют только положительные результаты, скрывая отрицательные или неубедительные находки. По опросам больше 30% исследователей признали участие в такой фигне из тщеславия.
— Принцип сисек (если оно сразу большое и красивое, возможно, силикон SOTA!!!11) — журналы значительно чаще публикуют работы с интересными результатами, чем исследования, которые не выявили эффектов.
— Правило бабок. Продвижение по карьере, получение грантов и репутация зависят в первую очередь от количества публикаций.

Моя любимая часть про космические корабли:

Open Science platforms, such as arXiv and bioRxiv, enable researchers to share their findings before formal peer review. This not only accelerates the dissemination of knowledge but also invites constructive criticism, improving the quality of research.

Ну типа на arXiv то нет вот этих жалких проблем - ни кривых методологий, ни подогнанных метрик. И тщеславие там чуждо, и бабки не нужны

Так мы до двача для статей докатимся

#systemdesign #books #courses

Старческий бубнеж

#книги #наблюдение #распределенные_системы

Сейчас провожу очень много собеседований, стандартных слотов в количестве 7 в неделю не хватает, иногда доходит до 3–4 собеседований в день. И очень редко, когда получается выйти с собеседования с чувством, что кандидат клевый, надо брать. Анекдот ситуации в том, что у меня сейчас вакансий руководителей (разных уровней) больше, чем вакансий разработчиков (они очень хорошо закрылись). Т. е. собеседую не новичков, а людей с опытом в разработке, с опытом в руководстве командами. Отдельная боль - это собеседование архитекторов. Помните анекдот про мышек, которым сова советовала стать ежиками? Вот именно такие «совы» и приходят. Не знают базовых вещей, при этом в послужном списке имеют по куче лет на должностях типа «ведущий архитектор», «главный архитектор». И не могут объяснить, синхронный или асинхронный способ взаимодействия использовать в той или иной ситуации. Ну как так-то? А если в задаче попадается что-то, что требует подумать про идемпотентную обработку, то хорошо, если предлагаю ключ идемпотентности, при этом большинство забывают его куда-нибудь прикопать. В общем, впереди новогодние праздники, давайте я в вас кину подборкой рекомендаций к чтению, которую я даю после своего курса по распределенным системам:

1. Мартин Фаулер. Тык, например, про переписывание легаси — тык.
2. Крис Ричардсон. Тык.
3. От Microsoft. Тык.
4. Конечно же, Эванс. Тык. Очень полезно для думания о декомпозиции систем.
5. Распределенные системы. Тык. Про всякие локальные паттерны (сайдкары, амбасадоры) с примерами реализации.
6. Книжка — аналог того, чем мы занимаемся на курсе. Тык.
7. Книжка про задачу, которую мы решаем на самостоятельной работе (ну ладно, не прям про такую, но очень похожую). Тык.
8. Альтернативное решение задачи с самостоятельной работы. Тык.

P. S. Заполняю отзывы по собеседованиям, что-то накипело.

Кажется, еще инсайдов может подкинуть чтение https://www.labirint.ru/books/537961/ где описывается уже порядком подзабытая лямбда-архитектура

Deep Learning Tuning Playbook by Google

This document helps you train deep learning models more effectively. Although this document emphasizes hyperparameter tuning, it also touches on other aspects of deep learning training, such as training pipeline implementation and optimization.

This document assumes your machine learning task is either a supervised learning problem or a similar problem (for example, self-supervised learning) That said, some of the advice in this document may also apply to other types of machine learning problems.

Links:
- GitHub
- Site

Navigational hashtags: #armknowledgesharing #armtutorials
General hashtags: #dl #deeplearning #google

@data_science_weekly

#llm #rag #papers

Открыл сегодня x и увидел пару постов на 100k+ просмотров про статью Recursive Language Models

Суть такая. Вместо того чтобы запихивать всё в контекст, предлагают относиться к проблеме длинного контекста как к software engineering задаче. Дать LLM инструменты вроде поиска по регуляркам, чтобы она сама обрабатывала контекст, плюс инструмент для запросов в LLM, чтобы параллельно гонять сабагентов. Идейно – обычный агент (codex/claude-code/итд) просто теперь вместо репозитория нужно искать агент работает по большому txt. Приложил картинку из статьи, очень наглядная.

Сразу после статьи вышел блогпост от PrimeIntellect (очень бодрые ребята, много делают для agentic rl и хайпуют в x). Они делали эксперименты на эту же тему и показали больше ablations, плюс небольшие улучшения вроде: а давайте инструменты будут доступны только сабагентам, чтобы не раздувать контекст основной LLM.

Мои мысли такие:
1. Мне казалось, что все deep research агенты и так работают примерно так? Саша Абрамов @dealerAI вроде писал много про инжиниринг контекста, память итп.
2. По ablations у PrimeIntellect видно, что на двух бенчмарках есть просадка, но это похоже на проблему скаффолдинга, значит лечится обучением.
3. Такой swe-agentic подход хорошо подходит для needle-in-a-haystack задач, когда в массиве текста есть атомарные факты, их нужно найти и обработать. А вот для неявной и глубокой семантики, где на текст нужно смотреть как бы сверху, кажется, уже не очень.
4. Такой swe-agentic подход удобно заводить под rl: есть multi-turn, удобнее суммаризации, инфраструктура для обучения у многих уже есть из-за расцвета RLVR. И в отличие от SWE задач не нужно 100500 разных sandbox-контейнеров под каждую задачу.
5. По названию Recursive Language Models кажется, что это про архитектуру моделей и прочее, а не про простой цикл. Но это мб только для меня так.

сама статья https://arxiv.org/abs/2512.24601v1
блогпост PrimeIntellect https://www.primeintellect.ai/blog/rlm
Твит автора https://x.com/a1zhang/status/2007198916073136152


P.S. Кстати, датасет с траекториями https://t.iss.one/c0mmit/88, про который я писал на прошлой неделе сидит в первой десятке trending huggingface с >100 лайков.