Генеративные рекомендации III. Хайп и хаос

Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:

“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.

"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.

“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.

“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:

“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?

Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.

#llm #agents #petproject #ml #systemdesign

#finance #timeseries #code

Financial Data Science Python Notebooks — большой набор Jupyter‑ноутбуков про финансы

https://terence-lim.github.io/docs/financial-data-science-notebooks/README.html

Авторы собрали практические примеры по финансовой эконометрике, временным рядам и машинному обучению.

😎 Данные, данные, данные…

Вместе с ноутбуками поставляется библиотека FinDS, которая демонстрирует, как строить пайплайн для работы с финансовыми базами. Например, с макроэкономическими данными от FRED и BEA.

🅱️ Классические вопросы: цены, факторы и регрессии

Если вас интересуют классические стратегии, здесь есть ноутбуки про свойства цен и тестирование гипотез по методике Джегадиша—Титмана (моментум на CRSP‑акциях, оценка моментов и Newey—West стандарты ошибок). Есть материалы по исследованию Фама—Френч (стоимость и размер, линейные регрессии на CRSP/Compustat), по кросс‑секционным регрессиям Фама—Макбет (CAPM, нелинейные регрессии и квадратичная оптимизация), а также разбор стратегий контртренда с учетом структурных разрывов и затрат на реализацию.

🔮 Макроэкономика и риск‑менеджмент

Более широкие темы включают анализ экономических показателей (прогнозы, занятость, выбросы), тесты регрессий для индексов потребительских и производственных цен, промышленного производства и инфляции.

Есть ноутбуки по моделям пространственных состояний (скрытые марковские модели, гауссовы смеси), по кривой доходности и моделированию структуры процентных ставок, по факторной структуре доходностей облигаций (PCA), по оценке опционов (биномиальные деревья, Black–Scholes–Merton, Монте‑Карло), по Value‑at‑Risk для криптовалют.

🪐 Текстовый анализ и NLP

В ноутбуках по NLP разбирают, как построить тематические модели для стенограмм FOMC, оценить тональность отчётов 10‑K/10‑Q на основе словарей Loughran–Macdonald, проанализировать описания бизнеса с использованием методов POS‑тэггинга и кластеризации.

Далее идут примеры классификации отраслей, прогнозов макроэкономических индикаторов и нейросетей с эмбеддингами слов, использование сверточных и рекуррентных сетей для прогнозирования макро данных, примеры reinforcement learning для планирования пенсионных расходов.

🤡 LLM‑ы

И наконец, черешенка на торте — раздел про большие языковые модели: построение языковых моделей для «Федспика», анализ SEC Edgar, fine‑tuning моделей на индустриальной классификации, prompt‑инжиниринг для новостного сентимента и даже проектирование multi‑agent LLM‑систем для оценки корпоративной благотворительности, чего только не придумают.

Крутая энциклопедия по современному количественному анализу: от классической эконометрики и факторного анализа до сетевой науки, NLP и LLM‑агентов.

Что из этого вы пробовали? Приходите к нам в чат, обсудим)

Quant Researcher

#rl #courses

Двенадцать единственных и очевидных способов записать строку в файл в Python!

В Python можно принтануть сразу в файл!

with open("file.txt", "w") as f:
    print("привеееет!", file=f)

Хрен знает, зачем это вам! Но вот знайте!

Вообще в питоне есть один очевидный способ сделать это, дзен дело говорит!

Первый очевидный способ:

from pathlib import Path
Path("file.txt").write_text("привеееет!")

Второй очевидный способ:

from pathlib import Path
Path("file.txt").write_bytes(
    "привеееет!".encode("utf-8")
)

Третий очевидный способ:

with open("file.txt", "w") as f:
    print("привеееет!", file=f)

Четвёртый очевидный способ:

with open("file.txt", "w") as f:
    f.write("привеееет!")

Пятый очевидный способ:

import os
fd = os.open(
    "file.txt",
    os.O_WRONLY | os.O_CREAT | os.O_TRUNC)
os.write(fd, "привеееет!".encode("utf-8"))
os.close(fd)

Шестой очевидный способ:

import io, shutil
data = io.StringIO("привеееет!")
with open("file.txt", "w") as f:
    shutil.copyfileobj(data, f)

Седьмой очевидный способ:

import sys
sys.stdout = open("file.txt", "w")
print("привеееет!")
sys.stdout.close()

Восьмой очевидный способ:

from contextlib import redirect_stdout
with open("file.txt", "w") as f:
    with redirect_stdout(f):
        print("привеееет!")

Девятый очевидный способ:

import mmap
line = "привеееет!".encode("utf-8")
with open("file.txt", "w+b") as f:
    f.write(b"\x00" * len(line))
    f.flush()
    with mmap.mmap(f.fileno(), 0) as mm:
        mm[:len(line)] = line
        mm.flush()

Десятый очевидный способ:

import tempfile, os
with tempfile.NamedTemporaryFile("w", delete=False) as f:
    f.write("привеееет!")
    name = f.name
os.replace(name, "file.txt")

Одиннадцатый очевидный способ:

import csv
with open("file.txt", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(["привеееет!"])

Двенадцатый очевидный способ:

import tarfile
import io
data = io.BytesIO("привеееет!".encode("utf-8"))
with tarfile.open("archive.tar", "w") as tar:
    info = tarfile.TarInfo("file.txt")
    info.size = len(data.getvalue())
    tar.addfile(info, data)
with tarfile.open("archive.tar", "r") as tar:
    tar.extractall(
        path=".",
        members=[tar.getmember("file.txt")], filter="data")

Вооот!

#llm #code #petproject

#llm #rag

Circuit Tracing от Anthropic: как мы в R&D by red_mad_robot решили заглянуть внутрь LLM при использовании в RAG-пайплайнах

Ищем галлюцинации под микроскопом!

29 мая Anthropic выложили в open-source свои инструменты Circuit Tracing методологию механической интерпретируемости, которую мы в R&D подразделении red_mad_robot первыми применили для решения практической задачи детекции галлюцинаций в RAG-системах!

В начале 2025 года, когда я возглавил новое R&D направление, я поставил амбициозную задачу: не просто оценивать качество ответов LLM "снаружи", а заглянуть внутрь процесса генерации и понять, откуда берутся галлюцинации.

Почему именно RAG-пайплайны и Circuit Tracing?

Проблема была очевидна: RAG-системы часто смешивают информацию из контекста с "внутренними знаниями" модели, создавая правдоподобные, но неточные ответы
Существующие методы детекции работают post-factum, а нам нужно было понять механизм принятия решений в реальном времени

Circuit Tracing от Anthropic давал именно это возможность построить атрибуционные графы и проследить, как токены входного контекста влияют на финальный ответ модели

Конкретные результаты нашего исследования

85% точность детекции галлюцинаций вот что мы получили на тестовом датасете с нашей реализацией на базе Qwen2.5-7B.

Как отмечает наш исследователь Ирина Кошкина:
"Основная идея — измерение доли влияния от токенов входа, соответствующих контексту, среди всего влияния от всех активных токенов."

Наша метрика Groundedness включает:
- Контекстную долю влияния (Gctx)
- Replacement Score — качество признаков vs ошибок
- Completeness Score — полнота объяснения через атрибуционный граф

Технические вызовы и решения

Cross-Layer Transcoders (CLT) стали ключевым компонентом системы
Вместо анализа отдельных слоев мы научились отслеживать влияние признаков между несколькими архитектурными уровнями трансформера

Основные проблемы, которые пришлось решать:
1. Вычислительная сложность процедура анализа на порядки медленнее генерации
2. Зависимость от качества обученного транскодера
3. Токен-уровневое сопоставление, приводящее к ложным срабатываниям

Но результат того стоил мы получили рабочий инструмент для анализа внутренних процессов модели во время генерации ответов в RAG-системах


Отдельное спасибо отделу маркетинга red_mad_robot за подготовку детальной статьи оформления и валидации на Хабре

Отдельное спасибо Саше (@dealerAI) за экспертную валидацию нашей гипотезы на старте проекта

Когда предлагаешь исследовать "атрибуционные графы для детекции галлюцинаций в RAG", поддержка опытных друзей по цеху критически важна для получения ресурсов и мотивации команды

Полный технический разбор с кодом, формулами и результатами экспериментов доступен в нашей статье на Хабре закидываем в закладки и ставим +

Когда память дороже точности: приближённые структуры данных

Проблема: многие алгоритмы с линейным потреблением памяти не справляются с большим количеством данных. Решение: приближённые структуры!

В новой статье разбираем три популярные структуры данных с константным потреблением памяти, решающие ключевые задачи:
- HyperLogLog — оценка количества уникальных элементов,
- Фильтр Блума — проверка принадлежности ко множеству,
- Count-Min Sketch — подсчёт частот элементов.

Все они работают приближенно, зато позволяют работать с огромными объёмами данных. Читайте, как применять их на практике: https://blog.deepschool.ru/math/kogda-pamyat-dorozhe-tochnosti-priblizhyonnye-struktury-dannyh/