Я принес. Bar is sooooooooo high

Сегодня приношу вам социально-айтишный хоррор про то, как человек отработал в Amazon Web Services 3 года и уволился, устав бежать изо всех сил в этом колесе https://nekrolm.github.io/blog.html.

Для себя я отметил несколько моментов:

- Традиционная любовь корпораций евангелизировать свои «принципы», «свойства», «ценности» и прочие желаемые в работниках качества. Да, я понимаю, что на масштабе многих тысяч людей нужна какая-то общая линейка и общее направление, куда идти синхронно в ногу. Но чем старше и опытнее я становлюсь (совсем скоро счетчик снова тикнет), тем лучше умею отличать в этом всём пользу от манипуляции 🙂
- Стрессовый кашель. Страшно, если вдуматься, как стресс перекручивает человеческий организм, и каков должен быть его уровень, и сколько он должен был копиться. У меня есть пара знакомых, которые с подобным тоже столкнулись.
- Любовь к прожарке, баррейзингу и влияние этого на моральное состояние человека. Опять же, да, я понимаю, что в бигтехе очень дорога цена ошибки, плюс взгляд со стороны и критика помогают отточить решение. Просто надо понять, что это, как и всегда, некоторый трейдофф, где есть толика пользы и толика страдания.
- Релизы по году-полтора. Менеджеры уже давно привыкли к долгому циклу обратной связи от своей работы, но вот для инженеров это бедовая цифра, на мой взгляд.
- Ну и конечно же ежедневный опрос о том, как ты энергичен, жизнерадостен и насколько быстро работаешь – это прям лучший инструмент, чтобы понять, что происходит с людьми. Особенно на фоне регулярных рассказов о том, как планируется делать сокращения.

Там, наверное, по опросам шкалит уровень энергии и трудолюбия.
Всё как в анекдоте:
- Специалисты говорят, что люди стали жить лучше.
- А люди утверждают, что ничего не ощущают.
- Но ведь они же не специалисты.


Фан-факт: я заготовил этот пост ещё в воскресенье, а в понедельник AWS конкретно так прилёг. Вчера было много мемов про сокращение SRE и разработчиков в Амазоне, мол, у нас тут ИИ много чего теперь делает.
А я вот видите, как всегда, со стороны людей захожу🙂

#llm #recommender

REGEN – новый подход к рекомендациям на основе диалогового взаимодействия.

Традиционные рекомендательные системы сосредоточены на предсказании следующего товара, который может понравиться пользователю, но не способны вести естественный диалог, понимать отзывы на естественном языке или объяснять причины рекомендаций. Существующие архитектуры и наборы данных не позволяли изучать эти новые возможности, теперь же есть REGEN от Google (Reviews Enhanced with GEnerative Narratives).

Работа поделена на два важных аспекта:

1. Датасет для измерения качества подобных взаимодействий юзера, рекомендательной системы и диалогового интерфейса.

2. Предложены и протестированны две архитектуры рекомендаций: FLARE - на базе коллаборативной фильтрации; и LUMEN - на базе LM (Gemma LLM), учитывающей, как интеракции user-item, так и текстовые взаимодействия. Люмен заявили впервые именно в статье REGEN.

Начнём с данных. Созданный набор данных REGEN был собран не совсем с нуля – исследователи дополнили общедоступный Amazon Product Reviews dataset, синтезировав с помощью LLM Gemini 1.5 Flash два ключевых элемента:
1. Критика: Примеры того, как пользователь может выразить предпочтение или критику в диалоге (например, "Я бы предпочел черную ручку, а вы предлагаете мне красную").
2. Нарративы: Разнообразные текстовые пояснения, такие как причины для покупки, отзывы о продуктух или предпочтения пользователя.

Архитектуры моделей. Как уже упоминалось, были предложены и протестированы два подхода:

1. Гибридная система FLARE. Классическая модель аля SASRec предсказывает следующий товар, а легковесная языковая модель Gemma 2B генерирует нарратив на основе этого предсказания.

2. Единая модель LUMEN. Одна большая языковая модель обучается для совместного выполнения задач: обработки критики, генерации рекомендации и создания нарратива в рамках единого процесса. Модель учится e2e "решать", когда выдать ID товара, а когда продолжить генерировать текст.

Дизайн эксперимента и метрики.
Эксперименты были построены вокруг предложенной авторами статьи задачи – совместной генеративной рекомендации товаров. Модели получали историю покупок и, опционально, текстовую критику, после чего должны были порекомендовать следующий товар и сгенерировать о нем контекстуальный нарратив.

Для оценки использовались два типа метрик:

- Метрики точности рекомендаций. Основной метрикой был Recall@10 – насколько часто желаемый товар оказывается в топ-10 предсказаний.
- Метрики качества текста. Для оценки сгенерированных нарративов использовались BLEU, ROUGE и семантическое сходство cosine similarly (используют Gecko эмбы).

В итоге, включение пользовательской обратной связи в модели улучшало Recall@10 для обеих архитектур. Разумеется, для модели на базе e2e подхода LUMEN качество согласованности было лучше, ввиду исполнения LM как базы архитектуры. Однако и последовательное использование FLARE, как next item prediction+LM также улучшало метрики. Для подробного изучения показателей бенчей советую заглянуть в статью.

В целом, основная идея авторов создать новый подход на основе не только исторических интеракций юзера с товарами, но и посредством воздействия естественного языка в виде обратной связи (отзывов, критики и пр.). Это же позволяет перевести рекомендации и поиск в "живой формат" диалогового взаимодействия, возможностью уточнения и обратной связи. Представьте, вам не понравились рекомендации, вы просто пишите: "неплохо, но я бы хотел видеть тут <целевой объект>". А система тут же реагирует на это в виде обновления пула.
В целом, мы уже видим на примере Perplexity и OpenAI переход в диалоговое взаимодействие с их решениями, как наиболее нативное и удобное. Теперь очередь рекомендательных систем.

#interview #algo

Очень большой сборник задач с leetcode для подготовки к собесу, самые ключевые задачи с кодом и решением. Формат pdf позволяет готовиться к интервью в любой обстановке. Ставим огонек 🔥 и делимся с другом такой годнотой, если хотите больше подобных задачников!

@postypashki_old

Speculative Decoding — хитрая техника, которая позволяет ускорить инференс LLM.

Фокус заключается в следующем... имеется две модели:
- Маленькая и тупенькая, но быстрая (draft model)
- Большая и умная, но медленная (target model)

Маленькая модель используется для предсказания, а большая — для проверки и исправления ошибок маленькой модели. Как это работает...

Маленькая модель генерирует текст. Делает она это итерационно: на каждой итерации появляется новый токен (если упрощенно - слово):
1. Каждый охотник желает
2. Каждый охотник желает знать
3. Каждый охотник желает знать где
4. Каждый охотник желает знать где спит
5. Каждый охотник желает знать где спит белка

Делает она это очень быстро, потому что - маленькая.

Допустим, на 5 итерации мы останавливаемся и вся сгенерированная последовательность подается на вход в большую модель, чтобы она предсказала вероятности по каждому токену в последовательности.
И сверяем — что выдала маленькая модель и что предсказала большая. Если на какой-то итерации возникли различия, то начиная с нее большая модель (также в итерационном режиме) генерирует новый текст:

4. Каждый охотник желает знать где сидит
5. Каждый охотник желает знать где сидит фазан

Потом маленькая модель снова выдает пачку черновых токенов, а большая проверяет. И так продолжается дот тех пор, пока не будет закончен весь текст.

Такой подход гарантирует, что конечный результат будет точно таким же, как если бы весь текст писала большая модель.
При этом мы получаем прирост производительности (инференса) примерно в 2-3 раза.

#llm #petproject

​​Эволюция архитектуры баз данных

"Система управления базами данных — крайне сложный программный продукт, и рассказ о его архитектуре потянет на целый увесистый том. А поскольку заголовок обещает нам не просто «архитектуру», а даже «эволюцию архитектуры», сегодня остановимся на одном из компонентов, ключевом с точки зрения производительности, — системе хранения данных. А заодно посмотрим, каково место самых современных систем на рынке и почему оно такое."

Читать статью

#search #petproject

#llm #rag #petproject

Привет!
Хотел бы поделиться проектом:
https://github.com/ArtyomZemlyak/tg-note

Если кратко:
- агент автоматически обновляет базу знаний по сообщениям от пользователя
- агент по умолчанию это qwen code cli
- интерфейс это бот в телеге
- как базу знаний можно использовать репу GitHub

Идея: закидывать посты из разных каналов репостами в бота, а он уже будет все раскидывать по базе знаний.

Может кому-то будет интересно.