#search #rag

Что, если вы попробовали BM25 и SPLADE – FM index+Infini-gram.

Эта статья стала best paper EMNLP2025.

Статья "Infini-gram mini: Exact n-gram Search at the Internet Scale with FM-Index" представляет собой исследование по созданию системы для точного поиска n-грамм в сверхбольших текстовых корпусах. Что такое n-граммный поиск? Это подход аля tfidf основанный на поиске совпадения в строках путем сравнение общих n-грамм токенов или символов. Статья может быть потенциально интересной для тех, кто строит RAG системы с учетом bm25 индексов и иных (аля SPLADE).

🎯 Постановка задачи

Языковые модели обучаются на огромных объемах текстовых данных из интернета, и важно понимать эти данные. Точный поиск по таким корпусам позволяет подсчитывать вхождения строк и находить исходные документы, но существующие системы не справляются с большими масштабами данных из-за высоких требований к хранилищу. Авторы ставят задачу создать эффективную и масштабируемую систему, которая сделает петабайтные текстовые корпуса доступными для поиска.

💡 Идея алгоритма

Основная идея алгоритма — использование FM-Index (Full Text Minute Index). Этот метод, созданный Феррагиной и Манзини, одновременно индексирует и сжимает текст. Алгоритм дает пользователю:

1. Эффективность: Infini-gram mini значительно улучшает существующие реализации FM-Index. Система создает индекс, размер которого составляет всего 44% от исходного корпуса.

2. Производительность:
- Скорость индексации повышается в 18 раз.
- Использование памяти в процессе индексации сокращается в 3.2 раза.
- Потребление памяти при выполнении запросов снижается до незначительного уровня.

Про Infini-gram, он работает принципиально иначе, чем традиционные языковые модели n-грамм. Вместо заранее вычисленных таблиц частот, он использует структуру данных суффиксный массив, что позволяет обрабатывать n-граммы практически неограниченной длины с низкой задержкой .

Ключевая инновация Infini-gram — это отказ от классических таблиц n-грамм в пользу суффиксного массива всего корпуса текстов.

В чем проблема традиционных n-грамм? Для больших n длин последовательности таблицы частот становятся астрономически большими. Например, для корпуса в 1.4 триллиона токенов 5-граммная таблица заняла бы около 28 ТБ, что делает модели с большим n невозможными.

Итого, зачем оно все нам? Недавно, мы видели, как можно использовать поиск встроенный в файловую систему для эффективной работы rag и памяти. Подход с Infiniti gram+fm index может быть полезен для агентных систем с памятью в качестве альтернативы поиска по большим массивам данных. Да, и все это помимо прямой задачи - фильтрации больших сетов.

Этот фильм уничтожит ваше FOMO и синдром самозванца. Хотябы ненадолго. Может быть.

В 2021 году Питер Джексон, в своих лучших традициях, выпустил 7-часовую трёхсерийную документалку про Битлз. Это очень скучный фильм. Челы большую часть его времени просто сидят на студии и пытаются записать альбом.

Узнал о нём от Ануара и поставил фоном во время работы. Возникает ощущение, что мы творим вместе. Битлы пытаются сделать что-то гениальное, а я прост пытаюсь им не мешать и занимаюсь своими делами. Я что-то вроде Рика Рубина, спящего на диване во время записи.

Битлы джемят, играют чужие песни, пытаются искать вдохновение и создавать что-то новое. Это очень длинный мучительный совместный процесс. Они кидают друг в друга идеи, пробуют что-то и нащупывают музыку, которую каждый из нас знает, но тогда её ещё нет.

Заглянуть в то как другие люди творят — офигенно. Ты начинаешь видеть, насколько процесс мучительный и сколько труда великие затрачивают для того, чтобы из ничего получить что-то. Именно благодаря этому они и великие.

Поэтому прекратили все быстро ныть, что выгорели и пиздуйте работать. Я тоже пойду.

#llm #code #petproject

Собрали для вас кейсы вайбкодинга для вдохновления

Вчера попросили поделиться кейсами, в результате получилась классная вдохновляющая подборка от подписчиков канала и выпускников курса. Напомню: у всех людей из подборки ранее не было опыта разработки.

Подписчики канала:

1. Кирилл Макаров — собрал за 3 часа тг-бота на Replit для своего челленджа по креативам. Бот мониторит выполнение домашек, хвалит и напоминает про штрафы, а также удаляет из челленджа после пропуска дедлайна.

2. Даниил Прокофьев — за 2 месяца на Lovable переписал всю операционку своей компании барных викторин (8 лет процессов, десятки городов, международные франшизы). Вместо разрозненных Google Sheets, Airtable и кастомного кода собрал единую ОС, которая покрывает ~70% логики и уже проходит тестирование командой.

3. Николай Березовский — за месяц собрал MVP собственной IDE для не-разработчиков: смесь Cursor и Arc прямо в браузере. Локальные файлы, вкладки, Markdown-редактор уровня Notion, сессионный контекст, встроенный Chrome и агент на Claude Code, который умеет всё — искать, читать, редактировать файлы, работать с вебом, обновлять метрики, коммитить, запускать команды.


Выпускники первого потока курса:

4. Marika Taavet — на Replit собрала себе собственный финтул под малый бизнес: загрузка банковских выписок, автокатегоризация на старых данных, отчёты, полный контроль над логикой. Начала с Cursor, но интерфейс показался перегруженным — ушла в Replit и там зажглась

5. Игорь Ленский — собрал семейное веб-приложение под реальные бытовые процессы. Дела на день с участниками и дедлайнами, список покупок с быстрыми подкатегориями, отдельный экран благодарностей с простым вводом. Минимум лишнего, максимум пользы — лёгкая внутренняя «семейная ОС»

6. Булат Ахметшин — создал бесплатный онлайн-тул для создания и обмена виш-листами. Пользователь быстро заполняет название и дату события, добавляет подарки с фото, ссылкой и комментарием, затем получает публичную ссылку, отправляет друзьям — они могут резервировать подарки без регистрации.

——

Напоминаем, что можно делиться кейсами и тогда будем публиковать еще подборки

#systemdesign #code

Шаблонный сервис

Я всячески люблю, когда разработка идёт предсказуемо – и многое для этого делаю.
Давно хотел написать пост о важности шаблонного сервиса, но не было хорошего примера под рукой. И тут мой коллега выложил наш шаблонный сервис на FastAPI, который мы долгое время использовали и развивали.

Так зачем же нужен шаблонный сервис?

Легко ориентироваться в других сервисах. Иногда нужно залезть в сервис коллег, или поддерживаешь несколько сервисов. Никаких проблем – структура везде одинаковая, всё знакомо, не нужно тратить время на раскопки.

Быстрый старт. Стартуете новый сервис? Полчаса – и он готов. Никаких лишних приседаний.

Единые практики. Шаблон определяет, не только структуру, но и то, как мы, например, делаем ретраи, какие у нас зависимости. как устроен circuit breaker, обработка ошибок и т.д.

Лучшие практики – в одном месте. Если появляется что-то классное, мы добавляем это в шаблон и новые сервисы сразу это наследуют.

Обсервабилити, логирование, работа с секретами – готово из коробки. И меньше шансов, что кто-то забьёт на логирование до лучших времён»:)

Онбординг на кошечках. Новый человек сначала изучает шаблонный сервис, понимает подходы, а потом уже ныряет в боевые системы.

Просто экспериментировать. Создал веточку от шаблона – и прикручиваешь свою новую махарайку, не тратя время на базовую структуру.

Унификация линтинга. Конфиги линтеров лежат в шаблоне. Ничего настраивать не нужно, а код-ревью идёт быстрее – обо всём уже однажды договорились и зафиксировали.

Базовый CI/CD. Для шаблонного сервиса существует шаблонный ci/cd – и это очень удобно.

Мы активно использовали шаблонный сервис в микросервисной архитектуре, но и для монолитных решений он тоже отлично зашёл – стартовали с ним несколько проектов.

Понимаю, что это нужно не всем. Но если вы занимаетесь продуктовой разработкой и играете вдолгую — на мой взгляд, это мастхев.

В общем – заходите, смотрите, ставьте звездочки. И если с чем-то не согласны – пишите в комменты, автор обязательно ответит 🙂

#devfm #systemdesign

#ab #courses