Только я села писать предпоследний пост о моём RAG-пайплайне #делайRAG, а именно о создании корпуса эмбеддингов, как подумала: технически это самый простой этап, хоть за ним и стоит вся магия, и писать там в сущности нечего. Точнее с одной стороны нечего, с другой стороны даже это «нечего» проще всего вообще _не_ понять. И разве это не хороший хороший повод наконец уже рассказать подробнее о RAG как о технологии? Должен же в канале с соответствующим названием хотя бы на четвертый месяц появиться пост о том, да кто такой этот ваш RAG?

Рассудила я так, и начала писать всё, что знаю, будучи уверенной, что получится коротко, быстро, ещё и про ботовский корпус эмбеддингов останется рассказать. Но что-то пошло не так, поэтому держите новый телеграф: everybody talks about RAG ✌️
В нем схемы всякие, майндмап вот есть. Собственно все написанные на майндмапе слова в колонке и обсуждаются. Она действительно базированная: там информация для совсем новичков или для тех, кто в целом понимает суть технологии, но сильно глубоко в детали не погружался. Я старалась писать понятно без сложной математики (потому что я всё равно сама математику не понимаю), но не могу сказать, что текст получился прям совсем разжёванным, некоторое интеллектуальное напряжение можно и испытать (совсем простой вариант в КАРТОЧКАХ хочу тоже сделать). Зато после этого текста точно будет понятно всё и про пайплайн, и про предыдущие лонгриды, которые #rise_of_RAG, да и вообще многое в устройстве вселенной и нашем месте в ней.

Я знаю, что и на русском языке материалов по этой теме хватает, но мне хотелось написать что-то адаптированное для юристов, да и собственные познания в одном месте сложить (говоря по правде, для этого текста я выясняла некоторые вещи для себя впервые, например, как всё-таки эмбеддинговые модели делают эмбеддинги, и каким таким колдунством при векторизации сохраняется смысл).
Поэтому, коллеги, надеюсь, что это будет полезно — шерьте с другими интересующимися, отвлекайтесь от дел в короткую рабочую неделю, задавайте вопросы, на эту тему я всегда рада поболтать ☕️

Всем привет, почувствовала urge рассказать всякие новости! ☕️ #ботоводство

🤩 Свой недавний лонгрид я вынесла на Хабр. Страшно? Очень страшно! 😵 Когда интерфейс спрашивал меня, уверена ли я, что хочу опубликовать, я была очень не уверена. Там уже две закладки кто-то поставил даже.
Не знаю, есть ли у меня подписчики с профилями на Хабре, если есть кто, и у вас завалялся плюсик — поделитесь, пожалуйста! Самый последний «базированный» лонгрид про RAG тоже планирую вынести на не менее строгую публику zakon.ru, но юристов я боюсь меньше айтишников.

🤩 Если вам было интересно, в какой момент начинают приходить спам-боты в комменты каналов — примерно с 250 подписчиков. Стабильно раз в день удаляю из комментов предложение подзаработать. С глубокомысленными мыслями, что кто-то на моём блоге может заработать, но это не я.

🤩 Количество уникальных пользователей бота стало как-то быстро расти, близимся к уверенным двум сотням. Меня всегда забавляло, что на канале подписчиков намного больше, чем пользователей у продукта, которому канал посвящен. Но, кажется, скоро сравняемся!

🤩 Я в стадии максимальной готовности выкладывания в open-source датасета с размеченной практикой ФАС, а потом еще и кое-какие новости в связи с этим воспоследуют. И в стадии абсолютной неготовности миграции на актуальную genai библиотеку, это новое поле прокрастинации.

🤩 Google сделала инструмент для быстрого и весёлого создания RAGов File Search. Новость хорошая, не угнетающая. Наверное. Не решила пока. Поизучала документацию, вот мои выводы по ней:

⁃ обещают автоматический чанкинг просто по загруженным документам. Технику чанкинга не раскрывают, но дают возможность самим указывать количество токенов на чанк и оверлэп (это сколько токенов могут пересекаться в соседних чанках). Более тонкой настройки нет.
⁃ ваш оригинальный файл, загруженный в этот инструмент, удаляется через 48 часов. дальше хранятся только эмбеддинги в т.н. пространстве file search store — видимо, это такая как бы векторная БД. вот они уже хранятся бесконечно долго в связке с вашим проектом на google cloud. Параметры хранения следующие (довольно щедро и бесплатно):
• Количество хранилищ (stores) на проект: 100
• Максимальный размер одного хранилища: 10 ГБ
• Максимальное количество файлов в одном хранилище: 1 000 000
• Максимальный размер одного файла: 512 МБ
• Количество файлов в одном запросе на загрузку: 100
⁃ хранятся еще и метаданные, обеспечивающие цитирование и более высокую точность поиска. Метаданные можно делать как для всего файла (но это делается однократно при загрузке), так и для чанков (для этого надо заранее готовить jsonы с метками). С помощью метаданных может быть реализован SAC-метод, о котором писала недавно.

В общем очень здорово, очень круто, и главное, что есть на чём попробовать, что-нибудь еще про это напишу. Счастлива наконец написать пост, который влазит в лимиты одного поста 👍

Кто видел предыдущий пост — пардон 😊 вот правильный! Со спокойной душой можно теперь написать про последний этап пайплайна — и пока еще не разойтись, есть несколько общих идей и накопленная за прошедшие месяцы рефлексия о том, какие в воронке минусы, и как её можно менять.

Итак, последний этап #делайRAG — сборка корпуса эмбеддингов. Он делится на 2 основных сущностных шага — подготовку «чанков», то есть текстов, которые и будут превращаться в эмбеддинги, и само превращение в эмбеддинги, то есть векторизацию.

🤩 Чанки
Обычно под чанками понимаются части документов, имеющие определенную длину (в символах или токенах). Но поскольку я делала RAG для бота по наитию, я не знала, что по классике чанкуются именно тексты. Я пошла по пути изготовления (на этапе разметки) резюме решений нейросетью. И именно резюме отправляются на векторизацию (я схлопываю в один текст содержимое двух колонок из волшебной csv-таблицы, но каких именно — не скажу. Ибо близится датасет, и кто захочет повторить, то будет свободен в своих экспериментах).
Я и сейчас думаю, что, учитывая характер исходного материала, это правильный путь: УФАС в решениях пишут много не несущих никакой (для моей задачи) ценности заклинаний, повторяют одно и то же, что просто нарезка текста решения на чанки блага не сделает.
Эту операцию скрипт проделывает моментально без моего особого участия.

🤩 Эмбеддинги
Далее код пайплайна обращается по API к эмбеддинговой модели (сейчас у Gemini она одна - gemini-embedding-001), по очереди векторизует каждый чанк, и все получившиеся координаты собирает в один файл формата NumPy. Кто читал лонгрид про RAG, тот в курсе, что RAGи вполне могут быть реализованы не в виде векторной базы данных, а просто вот таким массивом чисел. Учитывая мой объем (менее 2000 решений, в перспективе не более 3000), этого более, чем достаточно.
Если возникает необходимость корпус эмбеддингов расширить, то имеющиеся векторы не пересчитываются, так как уже обработанные записываются в кэш. Полностью пересчитать пришлось один раз, когда переезжала на другую эбеддинговую модель (на ранее упомянутую, её представили месяц назад).
Я делаю эмбеддинги 768 размерности и использую float64, то есть каждое число в эмбеддинге весит 8 байт: это как бы обеспечивает более высокую точность семантического подбора. Наверное. Я верю на слово всему, что мне говорят нейронки по этому вопросу 🙂

Вот и всё! RAG.csv и корпус эмбеддингов в .npy в паре представляют собой RAG. Коротко напомню, что происходит дальше (или чем занимается код в backend_logic.py):
1️⃣ пользователь вводит в боте запрос или грузит картинку, скрипт обрабатывает текст или описывает текстом картинку;
2️⃣ полученный текст тоже становится эмбеддингом с помощью той же самой эмбеддинговой модели (корпус эмбеддингов и входящие эмбеддинги должны делаться одной и той же моделькой из-за используемых ими таблиц токенизации);
3️⃣ для эмбеддинга запроса косинусным сходством высчитываются топ-10 наиболее похожих эмбеддингов;
4️⃣ топ-10 эмбеддингов откатываются обратно в текст и вставляются в шаблон промпта для нейросети;
5️⃣ нейросеть готовит заключение с учетом того, что нашлось эмбеддинговым поиском, цитирует релевантный кейс в заключении.

И здесь уместно рассказать, что я предпринимаю для повышения точности отбора (a.k.a костыли):
🤩 предобработка креатива — при обработке входящего текста или подготовке описания выкидывается все, что может «зашумить» эмбеддинговый поиск (часы работы, номера телефонов, сайты, всевозможные идентификаторы и т.п.);
🤩 нейросети дается задача критично относиться к тому, что притащено из RAG, и если действительно релевантного кейса нет, то не обращать на них внимания.

Знаю-знаю, не очень впечатляет, и можно и лучше. Техники есть (о них скоро будет новый #rise_of_RAG). И у меня еще с самого начала появилась идея делать привязку к тематическим тегам (о них здесь), то есть этакий гибрид с фильтром по ключевым словам, который активируется не сразу, а после первого эмбеддингового отбора. Очень хочу постараться до Нового года всё таки его реализовать 🎅

Большая новость! 😐 Я опубликовала датасет с размеченной практикой ФАС по рекламным делам!

Это не RAG-база для бота, это лучше! Это более 7 тысяч дел с начала 2019-го года по ноябрь 2025 вообще всех категорий, собранных в одну большую аналитическую таблицу. Подробнее о том, что это и для чего читайте в приложенном readme.

Ссылки:
🤩 HuggingFace (для скачивания отсюда может потребоваться использование сервисов на три буквы)
🤩 Zenodo (с DOI ✌️ 10.5281/zenodo.17599224)

Как пользоваться этой таблицей юристам?
Пока в меру своего разумения и умения пользоваться Excel (csv-формат прочитывается именно в нем). В планах создание удобного и продвинутого поискового интерфейса, но об этом, надеюсь, будут другие новости (с предложением высказаться о своих пожеланиях к интерфейсу, возможно даже).
Но возможности датасета в виде всякой интересной аналитики, статистики и кластеризации я буду постепенно показывать — это будет новый branch в моей нежно любимой рубрике #мудростьФАС. Для затравки пока сообщу, например, что из представленных 7283 дел ФАС обнаружила факт нарушения в 98,8% случаев.

Я не знаю, найдет ли отклик в текущем виде (без поискового интерфейса) датасет у кого-то, но это было, пожалуй, одно из самых интересных занятий в связи с ботом, и я горжусь проделанной работой 😀

🤩🤩🤩🤩 Навигация 🤩🤩🤩🤩

Всем привет! Сейчас, к моему большому сожалению, у меня очень мало времени на более содержательные публикации, но я вижу, как на канал приходят новые подписчики. Я очень всем рада! 🥺 В канале несколько основных треков, и вот небольшая карта по ним:

🤩 Если вы не знаете досконально, что такое RAG, так решительно заявленный в названии канала, то у меня есть вводный материал об этой технологии: everybody talks about RAG (он же на zakon.ru)
В целом в центре моих интересов тема построения баз знаний для реализации RAG-технологий, о чем я завела рубрику #rise_of_RAG, в рамках которой написала лонгриды:
🤩 Rise of RAG: от плоских векторов к темпоральным графам (она же в более ИТ-ориентированном виде на Хабре)
🤩 Document-Level Retrieval Mismatch: ищем иголку в стоге плоских чанков

🤩 Другие мои материалы и проекты
🤩 «Как испытать от вайб-кодинга радость» — сборник советов и методов организации кодинга с нейросетями, основанный на моём опыте
🤩 #делай_bench — фасилитация human-eval бенчмарка LLM для юридических задач (а также пост на Хабре).

🤩 Канал начался (и в общем, конечно, продолжается) как канал о Telegram-боте @lastminute_legal_bot, проверяющем рекламные креативы нейросетью с небольшой RAG-базой. В основном публикации на этом треке можно найти по следующим хэштегам:
🤩 #ботоводство — о том, как создавался бот, с какими сложностями я сталкивалась, как их (не) преодолевала, как вообще развивается бот и я вместе с ним. Публикации по этому тегу могут быть интересны тем, кто практикует т.н. вайб-кодинг или любит следить за жизнью pet-проектов
🤩 #commits — о изменениях в коде и функциональности бота
🤩 #RAG_expansion — новости о пополнении базы знаний, которой пользуется бот
🤩 #делайRAG — о процессе создания базы знаний, которой пользуется бот. Настоящий кейс, рассказанный во всех деталях, который можно использовать как мануал в своих проектах, в едином лонгриде собран здесь. В перспективе хочу ставить этот тег и для рассказов о других своих RAG-проектах

Важные ресурсе о боте:
🤩 Github проекта (можно ставить звёздочки 😀)
🤩 Лендинг проекта

🤩 Значительная аудитория канала — юристы, работающие с рекламой. Для вас здесь есть:
🤩 открытый датасет с 7000+ размеченных дел с практикой ФАС по рекламе за прошедшие 6 лет
🤩 любимая мной рубрика #мудростьФАС — о разных курьезах из практики ФАС по рекламным делам, на которые я обратила внимание, делая RAG для бота
🤩 публикация на vc.ru о типах субстантивных нарушений, на которые ФАС обращала внимание чаще всего в 2025-м году

🤩 Также я хожу на разные мероприятия в сфере legal tech и применения нейросетей в работе юристов
🤩 #spectacle — о событиях, где выступала я сама
🤩 #keytakeaways — о событиях, которые посетила

Пост будет пополняться.

Заключительный пост о #делайRAG-пайплайне формирования базы знаний для бота. До этого я рассказывала о самом процессе наполнения базы, а здесь будет немного об организации и эффективности этой работы. Этот пост и все предыдущие для удобства собрала в одном длиннющем Телеграфе.

Почему воронка — это воронка
Всё просто — на каждом этапе воронки что-то отсекается: из-за особенностей ведения базы самой ФАС и моих представление о том, каким должен быть RAG для бота. На картинке анализ «потерь». Итоговая эффективность пайплайна, то есть процент ссылок, ставших знаниями в базе, 19.89%.

Технические особенности пайплайна
В пайплайне много технических фич, призванных делать его многоразовым и оптимизированным. Например, есть механизме «изоляции запусков» или сессий.
В коде есть переменная CURRENT_SESSION, и при каждом запуске скрапера этой переменной присваивается уникальный ID, который дописывается в JSON, возвращаемый нейросетью после разметки. Таблица, которую я отсматриваю, собирается с учетом этих ID, чтобы в неё не попадало то, что я уже видела.

Также есть логика кэширования, чтобы не тратить лишнее время на проходы скрапера и деньги на API-запросы. Кэширование реализовано в виде:
🤩логгера, записывающего все ссылки, по которым скрапер когда-либо ходил;
🤩 логики проверки наличия JSONа с нужным docID (если JSON есть, значит решение уже было размечено);
🤩специального кэша для корпуса эмбеддингов, чтобы перезаписывать корпус.
Всё это работает и на отказоустойчивость — если падает соединение с Интернетом или какие-то проблемы на стороне Gemini API. Также из кэширования вырастает логика прогона скрапера по тем ссылкам, на которых он был раньше, но не нашёл решения — вдруг решение появилось, и его можно скачать и далее отправить на разметку. 

Да как вообще этот пайплайн выглядит, это какая-то программа?
Это ноутбук (файл в формате .ipynb) в среде Jupyter Lab. Это не совсем IDE (Integrated Development Environment типа VS Code), в которой делаются приложения. У меня особый вайб-кодерский путь, и я использую именно ноутбуки.
В ноутбуках код поделен на ячейки, и выполняя каждую ячейку, ты сразу видишь результат ее работы в виде отчётов о выполнении.
Ноутбук в варианте последнего прогона ячеек можно послать кому-то, кто откроет его в своём Юпитере и увидит все те же отчёты (или прямо в нейросети, почти все читают .ipynb). Ноутбуки подходят для анализа данных, если вам не нужен непременно какой-то интерфейс. И, как мне кажется, формат хорошо подходит для пайплайна — это сильно проще, чем делать программный интерфейс. Можно быть достаточно гибкой в том, чтобы быстро добавить «аварийные» или аналитические ячейки. 
Но! Нюанс использования ноутбука в том, что надо хорошо понимать, какие ячейки с какими у тебя связаны — если не запустишь ячейку с импортами библиотек или активацией API-ключа, то другая нужная ячейка не заработает. А если Юпитер вылетел посреди скрапинга, то вылетает и вся история с сессиями, потому что переменная CURRENT_SESSION живет только в памяти. Чем больше ячеек — тем более тормозной ноутбук. И всё в таком духе. 
Если есть идеи, как можно реализовать пайплайн в более удобном виде — просветите, пожалуйста.

Что еще можно было бы исправить и добавить?
За несколько месяцев работы по наполнению базы несколько раз менялись параметры разметки и скриптованных добавлений в JSONы, которые возвращает нейросеть. Пару раз менялся промпт для разметки. И, собирая датасет, я споткнулась на том, что JSONы получились неоднородные, и их нужно было дополнительно унифицировать.
То есть для текущей версии пайплайна напрашивается какой-то механизм версионирования промпта. И вообще, кажется, нужно ветвить пайплайн на работу ещё и с датасетом, ведь его тоже нужно будет пополнять и дальше.
 
На этом всё! Спасибо всем, кто читал об этой моей работе. Для меня она оказалась одной из самых интересных в рамках всего проекта. И пусть процесс и неидеален, опыт получился совершенно бесценный.

Готовлюсь в рамках курса Мурата Мазукова поделиться своим опытом вайб-кодинга, а также пережив (это наиболее подходящее слово, да) недавно создание еще одного секретного MVP, стала особенно восприимчива к этой теме. А еще и в последнее время многие мои коллеги-юристы и добрые друзья канала вывели в свет или напомнили о существовании своих замечательных навайбкоженных проектов, и мне очень захотелось о них здесь рассказать и, может быть, вдохновить кого-то из читателей на маленький подвиг. Может, вдохновлю настолько, что сложится целая традиция!

Сегодня тогда будет пост о том, как юристы сделали что-то очень классное не-юридическое или около-юридическое.

🏭 Александр, активный участник чата Нейросети | ilovedocs, активно поддерживающий и меня в моих ресерчах здесь на канале, сделал залипательную мини-игрушку, симулирующую управление ТЭЦ — ТЭЦ на триллион (актуалочка с невнятной московской погодой).
Я очень люблю вот такие системки, в которых есть разные балансирующие друг друга переменные, где нужно и глобальную стратегию держать в уме, и заниматься микроменджментом. Одна из моих любимых игр — Fallout Shelter, а примерно всю жизнь я every once in while играю в Sims 2. В общем, люблю тушить виртуальные пожары.
Надеюсь, у Александра получится и в магазины приложений игрушку довести, если ему захочется продолжить. И может Александр, если увидит пост, расскажет в комментах, чем вайбкодил и насколько долго!

🤑 Глеб и его товарищ Алексей, авторы канала «Технологии для юриста», сделали биллинг-бота. Отличной и гениальной в простоте идеей кажется кнопками «старт» и «стоп» фиксировать потраченное на задачу время. Телеграмом пользуются постоянно и все, привязки к компьютеру нет, и, кажется, с таким подходом забыть что-то забиллить просто нереально (особенно если закрепить бота рядом с любимым каналом с мемами).
Особенно классно, что ребята делали первые версии кода в Perplexity — я пока больше ни от кого не слышала, что кодили там, хотя почему бы и нет. Кодили, причем, в соответствии с лучшими, как я считаю, практиками предварительного планирования архитектуры (я лично сильно не сразу додумалась так делать — об этом скоро в канале, кстати, что-то будет…).
Ребята ищут тестировщиков, связаться с ними можно через канал. Канал-новостник, и мне очень по душе чувствуемая в нем системность ведения и выверенность стилистики (парни, признавайтесь, кто из вас дева по ЗЗ). Кстати, в канале, если немного покопаться в прошлых постах, даже можно найти меня 😇

🫥 Григорий, открывший в рамках курса Рунетлекс Академии мне глаза на тот факт, что юристы зачем-то могут что-то кодить, делал Тест «Lawyer / Not Lawyer». Сделан на java script и с авторской методологией, большим деревом результатов. Я с результатами конечно же согласилась, ведь тест отправил меня буквально сразу же в ильфы и четвёрки. А ещё посылала его своей приятельнице — перспективной актрисе, и тест совершенно точно понял, что ей юристом быть мягко говоря не подходит.
У Гриши тоже есть канал. А ещё у Гриши есть курс в, полагаю, тоже навайбкоженной обёртке.

В общем, мораль получается какая-то такая, что возможность кодить нейросетями очень развязывает нам руки в том, чтобы делать какие-то вещи и для души, и для дела. И начать никогда не поздно (а бросить всегда можно успеть 😏)

Очень мне хотелось делать #RAG_expansion раз в месяц, а в ноябре времени было сильно меньше, чем раньше, поэтому влетаю в последний вагон! Настолько последний, что я заливала маленький, но гордый батч изменений вчера в аэропорту за час до вылета в отпуск.
В общем! Теперь в базе 1⃣9⃣0⃣3⃣ кейса, охват с начала 2019-го по середину ноября 2025. То есть как в датасете, который, к слову, скачали уже ровно 100 раз на обеих площадках.

Я очень долго ехала к месту своего откисания, спав при этом очень мало, и поэтому это будет, возможно, самый короткий пост в канале 🤦‍♀️

Пользуясь случаем, хочу поздравить своих подписчиц-мам с Днем матери! И свою родную маму, очень меня поддерживающую во всех моих начинаниях, за которыми вы здесь следите, тоже еще раз поздравляю и крепко обнимаю! ❤️

Дорогие коллеги, работающие с рекламой!
Этот пост — большая просьба к вам 🙏
Когда я опубликовала новость о датасете с практикой ФАС по рекламе, я намекала на то, что ещё будут вести о создании для него поискового интерфейса.
Студенты магистратуры Цифровое право ВШЭ в рамках Хакатона, который у них часть учебной программы, будут делать поисковый интерфейс по датасету, да не простой, а интеллектуальный — с эмбеддинговым поиском. И с обычным тоже.

Очень надеюсь, что к началу февраля получится представить какой-то рабочий MVP! И прошу вас с этим помочь, а именно заполнить анкету-опросник, время заполнения — минут 5, а то и быстрее.
💃💃💃 ССЫЛКА 💃💃💃
И, конечно, перешлите её, пожалуйста, вашим коллегам-знакомым, соприкасающимся с рекламой! Необязательно даже юристам, а тем, кто вообще слышал, кто такая ФАС.

On the side note и уже для всех, а не только «рекламных» подписчиков — свой тот базовый пост про RAG в ещё более упрощённом виде поселился на zakon.ru. Если у вас там завалялся (или активно используется) аккаунт — буду рада вашему плюсику! Хабр принял меня гораздо теплее, мне что, уходить в айтишницы?

Хорошей всем рабочей недели ☕️

Не могу поверить, что вместо контента я, еще и на вновь пришедшую аудиторию, снова прошу заполнить какую-то форму… 💅
Это так обстоятельства предновогодние складываются!) и кое-что большое и интересное is cooking, не переключайтесь 🙂

В общем, сообщество Нейросети | ilovedocs собрало в одну голосовалку родившиеся в этом году проекты от союза юристов и кодинга с нейросетями. Можно выбрать несколько нравящихся вам или оказавшихся нужными проектов вот по этой ссылке 👈

Я смотрю на это как на повод узнать о каких-то классных уже сделанных коллегами инструментах или поделках для души. И в общем, это же одна из целей подобных премий — приподнять видимость таких пет-проектов. Описания и ссылки здесь.

Я там тоже есть (иначе появился ли бы этот пост на канале, мм? 😀) В описании бот, а по ссылке датасет, будем считать это двойным заходом))
Но голосовать я предлагаю по зову сердца и из искреннего желания поддержать братьев и сестёр по ваукодингу! Тем более, что в списке много ставших за прошедшие полгода мне добрыми приятелями авторов ❤️

К слову приходится тотфактчто у датасета больше 130 скачиваний, у бота больше 300 уникальных пользователей, а что творится с подписками на канале — шок для меня! Еще и в рейтинге, который можно увидеть во всех юр.каналах, засветилась 🫠 за что всем читающий этот пост говорю большое спасибо!

Всем привет!

Я с результатом достаточно случайной, но в итоге очень большой и интересной работы — причём не только моей, а ещё 11 человек, самоотверженно уделивших время задуманной мной авантюре. #делай_bench

Авантюра эта — небольшой любительский бенчмарк, а точнее т.н. human evaluation benchmark (то есть без автоматизированной проверки по эталонным ответам) 5 нейросетевых сервисов:
🤩 open-source модель Ken1.0-67B (дообученный на российской нормативной и правоприменительной базе Qwen 2). Для того, чтобы потестировать эту модель на хороших видеокарточках начала собирать у сообщества нетривиальные юридические задачки.
🤩 сервис АйЮрист — та же модель с RAG-технологией, доступ к которой предложил Кенан Коюшов, основатель сервиса. Именно после этого предложения Кенана появилась идея сделать мини-бенчмарк, предложить авторам вопросов поучаствовать в оценке ответов не только на свои вопросы, но и другие вопросы от разных нейросетей.
🤩 Нейроюрист — в представлении не нуждается, показалось интересным сравнить сопоставимые по функционалу сервисы от стартапа и технологического гиганта.
🤩 бразузерный DeepSeek в двух обличиях — стандартный и думающий, оба без поиска в Интернете. DeepSeek бесплатный, доступен в РФ без дополнительных танцев с бубном, довольно популярен среди юристов. Интересно было увидеть, есть ли для обычного пользователя резон идти в платные сервисы, или модель общего назначения может хорошо решать юридические задачки.

Результаты приложены и, как мне кажется, очень интересные получились. Не пугайтесь объёма документа, там в основном картинки и наглядные графики.

Я, думаю, напишу ещё как минимум один пост с рассказом о процессе, своих личных впечатлениях от взаимодействия с Нейроюристом и продуктами Кенана и вообще от всего этого мероприятия. Вот и контент-план на остаток года ☕

Ещё раз хочу поблагодарить всех, кто согласился и смог выступить экспертами в это загруженное предновогоднее время! 🥰 Я убеждена, что мы сделали совершенно правильную вещь, даже несмотря на её некоторую методологическую наивность.

Пост рефлексии о бенчмарке
(#делай_bench — полная версия на Telegraph)

На уровне эмоций есть два плана: мой личный и реакция сообщества. Мне было очень интересно этим заниматься: сюда были направлены самые сильные мои компетенции (метод-дизайн, последующая аналитика и возможность «развернуться», подробно показав изнутри весь процесс). Это по сути работа по соотнесению реальной супер-нюансированной и хаотичной юридической практики с высокоабстрактным уровнем статистики. И эта работа внезапно стала актуальной с появлением LLM и конкурирующих сервисов для юристов. Точнее эту актуализацию я для себя вижу как в каком-то смысле «идеологическую» стратегическую задачу: юристы ничем не хуже других областей знаний, где бенчмаркинг — абсолютная норма, и нужно, чтобы как можно больше использующих нейронки юристов знали о таком способе оценки качества моделей.

Про общественную реакцию — из всех моих проектов за прошедшие полгода на бенч она получилась самой бурной в стакане воды (в моих личных масштабах это действительно очень значимо). Думаю, здесь несколько причин, одна из главных — люди любят конфликты, соревнования и сравнения (думаю, это какие-то примитивные механизмы нашего мозга), даже если сравнивают вот эти вот электронные сущности без особой шоу-помпы. Второе — юридическая практика и юридическое знание очень далеки от всех этих формул, графиков, непараметрической статистики и ранговой корреляции… и что это вообще за страшные слова? Какой линейкой это ты тут что-то измеряешь? А точно ли у тебя правильная линейка? В общем любопытство, помноженное на подозрение и некоторое сопротивление. Ну и третье — просто какая-то новая необычная штука появилась.
И реакция была от токсичной (в единичных проявлениях типа «не взять chatGPT — это кринж») до не просто конструктивной, а, я бы даже сказала за неимением другого слова, illuminating. И поскольку одной из задач на первый квартал следующего года мне хочется видеть если и не новый бенч, то какую-то адекватную методологию (разработанную советом старейшин инициативных умников, этакий White paper, рекомендованный сообществом стандарт проведения бенчмарков), для старта хочу здесь собрать основные идеи, возражения, комментарии, поступившие за прошедшие несколько дней.

Разбила их по смысловым группам:

1. Кто и как оценивает (субъект и процесс оценки)
Проблемы (🤔)
- субъективность и противоречивость human-eval, невозможность полностью её устранить
- влияние на оценку узнавания модели оценщиком
- разный уровень экспертизы оценщиков в разных областях
Идеи (😏)
- LLM-as-a-judge как более надежный метод, выражающий позицию «коллективного разума»
- метод Дельфи («второй раунд»)
- использование эталонных ответов от мэтров отрасли или базовых судебных решений для упрощения работы оценщиков

2. Критерии оценки
🤔
- использование эталонных ответов подходит не для всех ситуации (вопросы-кейсы, где нужно приняти риски, определить тактику / схему)
- в силу разных доктринальных позиций в праве часто нет единственно правильного ответа
- оценщикам предложены взятые «с потолка» критерии оценки, усиливающие субъективизм, а не какая-то четкая шкала
😏
- 100-балльная шкала вместо ранжирования (я ещё в процессе вспомнила своё муткортовское прошлое и судейство в настоящем, и это повышает объективность, но очень усложняет работу оценщика)
- использование в экспериментах «простых вопросов» с эталонными ответами и «вопросов-кейсов» с разными системами оценки

Продолжение в комментах (и в Телеграфе)! А вообще, спасибо всем огромное за интерес! Надеюсь до конца года вернуться ещё с какими-то новостями об этой истории.

Сегодня команда Рунетлекс Академии проводила открытую встречу (как-то не хочется даже называть вебинаром, просто тёплая встреча) об итогах года, рассказывая от первого лица о пути, пройденном курсом о применении нейронок в работе юриста за год.

Я имела очень особенную радость в этом году благодаря менторству на двух потоках — видеть работу команды изнутри. Не во всех деталях, но сильно больше, чем доступно слушателям (и вообще недоступно со стороны).
Вы могли заметить, с какой упоротостью и перфекционизмом я отношусь к своим проектам — в других людях я ищу и ценю то же самое. И могу подписаться под тем, что ребята (их всего 5, на минуточку) делают огромную ежедневную работу. Делают так, чтобы из постоянно обновляемого и устаревающего потока информации извлекать базовые принципы и лучшие практики, складывать их в систему, прививающую определённый тип мышления и набор навыков, которые очень многим людям приносят совершенно измеримую окупаемую ценность.
И делается это всё в поддерживающей атмосфере: выпускников курса уже сотни, они самые разные, в том числе очень авторитетные в юридическом сообществе, и они не дадут соврать. И on top of that просто делают это красиво и удобно для слушателей, просто потому что стремление сделать круто идёт прямо из души. Ксения Даньшина и Валентина Виноградова, делающие всю эту красоту, мне кажется, даже не смотрят на это как на трату ресурсов, а сами заряжаются от классного результата.
Про то, что это очень приятные в общении люди, по счастливому совпадению очень близкие мне по ценностям, я скажу кратко, что в социальном плане мой год можно считать совершенно удавшимся (посылаю обнимашки всем организаторам и менторам) 💕

Я не могу не ассоциировать себя с Академией и курсом, потому что все мои начинания начались благодаря созданной ребятам вдохновляющей среде и спикерам курса. На слайде из сегодняшней презентации (а также на умопомрачительно красивом сайте пятого потока) среди спикеров можно найти теперь и меня 😀
В марте на углубленном треке я буду рассказывать, ни за что не догадаетесь, про что (про RAG, удивились?)
Мне самой немного сложно поверить в то, что в мае я пришла в растерянности, куда эти нейронки к своей работе прикладывать, но…
—— вы находитесь здесь ——

В общем, можно сделать себе новогодний подарок и приобщиться к одному из самых необычных образовательных продуктов для юристов (я убеждена, что то, что делает Ксения — это будущее юр.образования). Ну и меня послушать, хах (но это необязательный трек)! И еще спросить у меня в личке промокодик 🌚

Сюда напрашиваются и мои итоги года, но уже длиннопост, и вообще это пост моего восхищения Ксюше, Паше, Мише, Вале и Кате и всей нашей менторской шайке! Так что попозже, наделаю картиночек 👀

Предновогодний пост, и отправляюсь джинглбелсить! 😎

Сегодня боту 5 месяцев, и есть итоги, которые прямо напрашиваются быть подведёнными — суммировала основные на картинке. Картинка — часть лендинга проекта, который я сегодня обновила, сделав новогодний скин, сходите зацените, пожалуйста, я очень старалась 😚

Когда я только задумывала делать бот, было много сопротивления и блоков. Один из самых сильных — что им просто никто не будет пользоваться, что это будет работа в стол. И спустя 5 месяцев можно окончательно считать, что этот страх был совершенно неоправданным. Для практически двух десятков человек бот стал полноценным рабочим инструментом (то есть они проверили более 20 реклам). Из них 12 использовали бот более 50 раз, ну и есть абсолютные рекордсмены с 90 и 127 использованиями. Спасибо, коллеги! 🥰

Не всё (ну ладно, почти ничего) из задуманных наполеоновских планов по совершенствованию функционала сделать не успелось, но всё равно получился неплохой product-ready инструмент, за который не стыдно. Я до последнего регулярно делала #RAG_expansion, вот сегодня добавила 65 кейсов, и теперь в базе 1️⃣9️⃣6️⃣8️⃣ (не удалось добить до 2 тысяч, эх) с охватом с 2019 по конец 2025.
Из бота вырос датасет, работа над ботом подарила мне кучу озарений на тему оптимального и эффективного вайб-кодинга, вдохновила дальше исследовать построение RAG-систем для юристов. А также открыла много дверей, принесла интереснейшие предложения о сотрудничестве, познакомила с большим количеством замечательных людей. То есть всё, чем я полгода назад уговорила себя попробовать ворваться в юридический вайб-кодинг, сбылось с горкой.
Мне, конечно, уже хочется, чтобы меня воспринимали шире, чем только лишь создательницу бота, но всё равно это дорогой сердцу проект, который я не брошу — хотя и рада, что он живёт своей бурной жизнью as is.

Всех, кто ботом пользовался, следил за его развитием (для новеньких — по тегу #ботоводство много эмоциональных переживаний), а также всех, кто пришёл на канал уже позже — вот вас всех поздравляю с наступающими праздниками! 🙏
Желаю вам отлично провести каникулы, подзарядить свои батарейки о любимые ваши занятия, с новыми силами ворваться в 2026 и принять всё, что он для вас приготовил. Делайте, что должно (то есть из души), и будет, что положено (то есть только всё лично вам нужное)!

Всем привет и с Новым годом! 🥰😎

Я с коротким уведомлением о том, что о #делай_bench я написала публикацию для Хабра. Там, в принципе, всё то же самое, что в отчёте и последовавшем посте, но в формате 13-минутного чтения с небольшим дополнением о моём мнении по LLM-as-a-judge.

Очень интересно, будет ли реакция, и какой она будет! Вас я приглашаю не только почитать, но и поставить плюсик, если у вас есть аккаунт 🥹 for what it is worth, я поставила тег, отправляющий публикацию на конкурс, а вдруг что!…

Ну всё, продолжаем отдыхать, осталось совсем немного!)

Всем привет! Раскачались, выновогодились? 🐧 Я нет, и поэтому…
Сегодня о вайбкодерском, точнее о достижениях других юристов на кодинговом поприще: хочу всё таки сделать это постоянной рубрикой на канале.

Помните, была такая у меня методичка про вайбкодинг? Почти одновременно с ней Анастасия Антоновская опубликовала свой мануал, который может быть отличным первым шагом в кодинг: в нём Анастасия даёт инструкции по установке самых базовых инструментов.
Моя методичка скорее для тех, кто уже попробовал кодить, даёт идеи по структурированию процесса. А мануал Анастасии — точка входа для тех, кто пока ещё даже не подступался и не понимает, что вообще нужно, чтобы начать.

Следующим номером — воспоминание о премии сообщества Нейросети | ilovedocs. В ней победила Наталья Данилова, которая создала заполнялку шаблонов реквизитами (установочные файлы здесь), автоматически проверяемыми по API сервиса ДаДата (о чём статью опубликовала у себя сама ДаДата).
Очень рада за Наташу! Она сделала это приложение ещё на втором потоке курса по нейронкам — на этом потоке училась и я, и я отлично помню, что Наташа была вообще первой из нас, кто что-то наваубкодил ещё во время курса. Кстати, на приближающемся пятом потоке Наташа будет ментором, чему мы ужасно рады! И вообще ура женскому вайбкодингу!

Ну и парочка новостей о героях предыдущего выпуска 🍊
Александр, сделавший игрушку про ТЭЦ, таки опубликовал её в RuStore, можно поставить на Андроид. У меня нет Андроида и Рустора, но очень хочется поддержать коллегу добрым отзывом, поэтому призываю вас скачать, попробовать и поставить оценочку.
А Глеб и Алексей, делавшие биллинг-бота, тоже пошли в вайб-геймдев, и в честь Дня юриста опубликовали очень смешную игрушку Pixel Lawyer Run, рассказав также о ней на Хабре. Ну что за молодцы у нас коллеги! 💻

У меня у самой также есть две ваубкодинговые новости, точнее анонсы.
Скоро должна появиться публикация о том, как юристам начать кодить с нейросетями (и, главное, зачем) в одной, не побоюсь этого слова, ГАЗЕТЕ!)
А также я расширила свои вайбкодерские границы, начав делать один непубличный проект в Antigravity от Google. Поэтому скоро поделюсь своими мыслями об агентских IDE в целом и Antigravity в частности. Спойлер — полностью от кодинга в привычном мне формате (браузерные нейронки + копипаст кода в JupyterLab) я не уйду. Но и IDE пользовать буду, а то немодно живу.
По темам бота и RAGов тоже кое-что готовлю, и вообще надеюсь не сбавлять ритм публикаций в Новом году. На этой ноте расходимся, хорошего всем окончания недели! ❤️