500+ кейсов внедрения GenAI от топовых компаний

На днях копался в GitHub и наткнулся на интресный репозиторий: коллекцию из 500+ реальных кейсов использования GenAI и LLM от 130+ компаний. От стартапов до гигантов.

Это детальные (и не очень) разборы архитектуры, решений и подводных камней. Как GitHub строил Copilot, как Slack делал AI безопасным для enterprise, как Ramp внедрял RAG для классификации индустрий.

Посмотрите например кейс Zillow про использование AI для понимания сложностей данных недвижимости. Там показывают, как сложно работать с неструктурированными данными в реальном мире, где каждое описание объекта написано по-своему, а стандартов нет.

Репозиторий структурирован удобно:
- По отраслям: tech, e-commerce, fintech, media
- По use case'ам: RAG системы, fine-tuning, multi-modal, поиск
- По компаниям: от OpenAI до Discord

Есть даже паттерны архитектур с диаграммами - от простой интеграции LLM до сложных multi-agent систем с human-in-the-loop.

Единственная проблема - листать эти маркдауны в GitHub неудобно. Поэтому попросил Manus упаковать все это в нормальный читаемый сайт. Получилось отлично, теперь можно спокойно изучать кейсы без боли.

Ссылка на сайт: https://uxyogdzp.manus.space/

Если вы продакт-менеджер или техлид, который пытается понять, как внедрить AI в продукт - здесь куча готовых решений. Видите, как Netflix персонализирует контент через LLM, как LinkedIn улучшает поиск, как Discord ускоряет разработку.

Если вы инженер, который строит AI-систему - тут архитектурные решения от тех, кто уже наступил на грабли. Как масштабировать, как оптимизировать latency, как бороться с галлюцинациями.

Если вы стартапер, который ищет идеи - листайте по отраслям и смотрите, что еще никто не делает в вашей нише.

В общем, вы знаете что делать (добавляйте в закладки)

#llm #ml #systemdesign

Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design

#graph #courses

#llm #code

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

#geo #courses

Материалы курса "Пространственный анализ урбанизированных территорий"

В течение семестра получилось наконец-то сделать наиболее полную версию своего курса с презентациями лекций на двух языках: английском и русском, и практической частью на базе QGIS и GeoDa.

Несмотря на фигурирующее в названии словосочетание "урбанизированные территории" курс скорее общий о пространственном анализе с захватом пары смежных тем.

Все материалы по ссылке https://baltti.github.io/spatial-analysis/

#llm #ml #systemdesign

Почему в последнее время в канале больше постов про AI+Coding, чем про продукты с LLM под капотом?

Потому, что актуальных проблем с AI+Coding сейчас больше, чем с разработкой продуктов. Тут есть две причины.

Во-первых, паттерны самых типовых и удачных проектов для внедрения в бизнес - уже известны. Это: (1) Data Extraction и (2) Search Assistants

Мы их уже обсуждали в канале не раз (см оглавление разборов кейсов). Берется LLM посовременней (лучше сразу VLM, если надо с PDF работать), добавляется туда обязательно Structured Output, а в схему прописывается Custom Chain-of-Thought в виде Checklist. Все!

Этого достаточно для реализации больших и дорого выглядящих проектов вроде “автоматизация поиска ошибок во входящих purchase orders”, “медицинский ассистент для приема больных”, “сопоставление номенклатур компонентов между поставщиками (чтобы следить за рынком и продавать быстрее)” и тому подобное.

Да, есть всякие copilots, RAGs, reasoning workflows, agents, но там требуется куда больше телодвижений, риски больше, а прибыльность меньше.

Так что знакомые мне компании и команды пока скучно копошатся и осваивают открывшийся им объем работ с относительно безрисковыми подходами. Принципиально новых кейсов пока нет, но вот дел очень много. Все упирается в разработку и нехватку специалистов, которые могут комфортно разрабатывать системы с LLM под капотом.

И вот это как раз ведет ко второй причине - AI+Coding - это как раз тот инструмент, который может частично компенсировать нехватку “грубой” рабочей силы и разгрузить специалистов. AI не заменяет разработчиков, просто позволяет занять им место “повыше” - вместо проверки вариантов вручную, исследований, поиска проблем, можно сэкономить время и отдать задачи джунам в виде десятка AI Agents. Это ускоряет итерации и улучшает прибыльность. Примерно получается ускорение 5x-7x (дальше - упираемся в самих специалистов).

Но есть нюанс - тут надо многому учиться, а это - процесс небыстрый. Разработчикам надо учиться как использовать современные AI инструменты эффективно, чтобы они помогали, а не наворачивали дел. А мне самому надо учиться тому, как эти команды разработчиков учить. Ведь мало что-то наглядно показать, надо еще помочь уложить в систему, закрепить полученный материал, отработать на практике и проверить.

Поэтому у меня в последние месяцы голова болит больше про AI+Coding, чем про продукты с LLM под капотом. Реализация единичных AI продуктов в компаниях сейчас уже не такая большая проблема, как масштабирование всего этого процесса вширь.

И что-то говорит, что дальше будет еще веселее.

Ваш, @llm_under_hood 🤗

#softskills #career