#llm #ml #systemdesign

500+ кейсов внедрения GenAI от топовых компаний

На днях копался в GitHub и наткнулся на интресный репозиторий: коллекцию из 500+ реальных кейсов использования GenAI и LLM от 130+ компаний. От стартапов до гигантов.

Это детальные (и не очень) разборы архитектуры, решений и подводных камней. Как GitHub строил Copilot, как Slack делал AI безопасным для enterprise, как Ramp внедрял RAG для классификации индустрий.

Посмотрите например кейс Zillow про использование AI для понимания сложностей данных недвижимости. Там показывают, как сложно работать с неструктурированными данными в реальном мире, где каждое описание объекта написано по-своему, а стандартов нет.

Репозиторий структурирован удобно:
- По отраслям: tech, e-commerce, fintech, media
- По use case'ам: RAG системы, fine-tuning, multi-modal, поиск
- По компаниям: от OpenAI до Discord

Есть даже паттерны архитектур с диаграммами - от простой интеграции LLM до сложных multi-agent систем с human-in-the-loop.

Единственная проблема - листать эти маркдауны в GitHub неудобно. Поэтому попросил Manus упаковать все это в нормальный читаемый сайт. Получилось отлично, теперь можно спокойно изучать кейсы без боли.

Ссылка на сайт: https://uxyogdzp.manus.space/

Если вы продакт-менеджер или техлид, который пытается понять, как внедрить AI в продукт - здесь куча готовых решений. Видите, как Netflix персонализирует контент через LLM, как LinkedIn улучшает поиск, как Discord ускоряет разработку.

Если вы инженер, который строит AI-систему - тут архитектурные решения от тех, кто уже наступил на грабли. Как масштабировать, как оптимизировать latency, как бороться с галлюцинациями.

Если вы стартапер, который ищет идеи - листайте по отраслям и смотрите, что еще никто не делает в вашей нише.

В общем, вы знаете что делать (добавляйте в закладки)

#llm #ml #systemdesign

Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design

#graph #courses

#llm #code

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

#geo #courses

Материалы курса "Пространственный анализ урбанизированных территорий"

В течение семестра получилось наконец-то сделать наиболее полную версию своего курса с презентациями лекций на двух языках: английском и русском, и практической частью на базе QGIS и GeoDa.

Несмотря на фигурирующее в названии словосочетание "урбанизированные территории" курс скорее общий о пространственном анализе с захватом пары смежных тем.

Все материалы по ссылке https://baltti.github.io/spatial-analysis/

#llm #ml #systemdesign