#llm #petproject #agents

Написал на Хабре небольшой туториал, как запилить простой пример MCP-сервера.

Разработка MCP-сервера на примере CRUD операций

Model Context Protocol (MCP) это такой единый протокол, который описывает как создавать API сервисов, с которыми могут взаимодействовать LLM.

#rag #llm

#RAG #retriever

Самая простая реализация RAG включает в себя отдельный независимый вопрос и отдельный независимый ответ на него. Но RAG можно настроить так, чтобы он учитывал и всю предыдущую цепочку сообщений (техника называется Contextual retrieval).

Сами по себе LLM уже умеют обрабатывать цепочку сообщений (ее также называют диалог или беседа) - для этого надо использовать Chat Templates (https://t.iss.one/llm_is_all_you_need/62). Но ее нельзя просто так подать в RAG.

Рассмотри такой пример беседы с LLM:

- Вопрос: Как звали жену Цезаря?
- Ответ: Корнелия Цинилла.
- Вопрос: А его детей?

Когда у нас один единственный вопрос в цепочке: Как звали жену Цезаря?, нам с ним ничего дополнительно делать не нужно - подаем в ретривер как есть. Но если мы подадим в ретривер А его детей?, то ничего хорошего он не вернет. Максимум что он найдет так это каких-то (любых) детей, но скорее какую-то общую информацию о детях.

Чтобы это исправить нам нужно предварительно трансформировать последний вопрос примерно в такой вид: Как звали детей Цезаря?.

В этом нам поможет LLM:
1. Получаем цепочку сообщений.
2. Просим LLM переформулировать последний вопрос.

messages = [
    {"role": "user", "content": 'Как звали жену Цезаря?'},
    {"role": "assistant", "content": 'Корнелия Цинилла.'},
    {"role": "user", "content": 'А его детей?'},
    {"role": "user", "content": 'Выше история переписки в чате и последний вопрос пользователя, который может касаться контекста в этой истории. Переформулируй последний вопрос так, чтобы его можно было понять без истории чата. Постараяся максимально сохранить слова из исходного вопроса. Если вопрос понятен без контекста - напиши его без изменений.'}
]

3. Этот единственный переформулированный вопрос (и только его) подаем в ретривер, где он превращается в вектор и по нему ищутся чанки.
4. Дальше работаем как обычно.

Паттерны и анти-паттерны использования паттерн-матчинга в Питоне

Наткнулся на доклад про паттерны паттерн-матчинга 😁 и мне он понравился: Patterns and Anti-Patterns in Python's Structural Pattern Matching
Доклад очень понравился, несмотря на то, что паттерн-матчингом я пользуюсь с самого его появления (кажется в 3.10), я подчерпнул полезное для себя. Что понравилось? Последний пример, где Brett показывает обработку semi-structured JSON. Я вспомнил, что часто внешние API могут возвращать разный формат JSON в зависимости от состояния, но мне в голову никогда не приходила идея обернуть обработку этого в match/case.

Элегантно! 💡

#llm #interesting

Вся лента забита цитатами из интервью Андрея Карпаты, я послушал на одном дыхании и рекомендую вам тоже. Это самая взвешенная, но при этом исходящая из глубокого понимания позиция относительно AGI, ASI и влиянии ИИ на мир.

Не буду пересказывать все интервью, но первый час примерно это прям-то таки детальный роадмап по тому что необходимо решить, построить и сделать чтобы получить действительно полезный ИИ, который может выполнять любую работу, которую умеет делать человек:

- уход от запоминания (и моделей в триллионы параметров) к генерализации концептов и принципов, с возможность "посмотреть в базе" какой-то факт когда это будет нужно
- реальная долговременная память, умение интернализировать, рефлексировать знания в долгосрочную базу, лора-адаптер или напрямую в веса модели
- он называет короткую память у людей фичей а не багом, ибо она помогает обобщать, фокусируясь на общих паттернах, а не на деталях; в отличие от LLM, которые отвлекаются идеальной памятью на огромные данные, что мешает глубокому абстрактному пониманию
- развитие агентов, так же как и интернета, займет еще 10 лет, каждый год постепенно автоматизируя и упрощая разные задачи и профессии, но интеграция этого в глобальный ВВП займет время, а не будет спонтанным взрывом

жутко рекомендую!

P.S. а параллельно с этим Илон Маск сегодня утром в очередной раз объявил о неизбежности AGI в ближайшие годы, мол, Grok будет ИИ-рисечером не хуже Андрея :)

#llm #security

Google выпустила туториал по разработке ИИ агентов для стартапов

Очевидно, что это маркетинговый материал для привлечения стартапов в свое облако.
Но даже в нем можно найти пользу
Я увидел, по крайней мере, две:

1 — Для многих нетехнических людей порог входа в разработку ИИ нелегкий.
Материалы написаны понятно, с хорошими иллюстрациями и дают хорошее общее понимание о том, как устроены ИИ Агенты.
Все примеры приводятся для Google Cloud - это конечно может создать трудности в будущем.

2 — У Google хорошая инфраструктура для Gen AI стартапов.
При этом они дают щедрые гранты на использование (до 350k$).
Знаю ребят, которые получали такие гранты и были довольны.
Есть риск, что ваш проект взлетит и при масштабировании Google отыграется на вас сполна (vendor lock). А цены при масштабировании реально космические, и часто стоимость использования определяется количеством запросов, а не временем использования.

Если разобраться в инструментах, то получится быстро итерироваться и тестировать гипотезы.

#career #softskills #analytics #courses

Приветствую, дорогие друзья!

На просторах интернета нашла очередную приколюху, которую сегодня также планирую досконально изучить.

В LinkedIn это назвали весьма высокопарно - MBA для продактов (окак!). По структуре - это набор разного рода подкастов .
По приложенным ссылкам можно увидеть небольшое саммэри выпуска, ключевые идеи и даже упоминаемые в подкасте материалы.

Ну, поглядим. Сохраняйте себе, вдруг пригодится 😎

#позапросамстраждущих #какворватьсяваналитику #продуктовыеистории

#python #code