Интересное что-то
546 subscribers
2.77K photos
253 videos
140 files
4.57K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.iss.one/asisakov_channel
Чат: https://t.iss.one/youknowds_chat
Download Telegram
Как общаются агенты и что такое MCP

Microsoft на своем мероприятии объявила, что они уже видят "open agentic web". Идея не нова — агенты общаются друг с другом, решают задачки, люди отдыхают, о дивный новый мир.

Чтобы этот дивный мир состоялся, нужна фундаментальная вещь —протокол. Давайте вместе разберёмся, что это.
И не забудьте, что в конце, как обычно, список обязательной литературы.

Издалека, зато по порядку

Интернет стал интернетом, потому что компьютеры научились разговаривать друг с другом. Правила этого общения называются протоколами, например, HTTP (для сетевого общения, кстати, нужно много протоколов). Благодаря протоколам есть все, что мы с вами так любим. В конце концов, этот телеграм канал.

Чтобы мы перешли к дивному миру, нам агентов также надо всех соединить в сеть, научить "разговаривать друг с другом". Ваш личный агент "общается" с агентом, который записывает на ноготочки, а второй уже бронирует вам слот.

Есть MCP от Anthropic, A2A от Google и, наверное, куча еще других. Дальше поговорим про MCP, потому что я другого не знаю он самый популярный.

MCP

Сделано в Anthropic.
15 к звездочек на Гитхабе, его уже приняла во все свои продукты Microsoft, и даже окнул Сэм из OpenAI, что как бы намекает на его лидерство.

Основан на клиент-серверной архитектуре. Сервер предоставляет клиенту набор различных tools (базы данных, методы или других агентов, неважно), клиент их с умом использует. Конкретнее:

1) Вы запускаете клиент MCP, отправляете запрос нужному вам MCP-серверу (по HTTP) — "друг, дай список своих tools"

2) Сервер отвечает: «умею вот такое, вызывай их так»

3) LLM на клиенте читает про инструменты, понимает, что вызывать и с какими аргументами. Отправляет свой запрос на сервер.

4) Сервер выполняет, отправляет результат клиенту. Клиент уже делает, что хочет с результатом.

Очень понятный-свободный протокол, примерно так все всегда и делали LLM-приложения. Поэтому он такой популярный. Уже есть 4700 MCP серверов (список).

Более известные люди ругаются на MCP за его простоту, но я до конца претензию не осознал. Если поняли — дайте знать в комментариях.

Смерть SAAS

Агенты с протоколами реальная угрозу классическому Software as a service. Гендиректор Microsoft тоже любит так говорить.

Зачем платить за подписку на простой soft, когда хочется платить за результат? Хочется не просто иметь CRM в облаке, а чтобы CRM-агент, к которому ты подключаешься, сразу нашел тебе перспективных клиентов. MCP значительно ускорит этот переход.

Я не настоящий стартапер, но посмотрите мнение ребят из YC и почитайте мнение ребят из Andreessen Horowitz. Outcome-based pricing мне видится реальной перспективой.

Что обязательно читать

- Почему MCP победил

- Оригинальный пост Anthropic про MCP

- MCP против API В чем разница проектирования

- Пример создания MCP приложения

И еще обязательно задавать вопросы в комментариях.

Если нужна консультация под ваш вопрос — пишите уже в личные сообщения.
Forwarded from LLM is all you need
Запилил на Степике курс - Разработка LLM с нуля

В курсе вам предстоит с нуля реализовать все основные компоненты LLM:
- Токенизатор (BPE)
- Эмбеддинги (Токенов и Позиционные)
- Блок Декодера:
- Multi-Head Attention
- FeedForward-слои
- Остаточные связи
- Вероятностная генерация

После чего мы соберем и подготовим датасет и обучим свою LLM (pre-train).

Разработка будет вестиcь на Python и низкоуровневых компонентах PyTorch.

Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%.
Я принес. Умение разбираться в людях как ключевой ресурс руководителя. Менеджер-стоик: античные практики современного управления.

Сегодня я принес вам две записи со своих майских приключений на кодфесте. Признаюсь честно, для меня это было очень особенное мероприятие по ряду причин:
1. Codefest в Новосибирске, а это родина моих родителей.
2. Я в ПК менеджерской секции кодфеста и полгода мы с ребятами готовили всю эту секцию. Я туда очень много труда и сердечка вложил.
3. Я не думал делать этот доклад 🙂 Изначально я пришел к Диме Болдыреву звать его на конференцию как спикера, но он меня попросил/уговорил/убедил сделать с ним парный доклад. Я очень не люблю делать парные доклады, но и ради темы, которую я считаю важной, и ради Димы, которого я очень уважаю, я в эту штуку вписался.
4. Я в начале доклада шучу про то, что у нас оттянут зрителей, и я реально думал, что так оно и произойдет, но у нас оказался полный зал людей, и я очень благодарен всем пришедшим. Для меня вообще уже третий год большое удивление, как радушно меня привечают участники кодфеста!
5. Отдельный кайф, что мы с Никитой Ульшиным, с моим единомышленником по любительскому увлечению стоицизмом, сумели зазвать профессионалов стоического дела. Александр Саликов и Ирина Райт из Школы Стоицизма поговорили с нами про эту философию 50 минут, и я без преувеличения вас уверяю, что я думал, будто прошло минут 15, когда нам объявили, что время закончилось. Очень рад, что с ребятами некоторое время назад познакомились, только теплые товарищеские чувства к ним испытываю.

И отдельно я хочу сказать про сам Кодфест.

Я на многих конференциях бывал, со многими тесно сотрудничал.
Есть конференции-«лакшери», типа вход только для особо отобранных, «высокоранговый нетворкинг» и всё такое (плюс много кальянов почему-то).
Есть конференции-профессионалы. Много специализированного контента, профессиональные докладчики, отбор докладов, чтобы никто не инфоцыганил, а только полезное и проверенное рассказывали.
Есть конференции-энтузиасты. Отлаженных процессов там маловато, презу твою может даже никто не посмотреть перед выходом на сцену, но атмосфера такой кипучей студенческой самодеятельности. В этом есть свой прикол.
Есть конференции-бренды. Когда одна компания делает свою конференцию, но при этом в хорошем случае старается хорошо соблюсти диверсификацию докладчиков из разных компаний (а кто-то и не старается, или кулуарно банит неугодные компании, например).

Но Codefest для меня – единственная конференция-друг❤️ Самобытный товарищ, со своими специфичными словечками и особыми приколами, типа доширачной станции или рюмочек рассола на утро после афтепати, а до него пакетики с алказельцером и патчами против отеков под глазами 🙂

И люди такие же интересные приходят. Три года подряд я вижу, как одна и та же девушка занимает место в первом ряду секции менеджмента и слушает большинство докладов, но иногда уходит, заботливо оставляя записку, что к такому-то времени и докладу она вернется. Что-то в этом всём есть особенное и неповторимое.

Теперь ссылки на доклады 🙂

https://vkvideo.ru/video-65336816_456239732?list=ln-IpUGleJsLQCAEFeDwpЕвгений Антонов, Дмитрий Болдырев. Умение разбираться в людях как ключевой ресурс руководителя.

https://vkvideo.ru/video-65336816_456239847Никита Ульшин, Ирина Райт, Евгений Антонов, Александр Саликов. Менеджер-стоик: античные практики современного управления.
Forwarded from Pavel Zloi
Chat Tank

Решил окунуться в web-интерфейсы для работы с моделями в формате чатика, прежде всего было интересно найти аналог Open WebUI, мне он очень нравится, но есть пару фатальных недостатков, в частности:
- нельзя вызывать хук при регистрации новых пользователей
- нет prometheus экспортера
- агенты там называются моделями, что создаёт путаницу
- до сих пор не добавили MCP, единственный вариант подключиться к ним - через костыль в виде обёртки mcpo

Ещё один недостаток Open WebUI в том, что он с недавних пор стал закрытым проектом и если у вас больше 50 пользователей придётся прикупить лицензию.

Ну так вот, другие ю-ай'ки...


» LibreChat

Первой пощупал систему LibreChat (рис.1), внешне красиво, но там очень много всяких крутилочек, вертелочек и настроек выставленных по умолчанию, явно навайбкодили, так как в нормальных, доИИреволюционных, проектах в настройках обычно только самое важное.

После Open WebUI проект LibreChat смотрится очень перегружено (рис.2), ощущения от LibreChat словно от Miranda IM (олды поймут).

Ну да ладно, полез запускать всё это дело, скачал docker-compose.yml, он к слову состоит из пяти подсистем: librechat, RAG, mongodb, pgvector и meilisearch.

Отдельно хочу отметить проект meilisearch, если кратко то это поисковый движок, который реализует логику гибридного поиска (векторный и полнотекстовый), само собой собирает "анонимную" статистику, вероятно в будущем станет платным.


» AnythingLLM

Приятная на первый взгляд оболочка (рис.3), простой docker-compose.yml из одного сервиса anythingllm, настроек по минимуму, но есть всё необходимое. По дефолту авторизация отключена (single-user), юзер в роли админа подключается, далее в настройках можно включить авторизацию юзеров (multi-user). Механизма регистрации в системе не предусмотрено, что возможно не так уж и плохо, ведь можно реализовать регистрацию через какую-нибудь внешнюю систему аккаунтинга.

Само собой есть телеметрия, которую очень просто отключить, так что походу этот проект тоже в скором будущем станет платным.

Из странного пожалуй только крайне упоротая логика чатов, то есть workspaces, у юзера может быть одна из трёх ролей:
- admin - тут понятно, может всё
- manager - видит все workspaces, видит многие системные настройки
- default - видит только те workspaces в которые был добавлен

Для построения сервиса нужна роль default, но в ней модель нелья выбрать, разрешена только дефолтная, нет возможности создать агента, можно только чатиться в разрешённых workspace, как говорится "ешь что дают".

Перевод partially реализован, то тут то there you will созерцать english лангуяге ин ёр бравзер.


To be continued...
Forwarded from Pavel Zloi
Аквариум с чатами (ла сегунда партэ)

» Chatbot UI

По первым скриншотам (рис.1) сложилось впечатление, что это именно то что надо, решил попробовать развернуть, но готового docker-compose.yml у проекта не оказалось, думаю ну ладно, пойду читать инструкцию, а там: supabase полный комплект, установка через npm, проблемы со сборкой в докер и много чего ещё.

В общем так и не смог я запустить эту историю.

Пессимизма добавляет последний коммит год назад.


» text-generation-webui

Пупупу (рис.2), авторы не обманули сказав:
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.

Потому что в этом корявом интерфейсе с первых прикосновений ощущаются знакомый флёр приложений на Gradio (рис.3), пользоваться конечно же можно и даже местами удобно, но это single-user приложение, без регистрации и авторизации, плюс оно предполагает работу с локальными моделями, то есть подключить внешнюю апишку не получится.

Как я понял данный проект затачивался скорее в роли OpenAI-подобного API-сервера, а WebUI там скорее примочка сбоку.


» HuggingFace Chat UI

Последний участник моего марафона невиданных интерфейсов, представляет из себя OpenSource кусочек от hf.co/chat, дизайн (рис.4) смотрится лаконично, ничего лишнего, но и мало чего нужного.

Интерфейс и модели настраиваются через .env, иных способов конфигурировать проект не предусмотрено, можно через настройки модели подключиться к удалённой OpenAI-совместимой апишке, да и вообще достаточно гибкие настройки у данного UI.

Но у неё нет авторизации и регистрации, что наверно не такая уж и проблема для домашнего использования, зато есть аналитика по запросам, сколько токенов, времени и так далее занял тот или иной чатик, так что потенциально вижу тут возможность реализовать экспортер.


ЗЫ. Ещё видел LobeChat, но там были одни свистелки и перделки, проект явно делали не инженеры, а дизайнеры, плюс опять же моя любимая "анонимная" телеметрия, так что даже пробовать не стал.


Послесловие

Похоже какой бы то ни было адекватной альтернативы Open WebUI до сих пор нет, хотя ближе всех к этому приблизилась HF Chat UI, но в ней отсутствуют некоторые важные моменты.