UI-агенты

Сегодня обсудим технологию, которая может серьезно изменить то, как мы взаимодействуем с софтом и автоматизируем рутину: AI-агенты для управления UI.

Представьте себе ИИ, который умеет пользоваться компьютером так же, как человек: видеть экран, двигать курсором, нажимать кнопки и печатать текст​. Именно это делают UI-агенты — автономные инструменты, способные выполнять действия в привычном графическом интерфейсе вместо пользователя. Они могут открывать приложения, браузеры и другие системы и работать с ними без специальных API.

Уже существует несколько вариантов реализации таких UI-агентов:

- Anthropic Claude (Computer Use): Claude 3.5 получила экспериментальную функцию «Computer Use», которая позволяет отдавать модели команды работать с компьютером через виртуальный рабочий стол. Это первая крупная AI-модель с такой способностью, и пока она в бета-режиме.

- OpenAI Operator: новый агент от OpenAI, который самостоятельно открывает встроенный браузер и выполняет в нем задачи по инструкции пользователя.

- Browser Use: открытая платформа, делающая веб-сайты «понятными» для AI-моделей. Этот инструмент подключается к браузеру и предоставляет ИИ структурированное представление страницы (включая распознавание элементов интерфейса), чтобы модель могла навигировать по сайту, кликать по ссылкам, вводить данные в поля и т.д.

🤔 Где это можно применить? Практически где угодно. Немного сузим круг и поговорим о том, как можно использовать UI-агенты бизнесу:

- Robotic Process Automation (RPA) и работа с legacy-системами: RPA давно использует скрипты для эмуляции действий человека в интерфейсе. Интеллектуальные UI-агенты выводят эту идею на новый уровень.

- Тестирование ПО: автоматизация регрессионного и UI-тестирования, проверка пользовательских сценариев без написания сложного кода.

- Сбор данных: автоматический парсинг сайтов и приложений, где нет готового API.

По сути, это возможность создать «макросы нового поколения», которые понимают естественный язык и могут адаптироваться к изменениям в интерфейсе.

🧐 А есть примеры? Да пожалуйста. Вот вам кейс Duolingo: автоматизация UI-тестирования

Вместо того чтобы разрабатывать регрессионные тесты, команда QA в Duolingo стала описывать шаги тест-кейса на естественном языке, а mobileboost.io сам выполнял эти шаги на эмуляторе устройства​. В результате удалось сократить объем ручных регрессионных тестов примерно на 70%​.

И напоследок предлагаю взглянуть, как работает UI-агент в реальном времени. Впечатляющая штука.

Гайд от OpenAI: как внедрять GenAI в бизнес

OpenAI подготовила набор рекомендаций и практик для компаний, которые хотят встроить генеративный ИИ в свои процессы:
🔗 https://openai.com/business/guides-and-resources/

Самая полезная, на мой взгляд, — Identifying and scaling AI use cases. Мы перевели её на русский:
🔗 https://kts.tech/posts/vyyavlenie-i-masshtabirovanie-variantov-ispolzovaniya-ii

В статье разбираются сценарии применения:
Создание контента — черновики, редактура, перевод, адаптация под разные каналы.
Исследования — быстрый сбор, анализ и структурирование информации.
Кодинг — генерация и отладка кода на любом языке; скрипты для «не-девов».
Анализ данных — извлечение инсайтов без deep-Excel/SQL; автогенерация графиков.
Идеация и стратегия — брейншторминг, проверка гипотез, составление планов.
Автоматизация — передача рутинных повторяемых шагов «на автопилот».

📅 Хотел напомнить, что 29 апреля в 11:00 проведём вебинар, где расскажем, что такое ИИ-агенты, покажем, как мы используем их у себя и как их внедряют российские компании. Подключайтесь!

❗️Напоминаем: уже во вторник, 29 апреля в 11:00, встречаемся на вебинаре!

Тема: ИИ-агенты: как они уже меняют бизнес в России и мире

✅ Что такое ИИ-агенты и чем они отличаются от LLM-моделей?
✅ Покажем, как ИИ-агенты уже внедряются в российских компаниях
(на примере cloud.ru, iiko.ru) — и что происходит за рубежом
✅ Как они решают задачи бизнеса?
✅ Кратко расскажем как ИИ-агенты устроены (MCP)

Спикер мероприятия: Александр Опрышко, Управляющий партнер KTS, системный архитектор

Готовьте свои вопросы спикеру! 😉

Если не получится быть онлайн — не переживайте: запись вебинара мы выложим сюда же, в канал.

📎 Подключиться к вебинару можно будет по ссылке.

🗓 Чтобы не забыть, добавьте событие в календарь. Ссылка на добавление в календарь в комментариях под этим постом.

До встречи!

🔥Уже завтра — вебинар об ИИ-агентах! 🔥

Как они работают, где применяются и как их использовать прямо сейчас.

📅 29 апреля в 11:00 (по Мск)
👉 В Zoom, ссылка для входа завтра

Утром еще обязательно продублируем ссылку. Подключайтесь!

Стартуем уже через час!

⏰ В 11:00 начнётся вебинар «ИИ-агенты: как они уже меняют бизнес в России и мире»

👉Ссылка для подключения

Наливайте себе вкусный кофе и настраивайтесь на продуктивный час😉

Начинаем!

👉Подключайтесь 👈

Спасибо всем, кто пришёл сегодня на вебинар и ответил на вопросы в наших опросах!

Ссылка на запись:
👉 YouTube
👉 RUTUBE

Хотел поделиться результатами одного из опросов - "Какими LLM вы пользуетесь в работе и в жизни?".

Gemini оказалось очень недооценена, модель 2.5 Pro показывает отличные результаты благодаря доступу к поисковому индексу Google, что существенно повышает качество и актуальность ответов.

Есть 2 пути использования:

1️⃣ https://gemini.google.com/app - интерфейс, похожий на ChatGPT (есть дневной лимит запросов).

2️⃣ https://aistudio.google.com/prompts/new_chat - Плейграунд моделей здесь не сталкивался с лимитом запросов в день
⁃
Рекомендую попробовать — понадобится только VPN.

Оставайтесь с нами и до встречи на других вебинарах!

AI всех заменит?

Недавно опубликовали внутренние обращения CEO Shopify и CEO Duolingo.
- CEO Duolingo, Luis von Ahn - linked
- CEO Shopify, Tobi Lutke - x.com
- (копия обращений - telegra.ph)

Основные мысли, касающиеся сотрудников и процесса работы:
AI — базовый навык для всех. Использование ИИ становится обязательным требованием для каждого сотрудника – от стажёра до С-level. «Отказаться» от освоения инструментов ИИ практически равноценно стагнации.

Прототипы должны начинаться с ИИ-экспериментов. На этапе GSD-прототипирования (фрейворк Shopify) команды обязаны активно применять ИИ, чтобы быстрее учиться и выводить первые версии продукта.

ИИ-компетенции будут оцениваться в performance-review. Умение грамотно работать с ИИ — неочевидный навык. У многих складывается впечатление, что достаточно написать один запрос, и если сразу не получаешь идеальный результат, значит «не работает». На практике важно уметь формулировать промпты и правильно задавать контекст.

Проверка «можно ли это решить ИИ?». Постепенный отказ от подрядчиков там, где справится ИИ. Использование ИИ станет критерием при найме и в оценке эффективности. Новый штат одобряют, только если команду нельзя дальше автоматизировать.

Что это значит?
AI становится таким же базовым навыком, каким когда-то стала компьютерная грамотность и умение работать с Excel для «белых воротничков». Наступаем массовая адаптация технологии, необходимо менять привычных подход к выполнению задач. Острая необходимость в найме людей и подрядчиков трансформируется в острую необходимость создавать no-code прототипы агентов, которые смогут выполнить конечную задачу.

Перчатка бесконечности ИИ-агентов

Мы хотим построить инфраструктурную платформу, которая позволит создавать ИИ-агентов, работающих в рамках российских решений.

Что значит инфраструктурная платформа?
Это платформа, которая берёт на себя весь "геморрой" по эксплуатации решений, обеспечивает доступ к большим языковым моделям и локализуется в России для соблюдения законов о персональных данных.

Что нужно для создания ИИ-агента?
- Поддержка каналов коммуникации, в том числе российских — VK, Telegram, WhatsApp, Avito, Jivo и других.
- Доступ к лучшим коммерческим и open-source моделям.
- Инструмент или фреймворк для создания агентов.
- Векторное хранилище для реализации RAG.
- Поддержка интеграций с российскими платформами: amoCRM, Битрикс и т.д.

✅ Первый камень — https://www.smartbotpro.ru/ — наша платформа, поддерживающая российские каналы коммуникации.

✅ Второй камень — no-code инструмент для автоматизации и создания агентов — n8n. Его можно развернуть у нас в Nocode Cloud. В нём "из коробки" настроен доступ к OpenAI, Anthropic, Gemini и другим сетям, недоступным с российских серверов. При этом платформа расположена в России и соответствует требованиям 152-ФЗ.

✅ Третий камень — хаб доступа к API OpenAI, Anthropic, Gemini. Обратившись к нам, можно получить доступ к последним state-of-the-art моделям с расширенными лимитами использования.

🕐 Четвёртый камень — маркетплейс MCP-серверов — https://mcplist.ru/. Сегодня мы запускаем платформу, где будем собирать MCP-серверы для локальных российских сервисов и популярных мировых инструментов. Следующим шагом станет реализация "развёртывания по кнопке" MCP-инструментов внутри nocodecloud, чтобы можно было сразу подключать их к n8n и реализовывать сценарии агентов.

🕐 Пятый камень — векторная база данных. Она нужна для реализации RAG. Что такое RAG и зачем он нужен, мы писали здесь. Сейчас находимся на стадии выбора и тестирования БД: Qdrant или Milvus.

Что такое Model Context Protocol и почему о нем все говорят в AI индустрии?

29 мая в 11:00 команда KTS — IT–компания, основанная выпускниками МГТУ и создающая IT-продукты для крупного бизнеса с 2015 года, проведёт вебинар для руководителей проектов и разработчиков. Если вы работаете с ИИ или просто следите за развитием LLM — этот вебинар для вас.

Model Context Protocol — один из новых стандартов взаимодействия LLM с реальным миром, выпущенный Anthropic. MCP активно внедряется во множество инструментов, таких как: Cursor, Claude, n8n, Zed и другие. Он открывает возможности по легкому встраиванию самых разнообразных систем в LLM, превращая языковые модели в "многоруких помощников", зачастую даже не прибегая программированию.

Что будет на вебинаре?

✅ Проведем экскурс в function/tool calling в LLM - как языковые модели могут оперировать фактами из реального мира
✅ Расскажем о появлении Model Context Protocol (MCP): что дает новый протокол?
✅ Продемонстрируем архитектуру взаимодействия MCP-серверов и клиентов
✅ Покажем практические примеры использования в Claude Desktop, Cursor, n8n
✅ Объясним, как написать свой собственный MCP-сервер (Python SDK, Node.js SDK) и интегрировать в свои процессы

Также на вебинаре поговорим о том, как собрать MCP-сервер без кода на n8n, где искать существующие MCP-серверы и что существует, кроме MCP?

Если вы хотите понять, куда движется интеграция ИИ, и как использовать это в своих продуктах или проектах — приходите.

❗️Регистрация на вебинар не требуется! Вся информация о вебинаре будет выложена в этом канале 😌

🔥 28 мая встречаемся на Data&ML2Business от Yandex Cloud

Конференция Data&ML2Business — это концентрат прикладного опыта в Data и ML для бизнеса: генеративные модели, ИИ-системы, речевые технологии, чат-боты, автоматизация процессов и колл-центров.

Залетайте к нам на зелёный стенд KTS — покажем, расскажем и вдохновим:

🟢Как построить классическую/ML инфраструктуру и эффективно ей управлять, на примере MLOps-платформы, которую мы разработали вместе с Альфа-банком.
🟢Как внедрить AI-агентов и эффективно управлять ML-процессами, расскажем на примере AI-агента, который умеет продавать бетон.

🎮 Бонус: сыграйте в AI-квест — станьте проектным менеджером, разберись с проектом внутри Yandex Tracker с AI помощником и получи призы

Когда: 28 мая 2025
Где: Москва, LOFT#8

Регистрируйтесь по ссылке и до встречи на конференции!

📢 Уже скоро! Вебинар «Что такое Model Context Protocol и почему о нем все говорят в AI-индустрии?»

🗓 29 мая в 11:00 по Москве
🎙 Спикер — Игорь Латкин, управляющий партнер KTS, системный архитектор

Разберем:
— как LLM работают с внешними данными
— что такое MCP и зачем он нужен
— примеры: Claude Desktop, Cursor, n8n
— как собрать свой MCP-сервер (даже без кода!)

❗️Регистрация не требуется — ссылочка на подключение в Zoom. В день вебинара обязательно продублируем и напомним!
📌 Также в комментариях прикрепляем ссылку на добавление мероприятия в календарь.

Увидимся!

Доброе утро!

Стартуем уже через час!

⏰ В 11:00 начнётся вебинар «Что такое Model Context Protocol и почему о нем все говорят в AI-индустрии?»

👉Ссылка для подключения

До встречи!

Начинаем!

👉Подключайтесь👈

Как Morgan Stanley убедились, что AI поможет компании лучше обслуживать клиентов

Друзья, мы начинаем серию постов о том, как AI помогает развивать бизнес и расскажем вам про опыт мировых компаний и то, как они применяют искусственный интеллект (иногда самым неожиданным образом), чтобы улучшить клиентский опыт, процессы внутри компании и как итог вывести бизнес в лидеры рынка. Сегодня поговорим про компанию Morgan Stanley — это мировой лидер в сфере финансовых услуг. А как мы знаем, финансы — во многом бизнес взаимоотношений. Но даже в столь личной и чувствительной работе может помочь искусственный интеллект.

Идея проста: если финансовые советники в Morgan Stanley смогут быстрее получать информацию и тратить меньше времени на повторяющиеся задачи, то будут предлагать клиентам больше качественных идей.
Чтобы убедиться в том, что AI поможет в решении поставленной задачи, эксперты провели ряд тщательных оценок для каждого приложения — Evals.

Evals — это строгий, структурированный процесс измерения того, как модели ИИ реально работают по сравнению с бенчмарком в конкретном сценарии использования. Оценки помогают собирать экспертную обратную связь на каждом этапе внедрения и непрерывно улучшать работу ИИ.

Ключевые метрики зависят от того, что наиболее важно для каждого сценария использования. Оценка Morgan Stanley была сосредоточена на повышении эффективности и результативности их финансовых консультантов. Поэтому в первую очередь эксперты оценили:

Как AI переводит текст. Измерение точности и качества переводов, создаваемых моделью.

Как AI обобщает информацию. Оценка того, как модель сжимает информацию, используя согласованные метрики точности, релевантности и связности.

Как отвечает AI по сравнению с экспертами. Сопоставление результатов ИИ с ответами опытных консультантов, оценки выставлялись за точность и релевантность.

Итоги оценок придали Morgan Stanley уверенности и подтолкнули к интеграции AI в продакшн.
В результате 98 % консультантов Morgan Stanley ежедневно используют OpenAI. Доступ к документам вырос с 20 % до 80 %, время на поиск резко сократилось. И, как главный итог, консультанты проводят больше времени в общении с клиентами благодаря автоматизации задач и более быстрой генерации идей.

Кэйтлин Эллиотт, руководитель по генеративным ИИ‑решениям на уровне всей фирмы:

Отзывы консультантов чрезвычайно положительные. Они активнее взаимодействуют с клиентами, а действия, на которые раньше уходили дни, теперь выполняются в течение нескольких часов.

Источник