Всего три недели назад было опубликовано видео где Gemini 1.5 pro скармливают запись экрана с работой в браузере (что стало возможно благодаря контекстному окну в 1млн токенов), а LLM пишет Selenium код повторяющий действия пользователя. Только мы успели с коллегами обсудить, что похоже эта технология сильно ударит по классическим решениям Robotic Process Automation (это когда рутинную работу человека типа ручного ввода чеков и т.д. заменяют скриптом, как правило что-то связанное с устаревшими ИТ решениями, которые сложно обновить), а уже вчера я наткнулся на стартап с похожим решением backed by Y-Combinator! Набор агентов для типовых действий, которых можно обучить на нужные именно вам операции. Не уверен, что у них все по-честному работает, но если да - скорость от появления технологии до появления продукта на рынке поражает. Может именно таким подходом со временем можно будет натренировать и агента-программиста, который бы брал таск из Jira, писал по нему код, коммитил и закрывал задачу?

Представлен ИИ-ассистент Devin от стартапа Cognition. В отличие от привычных инструментов для разработки типа Copilot, Devin скорее всего представляет собой мультиагентную систему на базе больших языковых моделей. Хотя не исключено, что были реализованы другие подходы.

Ключевая фишка Devin - его способность к непрерывному самообучению и адаптации. В какой-то степени, это подводит его к концепции искусственного общего интеллекта (AGI), наделяя его когнитивными способностями, сопоставимыми с человеческими.

В тестовом режиме Devin не только писал вебсайты, но и самостоятельно осваивал новые технологии вроде Stable Diffusion и ControlNet. Причем он реализовывал их возможности на деле, к примеру, создавая изображения со скрытыми данными через ControlNet на Modal.

Devin не просто хорош в веб-разработке. Он способен с нуля создать и задеплоить и более сложные приложения. К примеру, собрать интерактивный сайт с симуляцией "Игры Жизни", постепенно добавляя новые фичи по запросу юзера и залить финальный продукт на Netlify.

Devin умеет самостоятельно находить и исправлять баги в коде. Он может поддерживать и дебажить даже такие проекты, как книги по конкурсному программированию.

Еще из интересного - это способность Devin настраивать и обучать крупные языковые модели, имея доступ лишь к гитхаб-репозиториям с исследовательским кодом. Плюс он может влиться в любой опенсорсный проект, подхватывая контекст на лету, исправлять ошибки и реализовывать новый функционал.

Devin в состоянии вносить правки в продакшн-репозитории. Тут отличный пример - исправление бага при расчетах логарифмов в системе симпай для питона. Devin разобрался в окружении, вызвал ошибку, протестировал фикс и замержил правки.

Кажется что, с Devin силы разработчиков возрастают на порядок. Он реально может стать продуктивным членом команды.
Создатели утверждают, что Devin успешно брался за реальные задачи на Апворк, программируя модели компьютерного зрения, создавая отчеты и дебажа проекты.

В общем, это действительно интересный проект. А вы что думаете?

На днях была опубликована интересная статья "AI
Showdown: Microsoft Copilot vs. Google Gemini vs. ChatGPT 3.5 vs. Mistral vs. Claude 3", в которой помимо прочего, приводится сравнение различных GAI с точки зрения их способности программировать на Python.

Авторы приходят к выводу, что среди протестированных моделей нет абсолютного победителя для всех задач программирования, выбор зависит от конкретных требований пользователя и задач, которые требуется решить. Тем не менее, Claude 3 (Opus и Sonnet) от Anthropic рекомендуется, как лучший выбор для разработчиков.

Что нас несколько удивило, поскольку в приведённом, в качестве примера тесте,  в задании написать по текстовому описанию python код конвертора валют, в отличии от других моделей Claude 3 забыл сделать кнопку конвертации.Так же указывается, что что ChatGPT 3.5 остается конкурентоспособным выбором для многих задач, даже будучи не самой новой моделью.

Исходя из нашего опыта GPT4-Turbo демонстрирует лучшие результаты и является предпочтительным выбором, тем более, что именно она теперь находится под капотом бесплатной версии Copilot от Microsoft.

Поделитесь своим опытом работы с различными AI-ассистентами в комментариях. Какой ассистент ваш фаворит для написания кода?

Microsoft повышает производительность Copilot с помощью GPT-4

Компания Microsoft объявила, что теперь все бесплатные пользователи Copilot получат доступ к GPT-4 Turbo от OpenAI.

Ранее эта мощная языковая модель была доступна только подписчикам Copilot Pro за $20 в месяц. В числе пеимуществ GPT-4 Turbo мы бы выделили уеличенное окно контекста до 128L, что позволяет вводить запросы длиной до 300 страниц. Кроме этого важно учесть и повышенную производительность и точность в сравнении с GPT-4.

Еще на этой неделе Microsoft анонсировала Copilot GPT Builder для подписчиков Pro. Этот инструмент позволяет создавать кастомные чатботы без программирования для конкретных задач. Ботов можно шарить с другими пользователями.

Была представлена возможность переключаться между GPT-4 и GPT-4 Turbo для подписчиков Pro. Microsoft улучшила интеграцию Copilot с приложением Phone Link для смартфонов Samsung Galaxy (расскажите, кто пользуется).

Судя по разговорам на конференциях многие CIO/CTO уже озабочены вопросом как научиться эффективно применять LLM в software delivery. Полный отчет (там много любопытного и помимо AI) во вложении или по ссылке после регистрации https://cloud.google.com/devops/.

Вышло большое двухчасовое интервью Сэма Альтмана Лексу Фридману. Мы отметили в нем рассуждения Сэма по теме, на которой сфокусирован наш канал – AI в разработке софта.

Сэм видит тренд в сторону программирования на естественном языке и использования все более интеллектуальных инструментов ИИ. Он ожидает, что через 5-10 лет, хотя люди все еще будут программировать, но само программирование значительно изменится: часть разработки будет происходить полностью на естественном языке, отходя от традиционных практик кодирования. Эта эволюция является продолжением перехода от использования перфокарт к более современным (высокоуровневым) методам программирования. Он подчеркнул, что лучшие практики могут использовать сочетание инструментов, включая естественный язык для определенных задач и традиционные языки программирования, такие как C для других.

Т.е. будущее, в котором доступность и гибкость разработки значительно улучшены, позволяя широкому кругу людей вносить свой вклад в создание программного обеспечения без необходимости овладения традиционными языками программирования. Как и сейчас: не смотря на наличие Java, Python, TS и т.д. по-прежнему есть задачи, где C++ и Assembler эффективнее. При этом, например, создать небольшое мобильное приложение от идеи до деплоя можно будет полностью на естественном языке. Этот момент в интервью.

Подготовили youtube обзор на проект «GPT-Engineer» - это AI агент, который пишет веб приложения и вносит изменения по запросу на естественном языке. Код проекта выложен на Github. Спойлер: приложения с frontend и backend действительно запускаются и работают. Выдыхаем - нет, пока кожаных разработчиков он не заменит. Но это уже действительно очень похоже на полноценного отдельного робота программиста, а не на copilot. Давайте посмотрим, что там под капотом (Chain-of-Thought, LangChain, Python) и как оно работает.

«Программирование — это самое близкое к суперсиле». — Дрю Хьюстон - Вы, конечно, читали о разработке AI agent , который уже получил титул "первого AI инженера". Мы на нашем канале 13 марта тоже обратили на его появление. Однако до сегодняшнего дня он остается недоступен для непосвященных в дела его разработчика - компании Cognition. Здесь мы решили обратить внимание на появление Devika - нового AI агента для разработки ПО. Девика — брат-близнец Девина, но совершенно бесплатный. https://github.com/stitionai/devika?tab=readme-ov-file . Однако необходимо предоставить доступ к нескольким API (поисковик, LLM, Netlify), чтобы все заработало. Интерфейс Девики в точности такой же как и Девина: Оболочка/терминал,
Браузер
редактор
Планировщик

Не успели познакомиться с Девикой , а мы уже присмотрели появление и еще одного AI инженера - это OpenDevin. https://github.com/OpenDevin/OpenDevin . Проект OpenDevin родился из желания воспроизвести, улучшить и внедрить инновации, выходящие за рамки исходной модели Devin. Привлекая сообщество открытого исходного кода, авторы стремятся решать проблемы, с которыми сталкиваются Code LLM, в практических сценариях. OpenDevin в настоящее время находится в стадии разработки, но вы уже можете запустить альфа-версию, чтобы увидеть комплексную систему в действии. Команда проекта активно работает над следующими ключевыми этапами:

UI : Разработка удобного интерфейса, включающего интерфейс чата, оболочку, демонстрирующую команды, и веб-браузер.
Архитектура . Создание стабильной среды агентов с надежным серверным компонентом, который может читать, записывать и выполнять простые команды.
Возможности агента : расширение возможностей агента по созданию сценариев Bash, запуску тестов и выполнению других задач по разработке программного обеспечения.
Оценка : создание минимального процесса оценки, соответствующего критериям оценки Девина.
После завершения MVP команда сосредоточится на исследованиях в различных областях, включая базовые модели, возможности специалистов, оценку и исследования агентов.

Вот пример, что уже делает Open Devin

Пытаемся заглянуть в будущее, пост с элементами прикладной философии. Devin, Devika, Open Devin, Plandex, SWE-agent – проекты AI агенты разработчики кода растут как грибы поле дождя.

Devin широкой публике еще не показывали, Devika и Open Devin очень сырые проекты от команд из Индии и пока кажутся больше хайпом, чем серьезными игроками. Блокирующая проблема - в них не работает подход human in the loop, т.е. не очень понятно как исправить код приложения если вы хотите сделать это самостоятельно. Особенно если вы хотите поменять только часть кода, а другую часть, которая вас устраивает, наоборот, ни в коем случае не трогать. Скажем, выделить отдельный класс, отвечающий за конкретную функциональность и исправить только его.

На наш взгляд итерационность разработки ПО даже в будущем при наличии сверхмощных моделей не исчезнет, т.к. это одно из базовых свойств жизни и эволюции – постепенное усложнение. Еще точнее мы предполагаем, что в будущем разработка будет выглядеть скорее не как Agile, а как цепочка итераций внутри каждой из которой будет полноценный Waterfall при этом скорее всего Waterfall-процесс соответствующий достаточно серьезным стандартам, таким как ISO13485, DO178. Почему так?

С одной стороны следование стандартам существенно поможет LLM (так же как и людям) повысить точность и качество работы, повысит полноту передачу контекста из итерации в итерацию.

С другой стороны большую часть документации, кода и тестирования будут производить роботы, а значит сложные трудоемкие процессы, которые сейчас обычно из-за дороговизны применяют только в самых ответственных областях – медицина, авионика и т.д. не будет вести к такому стремительному росту затрат и их можно будет позволить себе при разработке самых обычных приложений. Как вам такие планы?

Хорошая статья на Medium – Шпаргалка по созданию идеального промпта. Не то что бы какие-то принципиально новые вещи, но собранные воедино и хорошо структурированные рекомендации:
1. Как сформулировать задачу - AUTOMAT и CO-STAR Framework. В целом это еще пара красивых названий для уже давно описанных подходов, надеемся вы все это знаете, но пригодится перечитать если вы оттачиваете важный промпт
2. Методы Few-Shot Learning – дать модели потренироваться на примерах, перед тем как решать реальную задачу
3. Chain of thought – большинство топовых моделей это уже делает автоматом
4. Prompt Templates – подход для вызовов стандартных промтпов из приложения, например для чатботов
5. Не очень внятный раздел про RAG т.к. это отдельное море информации
6. Несколько слов об общем структурировании запросов
7. Пример как собрать все вышеизложенное в единый промпт
Может пригодиться русскоязычная версия такой шпаргалки?