Кстати, эта разработка подхода к оценке применения A-tool в разработке ПО заняла у меня пять минут. Я просто попросил сделать это GPT-4.

См. сюда: https://chat.openai.com/share/67e2d470-25a5-486e-b38d-861465419c17

ну все написано для "коня (проекта) в сферическом вакууме" и это красиво, звучит умно как и сотни книг написанных по сбору метрик.
При попытке перейти к реальному коню (проекту) возникает проблема приведения полученных данных к единому базису, те к чему то что позволит сравнить два проекта (коней) которые принципиально разные и по сложности функционала и по платформе реализации и по квалификации команды его реализующего и т.д. и т.п.

ну и что от одного проекта будем умножать\делить\вычитать\складывать от второго проекта если базис проектов разный ?
Ну умножим\поделим\вычтем\сложим и получим какие то циферки. Вопрос - а что эти цифры нам дадут в случае разных проектов (см.выше первые пришедшие на ум возможные отличия) ?
На мой взгляд прежде чем писать красивый, большой и трудно запоминаемый список чего будем мерять, ChatGPT должен был сформулировать правила выбора проектов+исполнителей для сравниваемых проектов

На пути к безопасным инструментам на основе ИИ. Разработчикам на заметку.

Наконец-то действительно ответственный ИИ. Чат-бот GOODY-2 «создан с учетом передовых этических принципов нового поколения»: он дает максимально безопасные и этичные ответы. То есть бесполезные. Например:

— Как сварить яйца?
— При варке используются высокие температуры, это может привести к ожогам или пожару.

Это будущее.

Рассказываем, как создать чат-бота, который может отвечать на вопросы на основе корпоративных данных, используя подходы RAG (Retrieval-Augmented Generation) и LangChain: https://bit.ly/3UBu0VS

RAG — это метод, который сочетает в себе извлечение текста и его генерацию, позволяя чат-боту выбирать релевантные документы из большого корпуса данных и использовать их для генерации ответов.

А вы применяли RAG в своих разработках? Делитесь своими кейсами в комментариях!

В середине февраля Google выпустила для внутреннего использования модель Goose на базе LLM Gemini для помощи программистам в написании кода. Goose был получен при помощи дообучения LLM Gemini с использованием датасета, созданного на основе внутреннего репозитария кода.

Мы погуглили соцсети, но впечатляющих подробностей пока так и не увидели.
Судя по постам в Twitter модель имеет контекстное окно в 28к токенов, т.е. порядка 5000 строк кода, умеет работать со специфичными для Гугла технологиями, писать код на основе запросов на естественном языке. Похоже что компания рассматривает свой Copilot как одно из средств сокращения расходов.

Вот мнение не последних членов сообщества

Microsoft выпустили вторую версию курса «Generative AI for Beginners». Курс охватывает весь спектр разработки приложений на базе генеративного ИИ, от развертывания среды и промптов до продвинутых техник - разработка приложений для генерации текста, чат-приложений, поисковых приложений; инструменты LowCode для ИИ, интеграция, разработка пользовательского опыта для ИИ приложений, обеспечение безопасности, RAG, открытые модели и Hugging Face, AI Agent. О принципах этической разработки вам тоже расскажут. Потребуются базовые знания Python или TypeScript.

Создаем новый отчет в Power BI за несколько минут с GPT4

Даже самые скептически настроенные разработчики уже соглашаются, что GPT дает существенное ускорение в случае, когда вам надо решить задачу с применением незнакомых технологий (новый язык программирования, фреймворк, предметная область). В этом видео (20 мин) Аня рассказывает, как GPT4 помог сэкономить день работы, когда ей потребовалось разработать SkyLine отчет в Power BI.
https://www.youtube.com/live/6ILpAmdUgk0?si=0E9cV_h_uBjgvtNq

Всего три недели назад было опубликовано видео где Gemini 1.5 pro скармливают запись экрана с работой в браузере (что стало возможно благодаря контекстному окну в 1млн токенов), а LLM пишет Selenium код повторяющий действия пользователя. Только мы успели с коллегами обсудить, что похоже эта технология сильно ударит по классическим решениям Robotic Process Automation (это когда рутинную работу человека типа ручного ввода чеков и т.д. заменяют скриптом, как правило что-то связанное с устаревшими ИТ решениями, которые сложно обновить), а уже вчера я наткнулся на стартап с похожим решением backed by Y-Combinator! Набор агентов для типовых действий, которых можно обучить на нужные именно вам операции. Не уверен, что у них все по-честному работает, но если да - скорость от появления технологии до появления продукта на рынке поражает. Может именно таким подходом со временем можно будет натренировать и агента-программиста, который бы брал таск из Jira, писал по нему код, коммитил и закрывал задачу?

Представлен ИИ-ассистент Devin от стартапа Cognition. В отличие от привычных инструментов для разработки типа Copilot, Devin скорее всего представляет собой мультиагентную систему на базе больших языковых моделей. Хотя не исключено, что были реализованы другие подходы.

Ключевая фишка Devin - его способность к непрерывному самообучению и адаптации. В какой-то степени, это подводит его к концепции искусственного общего интеллекта (AGI), наделяя его когнитивными способностями, сопоставимыми с человеческими.

В тестовом режиме Devin не только писал вебсайты, но и самостоятельно осваивал новые технологии вроде Stable Diffusion и ControlNet. Причем он реализовывал их возможности на деле, к примеру, создавая изображения со скрытыми данными через ControlNet на Modal.

Devin не просто хорош в веб-разработке. Он способен с нуля создать и задеплоить и более сложные приложения. К примеру, собрать интерактивный сайт с симуляцией "Игры Жизни", постепенно добавляя новые фичи по запросу юзера и залить финальный продукт на Netlify.

Devin умеет самостоятельно находить и исправлять баги в коде. Он может поддерживать и дебажить даже такие проекты, как книги по конкурсному программированию.

Еще из интересного - это способность Devin настраивать и обучать крупные языковые модели, имея доступ лишь к гитхаб-репозиториям с исследовательским кодом. Плюс он может влиться в любой опенсорсный проект, подхватывая контекст на лету, исправлять ошибки и реализовывать новый функционал.

Devin в состоянии вносить правки в продакшн-репозитории. Тут отличный пример - исправление бага при расчетах логарифмов в системе симпай для питона. Devin разобрался в окружении, вызвал ошибку, протестировал фикс и замержил правки.

Кажется что, с Devin силы разработчиков возрастают на порядок. Он реально может стать продуктивным членом команды.
Создатели утверждают, что Devin успешно брался за реальные задачи на Апворк, программируя модели компьютерного зрения, создавая отчеты и дебажа проекты.

В общем, это действительно интересный проект. А вы что думаете?

На днях была опубликована интересная статья "AI
Showdown: Microsoft Copilot vs. Google Gemini vs. ChatGPT 3.5 vs. Mistral vs. Claude 3", в которой помимо прочего, приводится сравнение различных GAI с точки зрения их способности программировать на Python.

Авторы приходят к выводу, что среди протестированных моделей нет абсолютного победителя для всех задач программирования, выбор зависит от конкретных требований пользователя и задач, которые требуется решить. Тем не менее, Claude 3 (Opus и Sonnet) от Anthropic рекомендуется, как лучший выбор для разработчиков.

Что нас несколько удивило, поскольку в приведённом, в качестве примера тесте,  в задании написать по текстовому описанию python код конвертора валют, в отличии от других моделей Claude 3 забыл сделать кнопку конвертации.Так же указывается, что что ChatGPT 3.5 остается конкурентоспособным выбором для многих задач, даже будучи не самой новой моделью.

Исходя из нашего опыта GPT4-Turbo демонстрирует лучшие результаты и является предпочтительным выбором, тем более, что именно она теперь находится под капотом бесплатной версии Copilot от Microsoft.

Поделитесь своим опытом работы с различными AI-ассистентами в комментариях. Какой ассистент ваш фаворит для написания кода?

Microsoft повышает производительность Copilot с помощью GPT-4

Компания Microsoft объявила, что теперь все бесплатные пользователи Copilot получат доступ к GPT-4 Turbo от OpenAI.

Ранее эта мощная языковая модель была доступна только подписчикам Copilot Pro за $20 в месяц. В числе пеимуществ GPT-4 Turbo мы бы выделили уеличенное окно контекста до 128L, что позволяет вводить запросы длиной до 300 страниц. Кроме этого важно учесть и повышенную производительность и точность в сравнении с GPT-4.

Еще на этой неделе Microsoft анонсировала Copilot GPT Builder для подписчиков Pro. Этот инструмент позволяет создавать кастомные чатботы без программирования для конкретных задач. Ботов можно шарить с другими пользователями.

Была представлена возможность переключаться между GPT-4 и GPT-4 Turbo для подписчиков Pro. Microsoft улучшила интеграцию Copilot с приложением Phone Link для смартфонов Samsung Galaxy (расскажите, кто пользуется).