GitHub предлагает тестировать целый набор LLM в вашем приложении не выходя из среды разработки.

https://x.com/russelljkaplan/status/1820460524460802256

Что думает глава компании, разрабатывающей ИИ программиста Devin

Интерес к ИИ-ассистентам для кодирования растет: Microsoft сообщает, что выручка от GitHub Copilot уже превышает доходы самого GitHub на момент его покупки, а это означает, что около 30 млн разработчиков ежегодно платят Microsoft $100 за этот инструмент.

Я сам давано пользуюсь Cursor, но умудряюсь ещё и использовать Copilot внутри него, тоесть плачу за всё. Вместе веселее :)

Сергей Булаев AI 🤖 - об AI и программировании

Еще один ИИ-ассистент для тех, кто любит работать в консоли :
Omni Engineer - это консольный инструмент, который интегрирует возможности искусственного интеллекта в ваш процесс разработки. Он предлагает интеллектуальные ответы на запросы кодирования, управление файлами, веб-поиск и функции обработки изображений.
https://github.com/Doriandarko/omni-engineer/tree/main

Мы провели небольшое исследование в Jet Brains Marketplace (среде разработки IDE) по популярности Copilot и AI autocomplete плагинов. В таблице все что больше 500 000 скачиваний. Из интересного:

1. Суммарно по всем плагинам больше 30млн скачиваний
2. Из топа все в активной разработке, обновлялось не больше чем 1-2 месяца назад
3. У основных игроков рейтинг не так уж и высок.

Кажется, что чем больше охват, тем меньше лояльность пользователей, что в целом логично. Tabnine и TONGYI Lingma выделяются на этом фоне, ну и Amazon Q тоже.

Пару дней назад OpenAI выпустила SWE Bench Verified. Мы уже писали об SWE Engineer из Принстона, который умеет закрывать баги git-hub. Тренировка и оценка этого AI агента происходила на основе SWE bench – набора решенных задач с гитхаба, т.е. по сути пар: 1) таск с описанием задачи и 2) pull request в котором код исправлений и юнит тесты. И вот теперь Open AI в коллабе с SWE выпустили улучшенный отфильтрованный вариант этого набора данных. Что исправили:

• Прилагаемые юнит тесты в задачах очень специфичны и проверяют что-то помимо решаемой проблемы. Из-за этого при правильном решении юнит тест не проходит и задача записывается как нерешенная;
• Неполное описание проблемы, двусмысленность;
• Юнит тесты устроены так, что для них требуется слишком сложная настройка окружения, с которой не справляется AI агент.

Проблемы вполне понятны, когда мы делали обзор на SWE agent я как раз столкнулся с тем, что один и тот же баг с подробным описанием агент пофиксил, а с коротким нет. Встает вопрос, если мы соревнуемся с живыми разработчиками, то зачем упрощать задания? Баги из датасета были закрыты, значит живые люди с ними разобрались. Я предположу, что дело в том, что часть коммуникаций по задаче могла пройти за кадром, не оставив следов в таск трекере, обсудили на звонке, или разработчик сам себе завел таск, уже зная в чем проблема. Еще часть задач могла быть закрыта, например, с невыполненными юнит тестами. Итого оценивать по ним AI не совсем корректно. Кстати соревнуется не только AI с человеком, но и AI с AI.

Что показал этот новый отфильтрованный датасет? Если лидер (Amazon Q Developer Agent) в SWE bench решал 19.5% задач, то лидер в SWE Bench Verified (тоже, кстати, Amazon Q) решает уже 38.8% задач.
Посмотреть внимательнее на рейтинг на сайте swebench. Почитать про участие в этом датасете Open AI тут.

Для разработчиков react приложений:

Для тех, кто достиг высшего AI dev maturity level хорошая подборка от разработчика из Meta

Принёс вам подборку ресурсов о внутренностях ML фреймворков

Autodidax - туториал который проведёт вас сквозь имплементацию ядра Jax - библиотеки от Google, которая пришла на смену Tensorflow. Сейчас Jax это основной конкурент PyTorch и доминирует в RL сфере. В основном это из-за DeepMind, но ещё на Jax возможно делать симуляцию окружения для ИИ агентов с безумной скоростью. За пределами RL - XAI и Midjourney полностью на Jax, многие компании вроде Apple используют преимущественно Jax (модели для Apple Intelligence тренировались при помощи AXLearn, который работает поверх Jax).

Если autodidax кажется вам сложным - у Андрея Карпатого есть туториал о создании micrograd. Он хорошо объясняет как работает бэкпроп и библиотеки для создания нейронок.

А настоящие хардкорщики могут покопаться в tinygrad - полностью функционирующем ML фреймворке в менее чем 9000 строк кода. Несмотря на небольшую кодбазу фреймворк запускается на видяхах Nvidia, AMD, Intel, Qualcomm и Apple. Вот небольшой курс статей объясняющих внутренне устройство фреймворка (им несколько месяцев, так что некоторые части успели поменяться, но в целом хорошо объясняют суть). А начать знакомство с внутренностями стоит наверное с этого файла.

Если хочется разобраться во всей тематике поглубже, то есть университетский курс о компиляции нейронок от автора Apache TVM (.

Желаю вам приятного начала рабочей недели!

#ликбез
@ai_newz

22 августа в 12:00 Михаил Ларченко выступит с лекцией «Node.js & ИИ: как программировать эффективнее?»

Михаил — разработчик ПО с сильной страстью к решению сложных задач. Его экспертиза охватывает как фронтенд, так и бэкенд-разработку с акцентом на надежную архитектуру и интуитивно понятные интерфейсы.

В нашей студии Михаил поделится своим опытом использования нейросетей в программировании: как они помогают автоматизировать задачи, генерировать код и оптимизировать рабочие процессы.

Смотрите трансляцию на YouTube-канале AI4Dev и задавайте вопросы в чате — ответим сразу после лекции в прямом эфире!

При принятии решения о развитии продукта важный процесс - User Interview . Вместо опроса реальных юзеров можно поговорить с LLM попросив ее выступить в роли специфического виртуального пользователя. Интересно, можно ли теперь применить User Interview с виртуальным юзером на этапе , когда продукт существует тоже виртуально, в головах разработчиков?

Президент и гендир Amazon Энди Джасси во вчерашнем посте рассказал о результатах внедрения ИИ-ассистента AmazonQ для решения задачи обновления корпоративных приложений до Java 17 .
• Раньше программистам компании требовалось на обновление 1 (одного!) приложения порядка 50 человеко-дней работы.
Теперь это занимает несколько человеко-часов.
• С учетом огромного числа используемых компанией приложений, экономия составила 4500 человеко-лет (!) работы программистов.

Andy Jassy
Andy Jassy является участником Influencer

One of the most tedious (but critical tasks) for software development teams is updating foundational software. It’s not new feature work, and it doesn’t feel like you’re moving the experience forward. As a result, this work is either dreaded or put off for more exciting work—or both.

Amazon Q, our GenAI assistant for software development, is trying to bring some light to this heaviness. We have a new code transformation capability, and here’s what we found when we integrated it into our internal systems and applied it to our needed Java upgrades:

- The average time to upgrade an application to Java 17 plummeted from what’s typically 50 developer-days to just a few hours. We estimate this has saved us the equivalent of 4,500 developer-years of work (yes, that number is crazy but, real).

- In under six months, we've been able to upgrade more than 50% of our production Java systems to modernized Java versions at a fraction of the usual time and effort. And, our developers shipped 79% of the auto-generated code reviews without any additional changes.

- The benefits go beyond how much effort we’ve saved developers. The upgrades have enhanced security and reduced infrastructure costs, providing an estimated $260M in annualized efficiency gains.

This is a great example of how large-scale enterprises can gain significant efficiencies in foundational software hygiene work by leveraging Amazon Q. It’s been a game changer for us, and not only do our Amazon teams plan to use this transformation capability more, but our Q team plans to add more transformations for developers to leverage