AI4Dev — AI for Development
3.85K subscribers
109 photos
25 videos
5 files
215 links
Что надо знать, чтобы остаться востребованным ИТ специалистом в мире с LLM?

• Обзоры продуктов, фреймворков и способы взаимодействия с LLM для разработки софта

• Реальные кейсы, pet и бизнес проекты с LLM

• Публичные лекции

В будущее берут не всех!
Download Telegram
Попробовали новый Le Chat от Mistral - пишет довольно правдоподобный код на python, отвечает на вопросы в json и табличном виде, говорит по-русски. Не смог нарисовать диаграмму участников группы Nirvana картинкой, но сделал ее в текстовом виде. На первый взгляд (как и заявляют создатели и тесты) сравнимо с GPT4 и при этом Le Chat бесплатно доступен при авторизации через Google или Microsoft аккаунт (да-да, в этом заезде Microsoft поставил сразу на две лошадки претендующих на призовые места). В интернет пока не умеет. При просьбе написать вызов к собственному API нафантазировал что-то странное. API, правда, увы уже только по платной подписке. Контекстное окно 32k. Модели попроще доступны в open source. Нас же заинтересовали мультиагентные цепочки запросов (попросим GPT4 и Mistral перепроверить друг друга) в рамках задач по разработке ПО и вернемся к вам с результатами, наверняка найдем что-нибудь любопытное.
👍7
Создаем новый отчет в Power BI за несколько минут с GPT4

Даже самые скептически настроенные разработчики уже соглашаются, что GPT дает существенное ускорение в случае, когда вам надо решить задачу с применением незнакомых технологий (новый язык программирования, фреймворк, предметная область). В этом видео (20 мин) Аня рассказывает, как GPT4 помог сэкономить день работы, когда ей потребовалось разработать SkyLine отчет в Power BI.
https://www.youtube.com/live/6ILpAmdUgk0?si=0E9cV_h_uBjgvtNq
🔥4
На YouTube канале AI4Dev 14 марта в 12:00 состоится публичная лекция «Как учат большие языковые модели?»

Лектор — профессор Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО.

В лекции рассмотрим:
🟣Каковы особенности и базовые этапы обучения LLM?
🟣Почему предварительное обучение LLM требует огромных затрат?
🟣Как оценить работу LLM?
🟣Как дополнительное обучение позволило появиться ChatGPT?
🟣Почему метод DPO стал новым оружием в войнах за лучший ИИ?
🟣Что такое Self-Rewarding Language Models?
🟣Почему о моделях генеративного ИИ говорят как о признаках появления гибридной органической и кремниевой культуры?

Во время лекции можете оставить свои вопросы под этим постом — профессор Крылов ответит на них в конце трансляции.

📍Смотрите трансляцию на YouTube канале AI4Dev!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2
Всего три недели назад было опубликовано видео где Gemini 1.5 pro скармливают запись экрана с работой в браузере (что стало возможно благодаря контекстному окну в 1млн токенов), а LLM пишет Selenium код повторяющий действия пользователя. Только мы успели с коллегами обсудить, что похоже эта технология сильно ударит по классическим решениям Robotic Process Automation (это когда рутинную работу человека типа ручного ввода чеков и т.д. заменяют скриптом, как правило что-то связанное с устаревшими ИТ решениями, которые сложно обновить), а уже вчера я наткнулся на стартап с похожим решением backed by Y-Combinator! Набор агентов для типовых действий, которых можно обучить на нужные именно вам операции. Не уверен, что у них все по-честному работает, но если да - скорость от появления технологии до появления продукта на рынке поражает. Может именно таким подходом со временем можно будет натренировать и агента-программиста, который бы брал таск из Jira, писал по нему код, коммитил и закрывал задачу?
Media is too big
VIEW IN TELEGRAM
Представлен ИИ-ассистент Devin от стартапа Cognition. В отличие от привычных инструментов для разработки типа Copilot, Devin скорее всего представляет собой мультиагентную систему на базе больших языковых моделей. Хотя не исключено, что были реализованы другие подходы.

Ключевая фишка Devin - его способность к непрерывному самообучению и адаптации. В какой-то степени, это подводит его к концепции искусственного общего интеллекта (AGI), наделяя его когнитивными способностями, сопоставимыми с человеческими.

В тестовом режиме Devin не только писал вебсайты, но и самостоятельно осваивал новые технологии вроде Stable Diffusion и ControlNet. Причем он реализовывал их возможности на деле, к примеру, создавая изображения со скрытыми данными через ControlNet на Modal.

Devin не просто хорош в веб-разработке. Он способен с нуля создать и задеплоить и более сложные приложения. К примеру, собрать интерактивный сайт с симуляцией "Игры Жизни", постепенно добавляя новые фичи по запросу юзера и залить финальный продукт на Netlify.

Devin умеет самостоятельно находить и исправлять баги в коде. Он может поддерживать и дебажить даже такие проекты, как книги по конкурсному программированию.

Еще из интересного - это способность Devin настраивать и обучать крупные языковые модели, имея доступ лишь к гитхаб-репозиториям с исследовательским кодом. Плюс он может влиться в любой опенсорсный проект, подхватывая контекст на лету, исправлять ошибки и реализовывать новый функционал.

Devin в состоянии вносить правки в продакшн-репозитории. Тут отличный пример - исправление бага при расчетах логарифмов в системе симпай для питона. Devin разобрался в окружении, вызвал ошибку, протестировал фикс и замержил правки.

Кажется что, с Devin силы разработчиков возрастают на порядок. Он реально может стать продуктивным членом команды.
Создатели утверждают, что Devin успешно брался за реальные задачи на Апворк, программируя модели компьютерного зрения, создавая отчеты и дебажа проекты.

В общем, это действительно интересный проект. А вы что думаете?
👍5
На днях была опубликована интересная статья "AI
Showdown: Microsoft Copilot vs. Google Gemini vs. ChatGPT 3.5 vs. Mistral vs. Claude 3"
, в которой помимо прочего, приводится сравнение различных GAI с точки зрения их способности программировать на Python.

Авторы приходят к выводу, что среди протестированных моделей нет абсолютного победителя для всех задач программирования, выбор зависит от конкретных требований пользователя и задач, которые требуется решить. Тем не менее, Claude 3 (Opus и Sonnet) от Anthropic рекомендуется, как лучший выбор для разработчиков.

Что нас несколько удивило, поскольку в приведённом, в качестве примера тесте,  в задании написать по текстовому описанию python код конвертора валют, в отличии от других моделей Claude 3 забыл сделать кнопку конвертации.Так же указывается, что что ChatGPT 3.5 остается конкурентоспособным выбором для многих задач, даже будучи не самой новой моделью.

Исходя из нашего опыта GPT4-Turbo демонстрирует лучшие результаты и является предпочтительным выбором, тем более, что именно она теперь находится под капотом бесплатной версии Copilot от Microsoft.

Поделитесь своим опытом работы с различными AI-ассистентами в комментариях. Какой ассистент ваш фаворит для написания кода?
Microsoft повышает производительность Copilot с помощью GPT-4

Компания Microsoft объявила, что теперь все бесплатные пользователи Copilot получат доступ к GPT-4 Turbo от OpenAI.

Ранее эта мощная языковая модель была доступна только подписчикам Copilot Pro за $20 в месяц. В числе пеимуществ GPT-4 Turbo мы бы выделили уеличенное окно контекста до 128L, что позволяет вводить запросы длиной до 300 страниц. Кроме этого важно учесть и повышенную производительность и точность в сравнении с GPT-4.

Еще на этой неделе Microsoft анонсировала Copilot GPT Builder для подписчиков Pro. Этот инструмент позволяет создавать кастомные чатботы без программирования для конкретных задач. Ботов можно шарить с другими пользователями.

Была представлена возможность переключаться между GPT-4 и GPT-4 Turbo для подписчиков Pro. Microsoft улучшила интеграцию Copilot с приложением Phone Link для смартфонов Samsung Galaxy (расскажите, кто пользуется).
В годовом отчете за 2023 от DORA DevOps Research and Assessment - сообщество DevOps связанное с Google Cloud) указано, что по итогам опросов за 2023год эффект от применения AI в разработке и поставке (software dlivery) незначительно отрицательный (приложили картинку из соответствующего раздела).

Т.е. по мнению опрошенных AI несколько мешает всему процессу. Мы с коллегами думаем, что этот результат связан с тем, что AI технологии в software delivery пока находятся в фазе тестирования и исследований в большинстве организаций и соответственно больше отнимают ресурсов, чем приносят пользы.

При этом на втором графике уже 20-30% респондентов указали существенный вклад AI во все процессы delivery. Также видно, что скорость Code Review значительно влияет на скорость доставки. Наши внутренние исследования показали большой потенциал LLM в ускорении и повышении качества Code Review, а значит как минимум это ускорит и весь процесс производства и доставки софта.
2023_final_report_DORA.pdf
18.4 MB
Судя по разговорам на конференциях многие CIO/CTO уже озабочены вопросом как научиться эффективно применять LLM в software delivery. Полный отчет (там много любопытного и помимо AI) во вложении или по ссылке после регистрации https://cloud.google.com/devops/.
Вышло большое двухчасовое интервью Сэма Альтмана Лексу Фридману. Мы отметили в нем рассуждения Сэма по теме, на которой сфокусирован наш канал – AI в разработке софта.

Сэм видит тренд в сторону программирования на естественном языке и использования все более интеллектуальных инструментов ИИ. Он ожидает, что через 5-10 лет, хотя люди все еще будут программировать, но само программирование значительно изменится: часть разработки будет происходить полностью на естественном языке, отходя от традиционных практик кодирования. Эта эволюция является продолжением перехода от использования перфокарт к более современным (высокоуровневым) методам программирования. Он подчеркнул, что лучшие практики могут использовать сочетание инструментов, включая естественный язык для определенных задач и традиционные языки программирования, такие как C для других.

Т.е. будущее, в котором доступность и гибкость разработки значительно улучшены, позволяя широкому кругу людей вносить свой вклад в создание программного обеспечения без необходимости овладения традиционными языками программирования. Как и сейчас: не смотря на наличие Java, Python, TS и т.д. по-прежнему есть задачи, где C++ и Assembler эффективнее. При этом, например, создать небольшое мобильное приложение от идеи до деплоя можно будет полностью на естественном языке. Этот момент в интервью.
👍6
За последние полгода в интернете начали появляться специализированные курсы для разработчиков, изучающих возможности повышения эффективности своей работы посредством использования GIA. Примеры таких курсов на Coursera:

🟣Prompt Engineering для веб-разработчиков

🟣Gen AI для генерации кода на Python

🟣Gen AI для разработчиков ПО

🟣Кодирование с помощью Gen AI

Они не претендуют на полноту, но демонстрируют некоторые возможности LLM, которые можно сразу начать использовать на практике.

P.S. Часто авторы курсов — индийцы, которые пытаются заработать на хайпе, и качество этих курсов оставляет желать лучшего :)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7
Подготовили youtube обзор на проект «GPT-Engineer» - это AI агент, который пишет веб приложения и вносит изменения по запросу на естественном языке. Код проекта выложен на Github. Спойлер: приложения с frontend и backend действительно запускаются и работают. Выдыхаем - нет, пока кожаных разработчиков он не заменит. Но это уже действительно очень похоже на полноценного отдельного робота программиста, а не на copilot. Давайте посмотрим, что там под капотом (Chain-of-Thought, LangChain, Python) и как оно работает.
👍5
«Программирование — это самое близкое к суперсиле». — Дрю Хьюстон - Вы, конечно, читали о разработке AI agent , который уже получил титул "первого AI инженера". Мы на нашем канале 13 марта тоже обратили на его появление. Однако до сегодняшнего дня он остается недоступен для непосвященных в дела его разработчика - компании Cognition. Здесь мы решили обратить внимание на появление Devika - нового AI агента для разработки ПО. Девика — брат-близнец Девина, но совершенно бесплатный. https://github.com/stitionai/devika?tab=readme-ov-file . Однако необходимо предоставить доступ к нескольким API (поисковик, LLM, Netlify), чтобы все заработало. Интерфейс Девики в точности такой же как и Девина: Оболочка/терминал,
Браузер
редактор
Планировщик
👍4
Не успели познакомиться с Девикой , а мы уже присмотрели появление и еще одного AI инженера - это OpenDevin. https://github.com/OpenDevin/OpenDevin . Проект OpenDevin родился из желания воспроизвести, улучшить и внедрить инновации, выходящие за рамки исходной модели Devin. Привлекая сообщество открытого исходного кода, авторы стремятся решать проблемы, с которыми сталкиваются Code LLM, в практических сценариях. OpenDevin в настоящее время находится в стадии разработки, но вы уже можете запустить альфа-версию, чтобы увидеть комплексную систему в действии. Команда проекта активно работает над следующими ключевыми этапами:

UI : Разработка удобного интерфейса, включающего интерфейс чата, оболочку, демонстрирующую команды, и веб-браузер.
Архитектура . Создание стабильной среды агентов с надежным серверным компонентом, который может читать, записывать и выполнять простые команды.
Возможности агента : расширение возможностей агента по созданию сценариев Bash, запуску тестов и выполнению других задач по разработке программного обеспечения.
Оценка : создание минимального процесса оценки, соответствующего критериям оценки Девина.
После завершения MVP команда сосредоточится на исследованиях в различных областях, включая базовые модели, возможности специалистов, оценку и исследования агентов.
open_devin.webm
7.3 MB
Вот пример, что уже делает Open Devin
На YouTube-канале AI4Dev 11 апреля в 12:00 состоится публичная лекция «Маленькие большие языковые модели».

Лектор — профессор Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО.

«Вместе с развитием больших языковых моделей — LLM, почти незаметно растет индустрия в сотни раз меньших по размерам и требуемым ресурсам моделей, которые называются маленькими LLM. Их можно развернуть прямо на вашем домашнем компьютере даже без видеокарты с GPU. Маленькие LLM оказались чрезвычайно эффективными для решения узкоспециализированных задач. Объединяя несколько маленьких моделей в общую сеть, можно добиться от такого коллектива решения многих сложных задач», – рассказал Владимир Крылов.


В лекции рассмотрим:
🔸Какие задачи решают маленькие LLM?
🔸Каковы секреты их использования?
🔸Как развернуть маленькую LLM?

Во время лекции можете оставить свои вопросы под этим постом — профессор Крылов ответит на них в конце трансляции.

📍Смотрите трансляцию на YouTube-канале AI4Dev!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Пытаемся заглянуть в будущее, пост с элементами прикладной философии. Devin, Devika, Open Devin, Plandex, SWE-agent – проекты AI агенты разработчики кода растут как грибы поле дождя.

Devin широкой публике еще не показывали, Devika и Open Devin очень сырые проекты от команд из Индии и пока кажутся больше хайпом, чем серьезными игроками. Блокирующая проблема - в них не работает подход human in the loop, т.е. не очень понятно как исправить код приложения если вы хотите сделать это самостоятельно. Особенно если вы хотите поменять только часть кода, а другую часть, которая вас устраивает, наоборот, ни в коем случае не трогать. Скажем, выделить отдельный класс, отвечающий за конкретную функциональность и исправить только его.

На наш взгляд итерационность разработки ПО даже в будущем при наличии сверхмощных моделей не исчезнет, т.к. это одно из базовых свойств жизни и эволюции – постепенное усложнение. Еще точнее мы предполагаем, что в будущем разработка будет выглядеть скорее не как Agile, а как цепочка итераций внутри каждой из которой будет полноценный Waterfall при этом скорее всего Waterfall-процесс соответствующий достаточно серьезным стандартам, таким как ISO13485, DO178. Почему так?

С одной стороны следование стандартам существенно поможет LLM (так же как и людям) повысить точность и качество работы, повысит полноту передачу контекста из итерации в итерацию.

С другой стороны большую часть документации, кода и тестирования будут производить роботы, а значит сложные трудоемкие процессы, которые сейчас обычно из-за дороговизны применяют только в самых ответственных областях – медицина, авионика и т.д. не будет вести к такому стремительному росту затрат и их можно будет позволить себе при разработке самых обычных приложений. Как вам такие планы?