Андрей Карпаты (один из ведущих мировых разработчиков из мира нейросетей - основатель Open AI, Head of AI Tesla и т.д.) в январе 2023го написал в своих соц. сетях: "The hottest new programming language is English / Самый популярный новый язык программирования – английский"! Этот пост до сих пор висит у него в закреплённых.

А вот его пост три дня назад:
«Программирование меняется так быстро... Я пробую VS Code Cursor + Sonnet 3.5 вместо GitHub Copilot, и Cursor побеждает. За последние несколько дней большая часть моего «программирования» была на английском (промптинг, а затем просмотр и редактирование сгенерированного кода) и «полукодирования», когда вы пишете первый фрагмент кода, который вам нужен, может быть, немного комментируете его, чтобы LLM поняла задумку, а затем tab-tab-tab - автодополнение. И вот готов 100-строчный кусок кода который корректно работает, на что раньше уходило не меньше 10 минут.

Я все еще не привык к этому новому подходу. Я как будто заново учусь программировать, но я уже не могу себе представить, что вернусь к классическому «самостоятельному» программированию, что было единственной возможностью всего три года назад.»

Кстати, курс по prompt engineering от Anthropics можно найти здесь

Перевели статью об автоматизации Code Review с LLM. В большой продуктовой компании LLM автоматически проверяет общие требования для каждого pull request - заголовки, описания, покрытие тестами, стили.
Полный лонгрид (на 7 мин) о том как это работает на Хабре.

Компания Magic (работает над вычислениями с длинным контекстом для создания безопасного AGI в области кода) представила модель LTM-2-Mini (LTM - Long-Term Memory) с контекстным окном 100 миллионов токенов, это 10 миллионов строчек кода. По словам разработчиков, модель имеет большой потенциал для применения в разработке ПО. Например, для синтеза кода. Модели можно передать в контексте весь массив данных проекта: и уже готовый код, и документацию и библиотеки.

Кроме размера, Magic используют принципиально новый подход для оценки эффективности и обучения модели - HashHop. Вместо классической «иголки в стоге сена» - в большой текст (контекст) добавляют случайный факт («иглу») и просят модель найти его, в Magic настраивают модель на поиск пар случайных хешей или даже цепочек последовательностей хешей (Лайкните если интересно - сделаем статью, как это работает). В итоге (по утверждению Magic) модель способна к более сложным рассуждениям и удерживанию внимания в нескольких точках контекста по сравнению с традиционными моделями.

Magic заявляют, что получили $465 млн инвестиций и партнерство с Google Cloud и NVIDA. Не исключено, что учебники по RAG скоро можно будет сдать в макулатуру (такую цифровую макулатуру, где устаревшие PDF перерабатывают в байты для новых знаний). Ваш проект поместится в 10 млн. строчек кода?

Разобрал в небольшой статье на Habr как работает HashHop (бенчмарк для тренировки внимания LLM на всю информацию в контекстном окне, альтернатива «иголки в стоге сена»). При более внимательном рассмотрении анонс Magic.dev про их модель на 100 млн. токенов (был пост на прошлой неделе), увы, звучит не очень убедительно, но буду рад, если я ошибаюсь.

Replit, достаточно популярная Web-Based IDE, выпустили своего агента-программиста. Чуда кажется не произошло - агент бодро создает простые приложения на видео, но в комментариях пользователи пишут, что с чем-то более сложным, чем гостевая книга или расстановка точек на карте (как в примерах) агент не справляется даже после пяти итераций. Из интересного – вы можете сразу посмотреть на свое приложение (что-то типа Artifacts в Claude 3.5 Sonnet), и агент умеет деплоить приложение. Cам настроит окружение, создаст базы данных и т.д. Идея что у вас прямо в IDE, которая является совместной средой разработки, добавляется кроме копайлота еще и агент-подмастерье – кажется очень разумной, впрочем с серьезными задачами агенты пока, увы, не справляются.

Только что появилась новая LLM от Open AI - встречайте!

Представляем OpenAI o1-preview — новую серию ИИ-моделей для решения сложных задач в науке, кодировании и математике. Модели тратят больше времени на размышления, улучшая процесс принятия решений и исправляя ошибки. Первая модель серии уже доступна в ChatGPT и API. На тестах модель превзошла GPT-4, решив 83% задач на отборочных экзаменах IMO (Международная математическая олимпиада) и достигнув 89 процентиль в соревнованиях Codeforces. Подробнее про исследования.

Модель в статусе preview и пока не имеет доступа к вебу, не работает с картинками и файлами. Так же у модели работают новые правила безопасности. В тестах по защите модель набрала 84 из 100 баллов. Подробности в исследованиях. Модель полезна для сложных задач в науке и разработке, таких как аннотирование данных или генерация формул.

Подоспели первые комментарии от https://t.iss.one/sergiobulaev Сергея:

1. Не думайте о ней как об обычной чат-модели. Это полноценный агент, работающий самостоятельно. Используйте её как умного друга, которому вы отправляете сообщение с просьбой разобраться в вопросе. Она ответит продуманными разъяснениями, разложенными по шагам. (И да, не нужно просить её думать по шагам — она и так так делает.)
2. Запишите и спроектируйте свой промпт заранее, в заметках или с помощью другой модели. Сделайте его подробным, распишите шаги и процессы, дайте как можно больше полезной информации.
3. Используйте o1-mini для задач, не требующих обширных знаний, но требующих пошагового размышления.
4. o1 обычно выдаёт сначала части решения, а потом и полное решение. o1-mini — шаги решения.
5. Как бы смешно это ни казалось, когда просите что-то изменить или дополнить, потратьте время на чёткое объяснение. Модели будет проще рассуждать, опираясь на ваши пояснения.

Сегодня она довольно часто думала больше минуты. А представьте, что будет, если она будет думать часами? Это ведь уже вполне реально представить.

Вот примеры промптов от OpenAI:

Instructions:
- Given the React component below, change it so that nonfiction books have red
text.
- Return only the code in your reply
- Do not include any additional formatting, such as markdown code blocks
- For formatting, use four space tabs, and do not allow any lines of code to
exceed 80 columns

[CODE]

или

I want to build a Python app that takes user questions and looks them up in a
database where they are mapped to answers. If there ia close match, it retrieves
the matched answer. If there isn't, it asks the user to provide an answer and
stores the question/answer pair in the database. Make a plan for the directory
structure you'll need, then return each file in full. Only supply your reasoning
at the beginning and end, not throughout the code.

или

What are three compounds we should consider investigating to advance research
into new antibiotics? Why should we consider them?

Кстати, через Open Router o1 доступна всем (прямо всем), если что.

Сергей Булаев AI 🤖 - об AI и не только

Microsoft встроили в Visual Studio искусственный интеллект в механизм создания брейкпоинтов с условиями. IDE на прокачку, как в старом шоу на MTV: «Чтобы ты мог использовать LLM, когда дебажишь свой код написанный LLM, для проекта, использующего LLM».

Речь идет о брейкпоинтах со сложными условиями, в духе пропустить 5000 циклов for и отловить вызов функции с определёнными значениями параметров. Вот тут AI сам предложит вам эти самые значения (предположу, что ориентируясь на граничные значения допустимых диапазонов). Не уверен, что это очень полезная функция, но если рассматривать ее как часть процесса, в котором роботы сами пишут код и сами же исправляют ошибки, то начинает просматриваться ценность.

Если кто не знает, есть такое направление в разработке ПО называется Automated Program Repair (APR). Качество инструментов для фикса багов измеряется на бенчмарке QiixBugs. Исследователи попробовали пофиксить с помощью новых моделей OpenAI o1-preview и o1-mini. Получились такие результаты : в тестах последних итераций QiixBugs модель успешно исправила все 40 ошибок, превзойдя производительность предыдущих версий по различным показателям, таким как уровень успешного фикса и эффективность реагирования. Может теперь останутся только фичи, а багов не будет совсем? https://theministryofai.org/from-bugs-to-breakthroughs-how-gpt-01-is-revolutionizing-the-world-of-automated-code-repair/

По бенчмарку QuixBugs см https://jkoppel.github.io/QuixBugs/

Многие приложения , работающие с локальными данными и использующие LLM, как правило содержат решения, основанные на RAG. Разработчиков может оказаться интересным ознакомиться с итогами недавно завершившегося РАГатона в https://github.com/trustbit/RAGathon . Есть все исходники победителей. Нет только самих данных. Но они доступны в Сети.