​​Пора увольнять программистов?

Год назад я писал об интересном применении модели GPT-3: генерация кода из комментариев. Но тогда это был лишь идея, готовых сервисов для этого не было.

С тех пор я пользовался tabnine.com — это хороший плагин, который использует ИИ для автодополнения кода. Но автодополнение — это не то же самое, что программировать за программиста.

На днях увидел сервис от GitHub — Copilot. Работает так: вы объявляете функцию, пишите к ней комментарий, а нейронка сама генерирует весь код функции.

Профит от такого приложения понятный. Много времени программист тратит на простые функции. Если это автоматизировать, то производительность увеличится. И можно половину программистов уволить.

Мне пока не дали доступ на тестирование. Если это работает, как в примерах — просто вау.

#сервисы

​​Как можно было написать такой код

Привет! Продолжаю вещать про ИИ, стартапы и всё, что с этим связано.

В последнем посте (как же давно это было) я рассказывал про генерацию кода с помощью ИИ. Чтобы такое сделать, нужно собрать огромную выборку с кодом и комментариями, и научить нейросеть генерировать код, принимая на вход этот комментарий. Задача очень сложная. Но судя по всему уже неплохо решаемая.

А что если перевернуть картинку, и генерировать комментарий по коду? Для этого ведь нужен тот же самый датасет, и может подойти похожая нейросеть. Так сделал стартап Denigma. Они для программных функций с помощь ИИ генерируют описание.

А ведь понятная и (теперь) очевидная боль: вникать в чужой код бывает сложно. Особенно, если к нему нет документации, а писали его быстрей-быстрей к дедлайну. Стартап работает с большинством современных языков программирования. Альтернативное применение этой же технологии — это написание комментариев на основе того, что генерирует нейросеть.

Есть расширение для Visual Studio. Подписка стоит восемь долларов в месяц.

​​Нет войне

Моя бабушка всегда повторяла: лишь бы не было войны. Она родилась в 1933 году. Она пережила очень тяжёлые времена. Сейчас её уже нет в живых. И я не могу представить, как бы она ужаснулась, увидев, какое безумие происходит. Нет войне.

Я долго думал, чем я могу быть полезен в это трудное время. Решил, что стоит рассказать вам о стартапах с Украинскими корнями. Некоторые из этих стартапов известны на весь мир. Некоторыми вы пользуетесь каждый день.

Сегодня речь пойдёт о знаменитом Grammarly. Стартап встраивается почти в любое текстовое поле и исправляет английский текст. Причём сейчас он может не только исправлять артикли, орфографию, но и пунктуацию, стиль текста и его сложность.

У Grammarly есть расширение для браузера. Можно использовать его в офисных программах, Slack, почте или как обычные текстовый редактор, в который встроен весь функционал исправления ошибок.

Сервис незаменим как для не носителей языка, так и для носителей (лично видел, как они его используют). Есть бесплатная версия, которая уже приносит пользу. Платную подписку продают от 12$ в месяц. В прошлом году стартап оценивался в 13 миллиардов долларов.

​​Это платье меня полнит

Продолжаю рассказывать вам про стартапы с основателями из Украины. 3DLOOK — стартап, который делает виртуальную примерку одежды. Как мне видится, задача стартапа — убить классическую примерку. Сидя дома, вы должны видеть, как на вас одежда будет сидеть и знать, подойдёт ли она вам по размеру.

Технически задача очень сложная. Представьте, что человек сфоткался в штанах, и хочет виртуально померить шорты. Для этого нужна сначала удалить штаны. Потом, нужно дорисовать человеку ноги ниже шорт. Так как штаны обычно шире ноги, нужно ещё и закрасить каким-то образом фон за штанами. Шорты нужно поставить в нужное место, а ещё и деформировать их так, чтобы подошёл размер. В идеале нужно учитывать физику ткани.

Стартап утверждает, что виртуальная примерка сокращает возвраты на 40 процентов, увеличивает конверсию в 4 раза и на 20 процентов увеличивает среднюю стоимость заказа.

У 3DLOOK свои разработки в ИИ части, которые основаны на 3D модели тела человека. В научном сообществе очень много статей, которые делают виртуальную примерку. Но как правило всё ограничено каким-то узким датасетом и черрипикнутыми картинками. На реальных данных же это всё не работает.

Виртуальная примерка сейчас — это hot topic. Ещё есть стартапы Easy Try, Astrafit, Drapr, Zeekit.

​​В трёх соснах заблудился

Бывало у вас такое: устроились в новый офис, и долго ищите нужный кабинет. Или пришли в ТЦ, а найти нужный магазин сложнее, чем иголку в стоге сена.

Стартап с украинскими корнями Augmented Pixels разработал приложение, которое строит навигацию в дополненной реальности для помещений. Сначала вы проходитесь по помещению и сканируете его с помощью телефона. После этого на полученной 3D карте отмечаете точки интереса: важные комнаты, кулер с печеньками или нужную полку на складе. Навигация готова: телефон в дополненной реальности покажет путь до печенек.

Другой продукт стартапа, GlobalMap, позволяет делать 3D сканы объектов по всему миру. Ставку сделали на краудсорсинг.

Стартап поднял 6.1M инвестиций. В январе 2022 их купил Qualcomm, сумма сделки не разглашалась.

Можно ли прочитать мысли человека?

В конце прошлого года учёные представили метод генеративного ИИ, который может что-то подобное.

Человеку показывают какое-то изображение. В этот момент ему делают функциональную магнитно-резонансную томографию (ФМРТ). Дальше модель из результатов исследования может сгенерировать изображение, которое видел человек. Получается такой нейроинтерфейс на основе ФМРТ и нейронной сети.

Внутри для генерации изображений используется диффузионная модель (по типу тех, что находятся внутри Stable Diffusion, Midjourney, DALLE 2). Увы, для каждого человека нужна своя нейросеть, так как у разных людей мозг по-разному реагирует на изображения.

https://mind-vis.github.io/

Live photo from two photos

На камере айфона есть функция Live photo. Вместо статического фото она сохраняет “живое” фото. Технически это видео длиной в 3 секунды, которое позволяет чуть лучше воспроизвести момент на снимке.

Учёные из гугла в прошлом году придумали метод FILM, который может создавать “живое” фото из двух фотографий. Между двумя фотографиями модель делает интерполяцию. То есть создаёт кадры между двумя фото, чтобы из них получилось видео. Метод работает на картинках большого разрешения.

Зачем это нужно?
⁃ Получать live photo из уже сделанных фотографий
⁃ Увеличивать частоту кадров в видео и делать slow-motion (я писал об этом тут)

Сайт проекта: https://film-net.github.io/
Поиграть с демо: https://huggingface.co/spaces/johngoad/frame-interpolation

Github Copilot

Какое-то время назад я писал про Github Copilot. Это сервис от GitHub и Microsoft, который автоматически пишет код. Тогда он был в формате закрытого тестирования. Сейчас доступ может получить кто угодно. Я уже довольно много пользуюсь им, и хочу поделиться своим опытом.

Подсказки Copilot нативно встраиваются в среду разработки. Достаточно нажать Tab, чтобы код написался сам. Для персонального использования сервис стоит 10 баксов в месяц. Заменит ли он программиста за такие то деньги? Однозначно — нет. Но он точно упрощает и ускоряет написание кода. Вот мои сценарии использования:

1. Если мне нужно написать простую функцию, я часто гуглю это. Часто ответ содержится в первой же ссылке в гугле. Например, нужно прочитать JSON файл. Или мне нужна функция, которая находит файл в папке, у которого в названии максимальное число.

Сейчас же я просто начинаю писать “def maximum_file_number(“. Когда открывается скобка, copilot сразу предлагает аргументы функции и саму функцию целиком.

2. Если мне нужно написать функцию средней сложности, которая вызывает другие мои функции. Например, загрузить видео из памяти, и для каждого кадра запустить какую-нибудь ML модель и вернуть результат в виде массива. С таким Copilot справится почти всегда хорошо. Иногда для этого нужно написать комментарий для функции, на основе которого он сгенерирует функцию.

Кажется, что Copilot полезен в тех случаях, когда код хорошо структурирован и разбит по функциям. Несложные функции он щёлкает как орешки, а в сложных будет подсказывать по одной строчке. Архитектуру программы придётся разрабатывать самому (или спрашивать у ChatGPT). Но работать всё равно придётся 😉.

Ссылка в описании, а по промокоду NE_PRODAYU_REKLAMU вы сможете купить одну подписку по цене двух.

В декабре OpenAI представила ChatGPT — чат-бота, который умнее, чем твоя бывшая большинство современных языковых моделей. Он может вести диалоги на сложные темы, писать тексты и даже кодить.

Несколько примеров того, что может эта зверюга:
⁃ Написать сочинение или пост на выбранную тему
⁃ Сгенерировать идеи для вашего нового стартапа, а потом ещё и к любой идее написать бизнес план и стратегию создания MVP
⁃ Написать код, изменять его в соответствии с вашими запросами
⁃ Рассказать вам что-то по вашему запросу. Этакий персональный гугл
⁃ Притвориться, что он — терминал Linux, и исполнять команды

На моё удивление ChatGPT умеет говорить на русском языке. Инструкция для получения доступа к нему из России легко гуглится.

ChatGPT довольно умён. Но не стоит забывать, что он легко вас обманет и выдаст ложные факты за истину. Кроме этого, он немного староват. События 2022 года он не знает. Следующая версия чат-бота обещает обрести тревожность и уметь отвечать на вопрос “Где вы были 8 лет?”.

Ощущение, что мы проживаем революцию в реальном времени. В следующем посте расскажу про разные возможности ChatGPT с примерами запросов.

​​Глаза мои этого бы не видели

Одна из возможностей ChatGPT — суммаризация контента. Чат-бота можно попросить “Summarise the following text in 100 words” и скинуть текст, а в ответ получить краткое содержание. В эпоху бесконечного количества контента краткое содержание — этой новый тренд.

Чтобы добавить в свой сервис суммаризацию, можно использовать языковую модель GPT-3 от OpenAI, доступную по API. Уже появляются приложения, которые используют суммаризацию в качестве основной фичи.

Вчера мне написал автор расширения для Chrome, которое создаёт саммари YouTube ролика. Работает просто и гениально. Под роликом появляется кнопка. Кликаешь, ждёшь несколько секунд и читаешь краткое содержание всего ролика в виде тезисов. Напротив каждого тезиса — время в видео, к которому относится тезис.

Само расширение, на мой взгляд, пример идеального MVP. Сделано за два дня, выполняет ровно одну функцию. Выполняет хорошо. Каждые семь дней доступно три бесплатных саммари. Дополнительное саммари стоит 30-50 центов.

Если понравился проект, то можно апвоутнуть его на Product Hunt. Он сегодня там запускается.

У ChatGPT оказалось невероятное количество применений. Я использую его в своей работе практически каждый день. Вот лишь некоторые примеры запросов, которые будут полезны разработчикам.

1. Write a function in Python, that will iterate over video file frames and detect every object in the frame with YOLO Object detection.
2. Generate comment for the following Python function:
<Your function>
3. I want you to create a card in Angular using Angular-Material Library. Add buttons "Open" and "Share" to the bottom of the card.

Главная фишка ChatGPT по сравнению с уже существовавшей GPT-3 — это понимание контекста. Если вы попросили его написать функцию, и вас что-то не устроило, просто попросите это исправить или улучшить, как в третьем примере.

Написал пост с 12 идеями стартапов, которые можно сделать на основе ChatGPT.

Это моя новая email рассылка на английском про ИИ и стартапы. Внизу страницы есть форма, чтобы подписаться. Каждый четверг буду присылать что-то новое и полезное, так что подписывайтесь.

https://syntha.beehiiv.com/p/12-startup-ideas-one-can-implement-with-chatgpt

​​Большинство современных приложений и сервисов для хранения данных используют базы данных. Чтобы доставать из них данные, был придуман специальный язык — SQL. Типичный запрос, переведённый мной на русский язык, будет выглядеть примерно так:

Выбери пользователей из таблицы ПОЛЬЗОВАТЕЛЬ, у которых год рождения больше 1990 и пол мужской, соедини с таблицей РАБОТОДАТЕЛЬ по столбцу работа, отфильтруй тех, у кого опыт работы больше 5 лет, отсортируй по зарплате.

Для опытного инженера это не сложно, но всё равно требует времени, чтобы его написать. Но часто такие запросы нужно писать аналитикам, менеджерам и людям, далёким от SQL. Тогда это может оказаться сущим адом.

Стартап AI2SQL решил использовать GPT-3, чтобы упростить программистам жизнь. Всё, что вам нужно — ввести запрос на английском языке. На выходе получаете готовый SQL запрос.

Стоит сервис $7-17 долларов в месяц в зависимости от тарифа. На данный момент стартап зарабатывает $1000 в месяц.