Вышла GPT-4
https://openai.com/product/gpt-4

Из интересного про GPT-4

- Сдает экзамены лучше большинства из нас
- Видео не завезли
- Статью не завезли, потому что “Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar”.

Не то чтобы я ожидал открытости, ведь OpenAI пару месяцев назад купили себе домен ai.com. Он, кстати, пока ведет на ChatGPT — очень удобно, регулярно пользуюсь.

Vizor Games

Сегодня тренировал нейросеть под игру Klondike Adventures. Датасет состоял из картинок с низким разрешением 300х300px, что оставило отпечаток на качестве генерируемых изображений.

Можно обучить на ассетах с разрешением повыше, тогда качество на выходе улучшится на порядок — повод связаться со мной или сделать самим через Artifactory 😉

YTsaurus

Яндекс выпустил в открытый доступ «Вайтизавр» - платформу распределённого хранения и обработки больших данных, которую они делали почти 10 лет.

Вычислительный кластер YTsaurus способен:
-> хранить эксабайты данных
-> использовать HDD, SSD и RAM для хранения данных
-> обрабатывать данные на сотнях тысяч Hyper Threading ядер
-> решать задачи машинного обучения на тысячах GPU
-> хранить и обрабатывать данные десятков тысяч пользователей

Топовые кейсы:
— Показ рекламы
— Обучение моделей на суперкомпьютерах
— Построение поискового индекса
— Построение хранилища данных

Github | Сайт

Летом выходит Counter-Strike 2

Походу еще несколько тысяч часов в кс наиграю: https://youtu.be/_y9MpNcAitQ

Забавная ситуация

Мы сейчас рейзим pre-seed под Artifactory. Накопали список из 2000 VC-фондов, отфильтровали нерелевантные и каждый день рассылаем по ~20 писем.

Случайно наткнулись на ребят, положивших денеги в нашего главного конкурента scenario.gg, которые подняли $6M.

Вот думаю предложить созвониться и запитчить им забавы ради или скипнуть?

Хороший гайд по апскейлингу изображений в AUTOMATIC1111
https://youtu.be/A6dQPMy_tHY

В ChatGPT завезли плагины, которые могут ходить в вашу API’шку. Добро пожаловать в новый дивный мир.

https://openai.com/blog/chatgpt-plugins

Шок-контент

Там в конце статьи есть quick start по созданию плагинов.

- Чувак просит модель сгенерировать код для TODO-трекера
- ChatGPT пишет сервер на FastAPI
- Сервер деплоится в Cloud Functions
- ChatGPT может обращаться к нему и закидывать задачи в туду-лист

Все это за 3 минуты…

Для тех, кто пишет код

Намечается большой апдейт в GitHub Copilot с GPT-4 под капотом. Обещают завезти:

- генерацию unit-тестов
- ответы на вопросы по документации
- создание CLI-команд по тексту
- описание pull request'ов

Как по мне, генерация тестов — топ фича, если будет работать хорошо.

Semafor: Маск покинул OpenAI в 2018, так как не смог получить компанию в управление

– Маск покинул OpenAI через 3 года после создания организации
– При запуске в 2015 группа инвесторов пообещала ей $1 млрд
– Уже в 2018 Маск заявил, что OpenAI фатально отстает от Google
– Маск предложил решение: взять OpenAI под свое управление
– Но Альтман и другие основатели отклонили его предложение
– Публично Маск и OpenAI сказали, что был конфликт интересов
– Tesla создавала свой ИИ, Маск переманивал людей из OpenAI
– Маск должен был продолжить давать деньги OpenAI, но не стал
– Из обещанного $1 млрд за несколько лет он внес лишь $100 млн
– Поэтому НКО OpenAI в 2019 создала коммерческую организацию

@ftsec

Как письма теперь писать? Я по старинке уже не умею…

Twitter выложил исходный код своей рекомендательной системы

Помните классический вопрос про ленту твиттера на ML System Design? Так вот теперь на него существует явный ответ:

1. Фетчим 1500 постов из релевантных источников
2. Ранжируем по взвешенной сумме из предсказанных вероятностей лайка, ретвита, ответа и тд (веса на картинке)
3. Накидываем эвристики для фильтрации и вываливаем пользователю

Прочие интересные факты:
- Scala, Python
- 1.5 сек на отработку пайплайна
- 5 млрд запросов в сутки

Статья
Код

Kandinsky 2.1

Там отечественный автопром выкатил новую диффузионную модель Kandinsky 2.1. Она лежит в open source, умеет в разные языки из коробки, есть prior по аналогии с DALL-E 2, да и генерит достаточно бодро. Для полного счастья осталось интеграцию с A1111 запилить.

Статья
Код