Реставрация фотографии церкви

Новосёлы из села Сельцы (Рязанская область) решили восстановить Церковь Покрова Пресвятой Богородицы. От здания церкви осталось совсем немного. Сейчас они собирают деньги на восстановление, в том числе через продажу сувениров.

Уже к 1938 году церковь потеряла колокольню, а лучшая сохранившаяся фотография была не очень хорошего качества. Ксюша, которая делала макеты для сувенирных кружек, поделилась со мной этой фотографией.

Реставрация старых фото — интересная задача для работы с нейронками. Она имеет жёсткие ограничения и конкретный образ результата, в отличие от обычных нейрогенераций, где можно играться с детальностью и образом.

Опыт получился занятным. Процесс (скорее, общую логику процесса) я зафиксировал на карточках.

1) От здания мало что осталось, но и современные фотографии тоже могут пригодиться в процессе.

2) Начинаю с поиска инструментов автоматической реставрации. Но с ними не всё так просто. Большинство инструментов делают то, что я могу сделать сам (поиграться с уровнями и контрастностью, например). Какие-то сервисы удаляют трещины и царапины, но эту задачу легче решить генеративной заливкой в фотошопе. В общем, готовые сервисы мне не помогли, но немного пригодились нейро-фильтры фотошопа. Фильтр «реставрация фото» подтянул контрастность, а «колоризация» наметила цветовые пятна.

3)Этап предварительной подготовки фотографии очень важен. Мы можем использовать изображение с фотографии в качестве основы для новой генерации. Но с такими генерациями всегда приходится балансировать. Можно задать нейронке высокий уровень схожести с оригиналом, но тогда перенесутся все нежелательные артефакты. Если выставить низкий уровень схожести, архитектура начнёт искажаться. Я перепробовал несколько инструментов (Leonardo, FireFly, MJ), но все они давали либо слишком искажённый результат, либо не вносили значимых изменений. Этот этап занял у меня больше всего времени. И я пошёл в vizcom.

4) У vizcom есть две очень хорошие черты. Во-первых, он аккуратен с исходным контуром. Во-вторых, он неплохо понимает объём. К тому же у меня был референс стены настоящей церкви. Поэтому в vizcom я скрестил свою слегка улучшенную фотографию с фотографией остатков здания. И произошло чудо. Мыльно, с артефактами, но vizcom здорово поймал атмосферу. С первой же генерации. С этим результатом уже можно работать.

5) Теперь, когда цвета и фактуры пойманы, можно возвращаться в Leonardo. Загружаю изображение в Image Guidance (так там называется control net) и экспериментирую с параметрами денойзинга. Много генераций, несколько десятков, но результат меня уже почти устраивает. Закидываю несколько генераций в фотошоп, выборочно подчищаю, снова возвращаю в Леонардо (уменьшаю денойз). Несколько проходок — и готово.

6) Когда с крупными деталями покончено, можно закидывать в krea на энханс. Иногда возвращаюсь в фотошоп, чтобы подтереть очевидные несуразности. Немного цветокоррекции — готово.

7) Анимация. Это совсем не нужно, но я решил протестировать Gen3. Работает отменно!

Я понимаю, что результат далёк от идеала. На фотографии не всё можно разглядеть, а сам я совершенно ничего не смыслю в архитектуре церквей. Стоило бы взять консультацию, но сжатые сроки и нулевой бюджет... Энивей, получилось занятно.

И сразу следующая волна хейта прилетела в Div Garg (CEO сервиса MultiOn), выпускают AI агентов. Сервис кстати интересный, но речь о другом

Он начал заявлять, что наш знакомый уже поставщик клубничного хайпа является ни чем иным как AI агентом на базе их Agent Q. Хотел хайпануть, но с него попросили пруфы, на что он слился и давай всех банить, а свой пост удалил. Фу, бяка! Div хотел хайпануть на хайпе, который и так вёл к провалу. Зачем-то попытался связать клубничного со своей компанией, а теперь сливается.

Но в Твиттере есть спец, который постоянно добывает системные промпты любых моделей. И он не обошел стороной эту несправедливую историю и Div’a с его компанией MultiOn, добыл их системный промпт и начался шантаж Div’a, что если он не предоставит пруфы, что клубничный это их AI агент, то он сольет их системный промпт в сеть.

Как думаете, были пруфы? И снова фраза от Тинькова: НИ-ЧЕ-ГО!

Системный промпт слит в сеть, а я на всякий прибрал его к себе в коллекцию и делюсь с вами (промпт длинный, кину текстовым файлом в комменты)

ИИволюция

Вы уже пробовали новый Grok2?

Grok сейчас в трендах со своей генерацией картинок (поговаривают, что там Flux под капотом). Очень хорошо работает с текстом (поговаривают, что лучше всех остальных, потому что Flux под капотом).

Забавный промпт, сделать изображение в стиле Симпсонов с фразой:

In the style of the Simpsons, ( Subject ) , with a text bubble "abc"

ИИволюция – про AI и нейросети на доступном

Топ AI приложений, которые сейчас на волне

В мире AI-приложений всё бурлит и меняется на лету. Одни проекты взлетают на вершину, другие быстро исчезают. Что сейчас реально в тренде? В отчете от a16z собраны самые актуальные AI-приложения:

Саммари из отчета:

1. Креатив: 52% приложений в топ-100 заняты созданием и редактированием контента. Новички, такие как Luma, которая заняла 14-е место, и Viggle на 21-м, уже в деле, активно завоёвывают аудиторию.

2. Видео и музыка выходят на сцену: Раньше 41% контента составляли изображения, но теперь на первый план выходят видео и музыка. Luma и Viggle в топе, а музыкальный генератор Suno взлетел с 36-го на 5-е место.

3. Битва ассистентов: ChatGPT всё ещё держит первое место, но Perplexity на третьем и Claude на четвёртом не отстают. Perplexity, кстати, даже обгоняет ChatGPT по продолжительности визитов — более 7 минут на сессию.

4. Bytedance наступает: ТикТок — это только начало. Bytedance запустила шесть новых приложений, которые уже в топ-100, включая Hypic (19-е место) и Cici (34-е место). А Doubao вошел в мобильный топ-26.

5. Красота и свидания 2.0: LooksMax AI и Umax не только помогают вам выглядеть лучше, но и анализируют ваш голос и даже показывают, как бы вы выглядели на все 10 из 10. LooksMax уже имеет 2 миллиона пользователей.

6. Discord как инкубатор: Midjourney остаётся на первом месте по трафику приглашений в Discord (как это изменится, когда Midjourney делает ставку на веб морду?), показывая, что сообщество — это всё. Половина топовых Discord-серверов теперь связаны с генерацией контента, что говорит о важности этой платформы для роста AI-продуктов.

Много деталей в отчете, поэтому очень советую на него взглянуть, если вам интересен мировой рынок AI.

ИИволюция