Никогда не думал, что придется погружаться в задачи связанные с векторизацией изображений. И вообще я думал, что там все сложно и не стоит туда лезть.

Но появилась задачка, сделать анимированные стикеры для телеграм c конкретным персонажем.

Вроде все просто, беру "персонажа", отправляю его на фотосессию, скидываю фотографу странное ТЗ "5 кадров затылка, 5 кадров правого уха и 5 левого...".

Получаю сет для обучения LoRa, тренирую FLUX. Составляю специальный промпт, чтобы генерировать в стиле стикеров на белом фоне.

И вот осталось все это анимировать... но все ИИ-модели для анимации, сильно портят качество картинки.

Вот и пришлось искать инструменты для векторизации растра и анимировать ручками. Вам показать что получилось?

Мои ИИ-инструменты, которые использую (почти) каждый день

Часто спрашивают на консультациях, какие базовые инструменты нужно освоить, чтобы работать (и получать) за десятерых.
Делюсь своим арсеналом нейронок и сервисов. Кидайте в комменты, что вы используете в работе. Кстати, кто отгадает, сколько я трачу в месяц на подписки?

Генерация текста и чат-боты
#Claude 3.5 (LLM от Anthropic) — сейчас это мой основной чат-бот, перешел на него с ChatGPT пару месяцев назад. Пока все устраивает
#ChatGPT — использую, как запасной, потому что там много GPTs полезных создал
#Gemini — когда лимиты на первых двух LLM заканчиваются, перехожу на него
#NotebookLM — Поддержка большого контекста и куча функций, Gemini на борту. Генерирую там подкасты и анализирую контекст ТГ каналов

Генерация изображений
#Flux — Мой основной инструмент для создания изображений
#Midjourney — Популярный генератор изображений
#DALL-E 3 — ИИ для создания изображений от OpenAI
#Ideogram — Генератор изображений, хорош для работы с продуктом, текстом на изображениях и вообще у него свой вайб
#Krea — Платформа для генерации изображений в реальном времени, а еще видео делает
#Magnific — Инструмент для повышения качества изображений

Генерация видео
#Minimax (Hailuoai) — Высокоинтеллектуальный генератор видео, балдею от него
#Kling 1.5 — Крутой генератор видео, но в последнее время висит даже с подпиской
#Runway — Популярный инструмент для создания видео, мой запасной (дорогой) вариант
#Luma — Использую как генератор лупов
#Pika — Генератор видео от Stanford (с ограничениями). Использую его спецэффект в монтаже

Обработка аудио и музыки
#ElevenLabs — Инструмент для синтеза речи
#MacWhisper — Приложение для Mac для преобразования речи в текст
#Udio — Продвинутый инструмент для работы со звуком, генератор песен и композиций
#Suno — Мой настольный генератор музыки и песен

Виртуальные аватары
#HeyGen — Создание говорящих голов
#Hedra — Генерация виртуальных персонажей

Поиск и обработка информации
#Perplexity — ИИ-ассистент для поиска информации

Инструменты для разработки
Cursor.com: IDE с интегрированным ИИ
v0.dev: Инструмент для разработки фронтенда
replit.com: Онлайн IDE с ИИ-агентом
bolt.new: Инструмент для разработки

Редактирование видео и изображений
Capcut: Видеоредактор с ИИ-функциями
VideoProc: Улучшение качества видео
Topaz Gigapixel: Повышение качества изображений
Topaz Video: Улучшение качества видео


Если интересно могу поделиться более расширенным списком сервисов для узких задач. Давайте если наберм 200 🔥 - выложу, а то там больше сотни, надо все это упаковать еще.

Не жмитесь на реакции, а то я так и не соберусь упаковать остальные инструменты в пост. А по количество «сохранений» видно, что вам это нужно :)

https://huggingface.co/spaces — Много раз советовал и продолжаю настаивать, ищите тут узкие инструменты под свои задачи.

Часто там я находил какие-то модели, тестировал их, а потом покупал к ним доступ или устанавливал их с гитхаба локально.

Вообще, свой день начинаю с поиска, что нового придумали в ИИ именно там. Иногда из этого рождаются прикольные бизнес-модели. Например там есть такое:

1. https://huggingface.co/spaces/gokaygokay/Tile-Upscaler - апскейл изображений плохого качества
2. https://huggingface.co/spaces/gokaygokay/Gemma-2-llamacpp - бесплатная языковая модель
3. https://huggingface.co/spaces/prithivMLmods/STABLE-HAMSTER - генерация изображений
4. https://huggingface.co/spaces/KwaiVGI/LivePortrait - анимация лица
5. https://huggingface.co/spaces/mukaist/DALLE-4K - генерация больших изображений
6. https://huggingface.co/spaces/gokaygokay/Inspyrenet-Rembg - убрать фон
7. https://huggingface.co/spaces/predatortoabuse/Realistic-Image-Generator-Model - создание реалистичных фото
8. https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev - генерация изображений
9. https://huggingface.co/spaces/finegrain/finegrain-object-eraser - стирание объекта
10. https://huggingface.co/spaces/not-lain/background-removal - удалить фон
11. https://huggingface.co/spaces/Kwai-Kolors/Kolors-Virtual-Try-On - сменить одежду

Буду постепенно делиться, пока вы тут 200🔥 набираете

Antropic сделал апдейт: удалил упоминания о своей большой модели Opus 3.5, которую он планировал запустить до конца года и обновил оставшиеся модели.

Но, главная новинка - "computer use" :
- Это экспериментальная функция, которая позволяет #Claude 3.5 new использовать компьютер как человек
- Он может перемещать курсор, нажимать кнопки, печатать текст
- Пока это работает не идеально (бывают ошибки)
- Доступно только через API
- Функция находится в бета-тестировании

А я пойду тестировать насколько умным стал «новый» Claude привычным мне способом. Попрошу его написать игру DOOM.

Не расходитесь, скоро выложу, что он мне выдаст.

Протестировал Нового Клода через создание DOOM'а

Ну кстати, очень хорошо и с первого раза. Градиенты предусмотрел на стенах, движение рук при ходьбе, ничего не разваливается.

Во второй итерации попропшу подгрузить спрайты врагов и пусть еще монеткой стреляет.

P.S промпт для рук с монеткой и музыки, тоже Клод написал.

Понеслось. Новый Клод уже смог заказать пиццу команде голодных айтишников.

Видимо я первый человек побитый ИИ. Было больно.

Моя боль крупным планом )

Просили поближе показать «шлепатель». Вот такая машина возмездия, сделанная руками человека и оказавшийся во власти искусственного интеллекта.

Помню времена, когда этой штукой управлял не искусственный интеллект, а донаты подписчиков. Ну и испытатели были разные.

Ответил в подкасте Дмитрия Позина и Сергея Свиридова (подписывайтесь на их каналы, кстати) на базовые вопросы новичков при знакомстве с искусственным интеллектом и не только:

⁃ На чем обучается искусственный интеллект?

⁃ Заменит ли нейросеть интернет?

⁃ Что такое профессия «prompt-инженер» и почему ей осталось существовать недолго?

⁃ В каких из профессий можно максимально зарабатывать, используя искусственный интеллект?

⁃ Какие профессии может полностью заменить искусственный интеллект?

⁃ Как связаны инвестиции с искусственным интеллектом?

⁃ К чему приведет развитие искусственного интеллекта в мировом масштабе.

Приятного просмотра: https://youtu.be/WZzFQvjYRfI

Закрывая тему наказания кожанных мешков за незнания математики начальных классов, поясню, что же там такое происходит на видео.

Да, ИИ меня отшлепал…

Не, ну, конечно, сам виноват — позволил холодным микросхемам поднять «руку» (и даже опустить) на мою теплую щеку.

Рассказываю по порядку: недавно Anthropic обновила Claude 3.5 Sonnet, в базе которого вышел режим автономного управления компьютером (Claude Computer Use). Это когда ИИ может смотреть, что у тебя на мониторе происходит, мышкой клацать и клавишами стучать. Сам. Дали, правда, пока только API, но дали же.

Поэтому я, долго не думая, сделал такой сетап: «шлепатель» — это такая карающая длань, прикрученная к двигателю от коптера и управляемая распберри. Написал простенький код, который при нажатии на кнопку «slap» лупил меня от всей своей цифровой души. А Claude Computer Use попросил отслеживать мой чатик с ИИ, где меня экзаменовали на предмет знания таблицы умножения. Ну и если я ошибаюсь (а я в умножение не силен), жать на кнопку. Вот и получилось, что на втором примере я посыпался, ИИ это увидел и влепил звонкую оплеуху за то, что не чту царицу наук.

Так что выходит, я первый кожаный за всех вас пострадал? Завтра думаю и вторую щеку подставить (первая болит сильно). Хотя не буду, закроем все же тему с садо-мазо и издевательствами над кожаными.