Forwarded from Блуждающий нерв
Это возвращает нас к посту о психической регуляции здоровья. Там я упоминал Асю Роллс из Техниона, которая открыла “иммунноцепцию” в мозге. Конечно, работа про VTA и сердце — тоже её. В ноябре она выступит с докладом на Neuroscience 2024, крупнейшей конференции нейронаук, где представит те самые контуры медицины будущего, о которых я здесь пишу периодически. См. также ее небольшое интервью прошлого года.
Такие исследования (а их все больше) намекают на то, что многие процессы иммунной защиты, заживления, регенерации можно запускать напрямую из мозга. Это избавляет нас от необходимости микроуправления, превращая лечение в своего рода “высокоуровневое программирование”. Все инструменты здоровья в организме есть — их нужно научиться включать.
Вопрос, почему они не включаются у больных сами по себе. Ответ лежит в области биологии и, возможно, психологии. И это нужно изучать.
Все это также связано с эффектом плацебо, который на протяжении веков служит медицине, пусть даже большую часть истории врачи об этом не задумывались. Сегодня уже задумываются, и даже учатся его искусственно формировать.
Тема “Mind-Body” явно растет, обещая преобразовать способы лечения, и в то же время она глубоко фундаментальна, так как указывает на слепые пятна и пробелы в понимании биологической регуляции. Ближайшие годы будут в этом отношении захватывающими. Stay tuned.
Такие исследования (а их все больше) намекают на то, что многие процессы иммунной защиты, заживления, регенерации можно запускать напрямую из мозга. Это избавляет нас от необходимости микроуправления, превращая лечение в своего рода “высокоуровневое программирование”. Все инструменты здоровья в организме есть — их нужно научиться включать.
Вопрос, почему они не включаются у больных сами по себе. Ответ лежит в области биологии и, возможно, психологии. И это нужно изучать.
Все это также связано с эффектом плацебо, который на протяжении веков служит медицине, пусть даже большую часть истории врачи об этом не задумывались. Сегодня уже задумываются, и даже учатся его искусственно формировать.
Тема “Mind-Body” явно растет, обещая преобразовать способы лечения, и в то же время она глубоко фундаментальна, так как указывает на слепые пятна и пробелы в понимании биологической регуляции. Ближайшие годы будут в этом отношении захватывающими. Stay tuned.
Telegram
Блуждающий нерв
Идея исцелять себя “силой мысли” крайне заманчива, при условии, что для этого есть реальная почва. Вижу, как растет внимание к нейро-иммунным взаимодействиям, и ярким открытием пару лет назад стало обнаружение в мозге следов иммунной памяти — ее можно повторно…
November 1, 2024
Риск ошибки при распознавании неизвестных объектов на изображениях с помощью ИИ удалось сильно снизить. Очень интересная работа от T-Bank AI Research.
Для повышения эффективности распознавания объектов в Computer Vision часто применяются «глубокие ансамбли», которые объединяет несколько нейронных сетей для решения задачи. Это похоже на сбор мнений разных экспертов для получения лучшего решения.
Предыдущие разработки в области CV сталкивались с проблемой однородности ансамблей, то есть они были слишком похожи друг на друга, что снижало качество и разнообразие их оценок.
Ребята из T-Bank AI Research нашли решение этой проблемы с помощью нового метода SDDE, который использует карты внимания, фокусирующиеся на разных аспектах данных. Также исследователи научили модель при работе с изображениями учитывать не только те наборы данных, которые использовались при ее обучении, но и незнакомую ей информацию.
Значимость открытия в том, что теперь риск ошибки при обработке и анализе изображений снизился более чем на 20%. На CIFAR10, CIFAR100 и ImageNet-1K метод показал SOTA.
Метод получил название Saliency-Diversified Deep Ensembles и будет особенно востребован в сферах, требующих высокой точности анализа. В перспективе он поможет развить сферу беспилотных транспортных средств и медицинской диагностики, где важно различать неопознанные элементы и графические артефакты.
Подробное описание модели и результаты экспериментов доступны в статье Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy.
@cgevent
Для повышения эффективности распознавания объектов в Computer Vision часто применяются «глубокие ансамбли», которые объединяет несколько нейронных сетей для решения задачи. Это похоже на сбор мнений разных экспертов для получения лучшего решения.
Предыдущие разработки в области CV сталкивались с проблемой однородности ансамблей, то есть они были слишком похожи друг на друга, что снижало качество и разнообразие их оценок.
Ребята из T-Bank AI Research нашли решение этой проблемы с помощью нового метода SDDE, который использует карты внимания, фокусирующиеся на разных аспектах данных. Также исследователи научили модель при работе с изображениями учитывать не только те наборы данных, которые использовались при ее обучении, но и незнакомую ей информацию.
Значимость открытия в том, что теперь риск ошибки при обработке и анализе изображений снизился более чем на 20%. На CIFAR10, CIFAR100 и ImageNet-1K метод показал SOTA.
Метод получил название Saliency-Diversified Deep Ensembles и будет особенно востребован в сферах, требующих высокой точности анализа. В перспективе он поможет развить сферу беспилотных транспортных средств и медицинской диагностики, где важно различать неопознанные элементы и графические артефакты.
Подробное описание модели и результаты экспериментов доступны в статье Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy.
@cgevent
November 1, 2024
Forwarded from ЭйАйЛера
У Runway потрясающее новое обновление — улучшенное управление камерой
Можно будет выбрать направление движения, скорость, сочетать это все в ролике. Есть даже панорамирование объекта, то есть обучали не только на видео. Подробнее и с черрипиками тут.
Готовлюсь тестировать на все деньги, вместе с новым обновлением в Midjourney (позволяющим работать со своими изображениями) — это новое слово в творчестве и рекламе. После сотни итераций, конечно.
Можно будет выбрать направление движения, скорость, сочетать это все в ролике. Есть даже панорамирование объекта, то есть обучали не только на видео. Подробнее и с черрипиками тут.
Готовлюсь тестировать на все деньги, вместе с новым обновлением в Midjourney (позволяющим работать со своими изображениями) — это новое слово в творчестве и рекламе. После сотни итераций, конечно.
November 1, 2024
Forwarded from Psy Eyes
This media is not supported in your browser
VIEW IN TELEGRAM
Suno: добавили Personas (Персоны) — инструмент для выделения характерных черт композиции (вокал, стиль, атмосферу), чтобы их можно было переложить на другие треки.
Хотите, чтобы вашу демку исполнил Фредди Меркьюри — держите. Или Metallica перепела Царица.
Персоны могут быть публичными или приватными. Публичные доступны всем на платформе для персонализации чужих треков в своём стиле.
Выделить персону пока можно только у генераций. То есть, загрузить трек и завируситься на эссенции своего характерного стиля пока нельзя. Потом скорее всего подтянут, а там глядишь и монетизацию за каждое использование сделают.
Фича доступна платным подписчикам.
Твит
Сайт
Хотите, чтобы вашу демку исполнил Фредди Меркьюри — держите. Или Metallica перепела Царица.
Персоны могут быть публичными или приватными. Публичные доступны всем на платформе для персонализации чужих треков в своём стиле.
Выделить персону пока можно только у генераций. То есть, загрузить трек и завируситься на эссенции своего характерного стиля пока нельзя. Потом скорее всего подтянут, а там глядишь и монетизацию за каждое использование сделают.
Фича доступна платным подписчикам.
Твит
Сайт
November 1, 2024
Клод теперь читает пдфы как человек, с картинками.
До сегодняшнего дня, когда вы запихивалт PDF в Клод, он использовал службу извлечения текста для захвата текста и отправки его себе в текстовом промпте.
Теперь Клод может визуально увидеть PDF-файл вместе с текстом ЦЕЛИКОМ.
С картинками, диаграммами, и что там ещё запихивают в пдф.
Взгляд на страницу целиком.
Это позволяет Клоду более точно понимать сложные документы, например те, которые изобилуют диаграммами или графиками, не поддающимися текстовому представлению.
Например, теперь можно задавать Клоду вопросы о PDF-файле, полном анатомических диаграмм. См. видео
А ещё теперь можно пихать пдф в Клода через API.
Теперь он не читает документы, он их "рассматривает". Все как у людей.
https://docs.anthropic.com/en/docs/build-with-claude/pdf-support
@cgevent
До сегодняшнего дня, когда вы запихивалт PDF в Клод, он использовал службу извлечения текста для захвата текста и отправки его себе в текстовом промпте.
Теперь Клод может визуально увидеть PDF-файл вместе с текстом ЦЕЛИКОМ.
С картинками, диаграммами, и что там ещё запихивают в пдф.
Взгляд на страницу целиком.
Это позволяет Клоду более точно понимать сложные документы, например те, которые изобилуют диаграммами или графиками, не поддающимися текстовому представлению.
Например, теперь можно задавать Клоду вопросы о PDF-файле, полном анатомических диаграмм. См. видео
А ещё теперь можно пихать пдф в Клода через API.
Теперь он не читает документы, он их "рассматривает". Все как у людей.
https://docs.anthropic.com/en/docs/build-with-claude/pdf-support
@cgevent
November 1, 2024
Данные, которые мы заслужили.
Разметка в действии.
AGI все ближе к решению вопроса "как срать, не снимая свитер".
Прислали подписчики из Тайланда
@cgevent
Разметка в действии.
AGI все ближе к решению вопроса "как срать, не снимая свитер".
Прислали подписчики из Тайланда
@cgevent
November 2, 2024
Forwarded from Ai molodca 🤖 (Dobrokotov)
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшой тест (в молодежном стиле рок 80х) нового обновления #Gen3 Alpha Turbo — контроль камеры .
"Ну, нормально работает".
Еще один шаг в сторону контроля над видео, который пока идеален для приколов, но слаб для серьезных продакшен процессов.
"Ну, нормально работает".
Еще один шаг в сторону контроля над видео, который пока идеален для приколов, но слаб для серьезных продакшен процессов.
November 2, 2024
Для тех, кто еще держится в графике, есть вот такая новость и способ заработать.
Эпик сделал свой 3Д-сток, даже не так, Мета Сток. Там всё.
Хорошее название - Fab.
В настоящее время Fab поддерживает форматы игровых движков (ассеты из Unity и Unreal Engine), а также широкий спектр форматов 3D-файлов. В будущем обещают, и вот тут уже любопытно, ассеты для Майнкрафта и Роблокса (прямая конкуренция с экосистемой), Годотные ассеты и всяко-разно.
Если проще - Fab позволяет разработчикам покупать и загружать десятки тысяч игровых активов, 3D-окружения, визуальные эффекты, музыку и звуковые эффекты, модели персонажей, анимацию и многое другое.
Но есть моменты. Эпик пожрал Sketch Fab и ArtStation(не знали?) несколько лет назад.
Так вот, он собирается перенести всю эту годноту в Fab, а Sketch Fab и ArtStation прикрыть в 2025 году.
На реддите полыхает: юзеры пишут петиции и утверждают, что изменения в Sketchfab, включая отмену возможности загрузки бесплатных моделей, являются «фактически эквивалентом сожжения Александрийской библиотеки».
Эпик уже включил обраточку и сделал возможность шарить бесплатные ассеты на Fabe.
Но никто не знает, как Эпик поступит в 2025 году - он явно собирается собрать контент со всех своих четырех площадок в одно Авито, а юзерам это явно не нравится.
А за углом караулят ИИ-боты, чтобы начать заливать треш-ИИ-контент в этот свеженький Fab.
https://www.fab.com/become-a-publisher
@cgevent
Эпик сделал свой 3Д-сток, даже не так, Мета Сток. Там всё.
Хорошее название - Fab.
В настоящее время Fab поддерживает форматы игровых движков (ассеты из Unity и Unreal Engine), а также широкий спектр форматов 3D-файлов. В будущем обещают, и вот тут уже любопытно, ассеты для Майнкрафта и Роблокса (прямая конкуренция с экосистемой), Годотные ассеты и всяко-разно.
Если проще - Fab позволяет разработчикам покупать и загружать десятки тысяч игровых активов, 3D-окружения, визуальные эффекты, музыку и звуковые эффекты, модели персонажей, анимацию и многое другое.
Но есть моменты. Эпик пожрал Sketch Fab и ArtStation(не знали?) несколько лет назад.
Так вот, он собирается перенести всю эту годноту в Fab, а Sketch Fab и ArtStation прикрыть в 2025 году.
На реддите полыхает: юзеры пишут петиции и утверждают, что изменения в Sketchfab, включая отмену возможности загрузки бесплатных моделей, являются «фактически эквивалентом сожжения Александрийской библиотеки».
Эпик уже включил обраточку и сделал возможность шарить бесплатные ассеты на Fabe.
Но никто не знает, как Эпик поступит в 2025 году - он явно собирается собрать контент со всех своих четырех площадок в одно Авито, а юзерам это явно не нравится.
А за углом караулят ИИ-боты, чтобы начать заливать треш-ИИ-контент в этот свеженький Fab.
https://www.fab.com/become-a-publisher
@cgevent
November 2, 2024
This media is not supported in your browser
VIEW IN TELEGRAM
Text2Avatar
Тут недавно ElevenLabs выкатил text2voice, где вы промптом задаете характеристики голоса, а он генерит голоса, которые вы можете пользовать потом.
Про ElevenLabs и его новую штуку-шутку следующий пост.
А тут HeyGen сегодня ночью бахнул Text2Avatar.
Никаких авторизаций через камеру, никаких проверок входных изображений на селебность.
На входе ваши фантазии текстом, на выходе говорящий аватар, шевелящий лицом притом, с возможностью настройки любого прикида, позы или фона.
@cgevent
Тут недавно ElevenLabs выкатил text2voice, где вы промптом задаете характеристики голоса, а он генерит голоса, которые вы можете пользовать потом.
Про ElevenLabs и его новую штуку-шутку следующий пост.
А тут HeyGen сегодня ночью бахнул Text2Avatar.
Никаких авторизаций через камеру, никаких проверок входных изображений на селебность.
На входе ваши фантазии текстом, на выходе говорящий аватар, шевелящий лицом притом, с возможностью настройки любого прикида, позы или фона.
@cgevent
November 2, 2024
X-to-Voice: Твиттор2Аватар и Твиттор2Войс
В общем ElevenLabs пошли еще дальше. На входе ваш твиттор, на выходе ваш голос и даже аватар - они просто берут все ваши глупости, которые вы написали в твитторах, суммаризируют и присовывают как промпт в недавно запущенную ими же фичу Text2Voice.
По дороге забирают вашу твитторную аватарку и с помощью Хедры (да, у них коллаб по голосу) генерят еще и говорящее нечто.
Помните я генерил картинки себя на основе истории разговоров с chatGPT.
Теперь тоже самое на основе вашей болтовни в твитторе, а на выходе голос и аватар.
Это, конечно, вирусный проект, призванный продвинуть их свеженькое Voice Designer API, где как раз и идет генерация голоса по тексту.
И он какбытипа опенсорсный. Весь код вот он, но понятно, что вам надо будет вонзать за Voice Designer API и по дороге за Hedra API.
Но маркетинг отличный, я считаю.
Я туда присунул свой пыльный твиттер, где я когда-то шиллил CG EVENT и получил на выходе вот такое чудо.
Понятно, что из плоского перца никакой Хедрой не сделаешь выпуклого аватара с ротом и глазами. Но попытка защитана. С голосе уже точно звучит намерение выпить не чокаясь за жертв прогресса.
Ну и тебе еще и выдают описание твоего голоса.
Голос мужской среднего диапазона, излучающий уверенность и научный энтузиазм. Тон авторитетный, но в то же время доступный, с нотками волнения, что говорит о том, что он обсуждает важные и инновационные вопросы. Темп его речи взвешенный, но иногда переходит в быстрый, что отражает высокую энергию его мыслительного процесса. Он родом с Кипра, но его акцент в основном нейтральный, со слабыми средиземноморскими нотками. Скорее всего, ему около тридцати лет, что придает его голосу зрелый, знающий тембр.
Лесть, а приятно.
Го играть тут:
https://www.xtovoice.com/
Доброкотов, сувай свой твиттор сюда, он у тебя годный.
И пожалуйста, сделайте такое для телеги: telegram2voice - я уже слышу сиплый, спитой голос "ну, за...".
@cgevent
В общем ElevenLabs пошли еще дальше. На входе ваш твиттор, на выходе ваш голос и даже аватар - они просто берут все ваши глупости, которые вы написали в твитторах, суммаризируют и присовывают как промпт в недавно запущенную ими же фичу Text2Voice.
По дороге забирают вашу твитторную аватарку и с помощью Хедры (да, у них коллаб по голосу) генерят еще и говорящее нечто.
Помните я генерил картинки себя на основе истории разговоров с chatGPT.
Теперь тоже самое на основе вашей болтовни в твитторе, а на выходе голос и аватар.
Это, конечно, вирусный проект, призванный продвинуть их свеженькое Voice Designer API, где как раз и идет генерация голоса по тексту.
И он какбытипа опенсорсный. Весь код вот он, но понятно, что вам надо будет вонзать за Voice Designer API и по дороге за Hedra API.
Но маркетинг отличный, я считаю.
Я туда присунул свой пыльный твиттер, где я когда-то шиллил CG EVENT и получил на выходе вот такое чудо.
Понятно, что из плоского перца никакой Хедрой не сделаешь выпуклого аватара с ротом и глазами. Но попытка защитана. С голосе уже точно звучит намерение выпить не чокаясь за жертв прогресса.
Ну и тебе еще и выдают описание твоего голоса.
Голос мужской среднего диапазона, излучающий уверенность и научный энтузиазм. Тон авторитетный, но в то же время доступный, с нотками волнения, что говорит о том, что он обсуждает важные и инновационные вопросы. Темп его речи взвешенный, но иногда переходит в быстрый, что отражает высокую энергию его мыслительного процесса. Он родом с Кипра, но его акцент в основном нейтральный, со слабыми средиземноморскими нотками. Скорее всего, ему около тридцати лет, что придает его голосу зрелый, знающий тембр.
Лесть, а приятно.
Го играть тут:
https://www.xtovoice.com/
Доброкотов, сувай свой твиттор сюда, он у тебя годный.
И пожалуйста, сделайте такое для телеги: telegram2voice - я уже слышу сиплый, спитой голос "ну, за...".
@cgevent
November 2, 2024
This media is not supported in your browser
VIEW IN TELEGRAM
Pyramide Flow недавно обновился.
Это опенсорсный видеогенератор.
Они взяли и перетренировали модель на основе Флюкс (было SD30), назвали это miniflux и сказали, что пофиксили родовые анатомические травмы первой модели на базе SD30.
Я провел с ней в обнимку несколько дней, там очень много есть о чем рассказать, но выходные, вода еще +26, и надо все-таки не смотреть в монитор.
А пока милая девушка из Комфи желает вам хороших выходных.
Качество подтянули, да. И ходит на 20 гигах. Это я еще image2image не тестировал, разбирался с text2image
@cgevent
Это опенсорсный видеогенератор.
Они взяли и перетренировали модель на основе Флюкс (было SD30), назвали это miniflux и сказали, что пофиксили родовые анатомические травмы первой модели на базе SD30.
Я провел с ней в обнимку несколько дней, там очень много есть о чем рассказать, но выходные, вода еще +26, и надо все-таки не смотреть в монитор.
А пока милая девушка из Комфи желает вам хороших выходных.
Качество подтянули, да. И ходит на 20 гигах. Это я еще image2image не тестировал, разбирался с text2image
@cgevent
November 2, 2024
Media is too big
VIEW IN TELEGRAM
К вопросу о том, что такое video guidance scale в image2video в pyramide flow.
И как оно влияет на генерацию.
Кстати, я заметил, что оптимально считать всего на 4-8 шагах video steps
Сделать в Комфи грид из видео = пол-субботы.
@cgevent
И как оно влияет на генерацию.
Кстати, я заметил, что оптимально считать всего на 4-8 шагах video steps
Сделать в Комфи грид из видео = пол-субботы.
@cgevent
November 2, 2024
Forwarded from Derp Learning
Для mochi запилили редактор mochi comfyui video2video ноды. Заводится локально на 24гб vram.
До runway далеко, и на длинном контексте скорее всего будет разваливаться, как animatediff/svd
Но начало положено, и если кто-то присобачит туда хаки для длинного контекста, будет и у нас runwayml дома!
comfyui mochiedit
comfyui mochiwrapper
До runway далеко, и на длинном контексте скорее всего будет разваливаться, как animatediff/svd
Но начало положено, и если кто-то присобачит туда хаки для длинного контекста, будет и у нас runwayml дома!
comfyui mochiedit
comfyui mochiwrapper
November 3, 2024
This media is not supported in your browser
VIEW IN TELEGRAM
Похоже, что лента превращается в один сплошной видеогенератор.
У нас небольшая передышка в области, скажем так, североамериканского ИИ (там все прижали уши до завтра, то есть до выборов, и разборок после них) и европейского ИИ (эти перестраховщики просто прижали уши и регулируют регуляции). Зато китайцы и опен-сорс просто не дают поднять головы.
Поэтому вы уж потерпите, на этой неделе на вас будет валиться всякая информация именно по видеогенераторам. Ибо я тут даже завел опенсорсное видео-2-видео и оно, как ни странно криво-косо работает.
А для тех, кто мучает Pyramide Flow через Comfy дам такой лайфхак. В оригинальном коде разрабы считерили и захардкодили в позитивный промпт вот такую добавку ", hyper quality, Ultra HD, 8K"
А в негативный промпт, если он пустой, добавляют "cartoon style, worst quality, low quality, blurry, absolute black, absolute white, low res, extra limbs, extra digits, misplaced objects, mutated anatomy, monochrome, horror"
В Комфи вам надо вручную дописать добавку в позитивный промпт и задать вот такой негативный. У меня качество отросло раз в пять на этих девушках.
@cgevent
У нас небольшая передышка в области, скажем так, североамериканского ИИ (там все прижали уши до завтра, то есть до выборов, и разборок после них) и европейского ИИ (эти перестраховщики просто прижали уши и регулируют регуляции). Зато китайцы и опен-сорс просто не дают поднять головы.
Поэтому вы уж потерпите, на этой неделе на вас будет валиться всякая информация именно по видеогенераторам. Ибо я тут даже завел опенсорсное видео-2-видео и оно, как ни странно криво-косо работает.
А для тех, кто мучает Pyramide Flow через Comfy дам такой лайфхак. В оригинальном коде разрабы считерили и захардкодили в позитивный промпт вот такую добавку ", hyper quality, Ultra HD, 8K"
А в негативный промпт, если он пустой, добавляют "cartoon style, worst quality, low quality, blurry, absolute black, absolute white, low res, extra limbs, extra digits, misplaced objects, mutated anatomy, monochrome, horror"
В Комфи вам надо вручную дописать добавку в позитивный промпт и задать вот такой негативный. У меня качество отросло раз в пять на этих девушках.
Two white women with long, flowing blonde hair walking side by side along a wide, sandy beach on a bright, sunny day. Both are mid-laugh, their expressions full of joy and friendship, as they walk in sync, close together, barefoot on the warm sand. The sunlight casts a golden glow over their hair, which flows slightly in
@cgevent
November 4, 2024
This media is not supported in your browser
VIEW IN TELEGRAM
Чтобы не мучить вас кринжоповатыми опенсорсными видеогенераторами вкину вот такую китайскую утечку из Клинга.
Внимание, это чистый текст2image. Никакой картинки на входе, как у "никогда-в-продукте" MovieGen от метачки или дипфейках.
Внимание, это первая Тренировка Лор для Клинг!
На своих (чужих, нужных) лицах.
Подробности ниже
@cgevent
Внимание, это чистый текст2image. Никакой картинки на входе, как у "никогда-в-продукте" MovieGen от метачки или дипфейках.
Внимание, это первая Тренировка Лор для Клинг!
На своих (чужих, нужных) лицах.
Подробности ниже
@cgevent
November 4, 2024