Новостной дайджест

✔️ Runway открывает доступ к своей модели генерации видео через API.

Runway анонсировал API, который позволит интегрировать его модели в сторонние платформы, приложения и сервисы. Пока API Runway находится в ограниченном доступе, предлагая только одну модель — Gen-3 Alpha Turbo, более быструю, но менее функциональную версию флагманской модели Runway Gen-3 Alpha. Базовая цена составляет 1 цент за кредит (одна секунда видео стоит пять кредитов). Runway заявляет, что «доверенные стратегические партнеры», включая маркетинговую группу Omnicom, уже используют API.

API Runway имеет требования к использованию. Любые интерфейсы, использующие API, должны «явно отображать» баннер «Powered by Runway» со ссылкой на веб-сайт Runway.
techcrunch.com

✔️ Имплантат для восстановления зрения Neuralink получил одобрение FDA.

Имплантаты Neuralink уже вживлены в мозг двум парализованным пациентам, которые продемонстрировали значительный прогресс в управлении цифровыми технологиями с помощью мысли.

Полученное Neuralink разрешение относится к категории «революционных устройств», этот статус дает компании возможность приоритетного взаимодействия с экспертами FDA на этапе предпродажной проверки. Важно, что получение статуса не является окончательным одобрением FDA для продажи устройства на рынке.

Blindsight, так называется имплантат, работает путем вживления тонкой матрицы из сотен электродов глубоко в мозг пациента, в область, отвечающую за обработку зрительной информации. Blindsight стимулирует зрительную кору микроскопическими импульсами, имитируя сигналы, поступающие от глаз.

На первом этапе технология обеспечит зрение с низким разрешением, сравнимое с графикой старых видеоигр Atari.
inc.com

✔️ CAIS и Scale AI создадут "самый сложный экзамен человечества" для AI.

Некоммерческая организация The Center for AI Safety (CAIS) совместно со Scale AI объявили о создании «Последнего экзамена для человечества» - набора сложнейших вопросов, для оценки истинного уровня интеллекта ИИ. Инициатива возникла на фоне растущих опасений, что ИИ может превзойти человеческий интеллект и потенциально представлять угрозу для человечества.

Проект приглашает к участию экспертов и всех желающих, предлагая им придумать вопросы, которые поставят в тупик современные системы ИИ. Ответы на эти вопросы, собранные от различных моделей ИИ, будут проанализированы и использованы для создания нового стандарта оценки возможностей ИИ.

Авторы наиболее интересных и сложных вопросов будут приглашены стать соавторами научной статьи, посвященной проекту, и получат денежные призы из фонда в 500 000 долларов США. Авторы 50 лучших вопросов получат по 5000 долларов, а авторы следующих 500 лучших вопросов - по 500 долларов.
safe.ai

✔️ BitNet: экстремальное квантование языковых моделей.

Hugging Face успешно применили метод экстремального квантования BitNet к LLM, сократив требования к памяти и вычислениям без ущерба для производительности.

BitNet, разработанный Microsoft Research, представляет собой архитектуру, представляя каждый параметр только тремя значениями: -1, 0 и 1. В результате получается версия модели, которая использует всего 1,58 бит на параметр.

Для интеграции BitNet в архитектуру Transformer представлен новый метод "bitnet". Он заменяет стандартные линейные слои специализированными слоями BitLinear, совместимыми с BitNet. BitLinear квантует веса, используя троичную точность (со значениями -1, 0 и 1), а активации квантуются до 8-битной точности.

BitLinear использует разные реализации для обучения и для логического вывода. Во время обучения используется STE (Straight Through Estimator), который позволяет градиентам проходить через не дифференцируемую операцию округления, аппроксимируя ее градиент как 1. Таким образом, веса обновляются с помощью стандартных методов оптимизации на основе градиента.

Во время логического вывода веса просто квантуются до троичных значений без повторного масштабирования, а это ощутимо повышает скорость вывода.
huggingface.co

@ai_machinelearning_big_data

#news #ai #ml

🌟 Продвинутые техники RAG: Репозиторий Github c самой полной и актуальной подборкой ресурсов.

RAG-системы - это комбинация информационного поиска и генеративных моделей, целью которая предоставляет точные и контекстуально релевантные ответы на запросы пользователя.

В репозитории собран большой и регулярно обновляемый набор инструментов, документации и обучающих материалов, предназначенных для теоретического изучения и практического применения для желающих расширить свои знания и навыки в изучении возможностей RAG:

Базовые методы RAG:

🟢Простой RAG с использованием LangChain, LlamaIndex или CSV файлов;
🟢RAG с добавлением валидации и уточнения для обеспечения точности и релевантности извлекаемой информации;
🟢Выбор размера фрагмента текста;
🟢Разбивка на чанки для контроля и обработки запросов;

Инженерия запросов:

🟠Трансформация запросов: перефразирование, расширение контекста, декомпозиция на подзапросы;
🟠Гипотетические вопросы для улучшения соответствия между запросами и данными;

Обогащение контекста и содержания:

🟢Контекстуальные заголовки фрагментов для улучшения точности поиска;
🟢Извлечение релевантных сегментов для предоставления LLM более полного контекста;
🟢Расширение контекста с помощью соседних предложений;
🟢Семантическое фрагментирование текста;
🟢Контекстуальная компрессия для сохранения информации при сжатии;
🟢Дополнение документов вопросами для улучшения поиска;

Методы поиска:

🟠Fusion Retrieval;
🟠Intelligent Reranking;
🟠Multi-faceted Filtering;
🟠Hierarchical Indices;
🟠Ensemble Retrieval;
🟠Multi-modal Retrieval;

Итеративные и адаптивные методы:

🟢Retrieval with Feedback Loops;
🟢Adaptive Retrieval;
🟢Iterative Retrieval;

Интерпретируемость:

🟠Explainable Retrieval;

Архитектуры:

🟢Интеграция графа знаний (Graph RAG);
🟢GraphRag (Microsoft);
🟢RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval;
🟢Self RAG;
🟢Corrective RAG.

▶️Практическое применение или изучение техник RAG в проектах:

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/RAG_Techniques.git

#Перейдите к интересующей вас технике
cd all_rag_techniques/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.

📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #AwesomeRAG #Github

Новостной дайджест

✔️ YouTube анонсировала AI функции для создателей контента и зрителей.

СEO YouTube Нил Мохан объявил о запуске набора новых функций на основе искусственного интеллекта, которые будут внедрены на платформе до конца года.

Среди новых возможностей - функция создания шестисекундных видеороликов на основе текста, которые можно будет использовать в YouTube Shorts. Функция будет работать на базе технологии ИИ Google DeepMind.

Все видео, созданные с помощью ИИ, будут помечены водяным знаком SynthID, разработанным DeepMind . Эта технология позволяет идентифицировать материалы, созданные ИИ, чтобы помочь зрителям отличать их от контента, созданного людьми.

Помимо генерации видео, YouTube внедрит функции Dream Track, позволяющую создавать инструментальные треки для Shorts и Music AI Sandbox для создания музыкальных “лупов”.

Платформа расширит возможности автоматического дубляжа видео на другие языки, а обновление “выразительной речи” сделает дубляж более естественным.

Новая кнопка “Хайп” позволит зрителям предлагать видео для включения в новый раздел трендов.
Для авторов контента будут внедрены новые способы монетизации во время прямых трансляций, аналогичные TikTok Live и Twitch.
nbcnews.com

✔️ Co-LLM: алгоритм для повышения точности инференса моделей.

В MiT разработали новый алгоритм Co-LLM, который позволяет большой языковой модели общего назначения LLM сотрудничать со специализированной моделью для повышения точности ответов. Co-LLM анализирует каждое слово в ответе базовой LLM и определяет, когда следует обратиться к экспертной модели для получения более точного ответа. Алгоритм использует "переключающую переменную", обученную на данных предметной области, чтобы определить, какая из моделей обладает большей компетентностью в конкретной части ответа.

Co-LLM показал эффективность в различных сферах: медицинские вопросы, математические задачи и вопросы на рассуждение. Например, при ответе на вопрос о составе лекарственного препарата, базовая LLM может допустить ошибку, в то время как Co-LLM, обратившись к специализированной модели Meditron, предоставит верный ответ.
news.mit.edu

✔️ Fal.ai привлекла $23 млн. от a16z и других венчурных компаний.

Fal.ai - платформа, которая специализируется на генерации аудио, видео и изображений. Компания объявила о привлечении $23 млн инвестиций от Andreessen Horowitz (a16z), сооснователя Black Forest Labs Робина Ромбаха, генерального директора Perplexity Аравинда Сриниваса и других. $14 млн были получены в рамках раунда серии A под руководством Kindred Ventures, а остальные $9 млн – в рамках ранее не объявленного раунда начального финансирования под руководством a16z.

Fal.ai предлагает два основных продукта: частные вычислительные мощности и рабочие процессы для запуска моделей, а также API для моделей с открытым исходным кодом, которые генерируют изображения, аудио и видео. Платформа была одной из первых, кто разместил Flux от Black Forest Labs.

Компания планирует направить большую часть полученных средств на модернизацию своего продукта и на создание исследовательской группы, которая сосредоточится на оптимизации моделей
techcrunch.com

✔️ Sonarworks выпустил SoundID VoiceAI 2.0 с новыми пресетами и локальной обработкой.

SoundID VoiceAI - это плагин для преобразования голоса, разработанный Sonarworks для DAW. Он позволяет легко изменять записанный певческий голос в голос другого человека с помощью технологии ИИ. Обновленная версия 2.0 добавляет новые функции, включая 50 высококачественных пресетов для голоса и инструментов.

Одним из ключевых преимуществ SoundID VoiceAI 2.0 является новый тип лицензирования - Perpetual Mode. С ним пользователи могут обрабатывать неограниченное количество аудиотреков локально на своем компьютере без каких-либо дополнительных затрат. Бесплатную пробную версию (7дней) SoundID VoiceAI 2.0 можно загрузить на сайте Sonarworks.
mixdownmag.com.au

@ai_machinelearning_big_data

#news #ai #ml

🌟 Агенты GenAI: Репозиторий Github c обширной базой знаний и примерами.

GenAI-агенты - это системы ИИ, способные взаимодействовать с окружающим миром и выполнять разнообразные задачи, подобно человеку. В отличие от традиционных систем ИИ, GenAI-агенты обладают большей гибкостью, адаптивностью и способностью к обучению.

Репозиторий - кладезь теоретических и практических знаний: примеры, начиная от простых разговорных ботов до сложных многоагентных систем, обучающие материалы для всех уровней — от начинающих до опытных пользователей, заинтересованных в изучении и применении современных технологий GenAI.

Простые агенты:

🟢простые диалоговые агентов и агенты для ответов на вопросы;
🟢агенты для анализа данных;

Агенты для конкретных задач:

🟠клиентская поддержка;
🟠оценка эссе и сочинений;
🟠планировщик путешествий;

Творческие агенты:

🟢агент генерации GIF-анимации;
🟢агент для генерации речи на основе текста;
🟢агент для генерации музыкальных композиций;

Сложные системы агентов:

🟠разговорный агент с расширенной памятью;
🟠многоагентные системы;
🟠самосовершенствующиеся агенты;
🟠агенты, ориентированные на выполнение задач;
🟠агенты для поиска и обобщения информации в Интернете;
🟠 исследовательские группы агентов на базе Autogen;

Специальные сложные агенты:

🟢агент для комплексных задач с использованием RAG.


▶️Практическое изучение и создание агентов GenAI::

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/GenAI_Agents.git

#Перейдите к интересующей вас технике
cd all_agents_tutorials/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.

📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #Agents #AwesomeGenAI #Github

Новостной дайджест

✔️ Google создал инструмент ИИ для мониторинга состояния зданий в городах.

Google выпустила инструмент на основе ИИ - Open Buildings 2.5D Temporal Dataset, отслеживающий визуальные изменения зданий. Набор данных охватывает территорию площадью 82 миллиона кв. км в Африке, Латинской Америке, Южной и Юго-Восточной Азии. Отслеживание изменений включает в себя оценку наличия, количества и высоты зданий за период с 2016 по 2023 г. Для обнаружения зданий использовались снимки со спутника Sentinel-2, который позволяет снимать заданный регион Земли примерно каждые пять дней, причем каждый пиксель на снимке представляет собой квадрат размером 10 м на реальной поверхности.
readwrite.com

✔️ АЭС в Пенсильвании будет перезапущена для обеспечения энергией дата-центров Microsoft.

Компания Constellation Energy объявила о планах по перезапуску закрытой атомной электростанции Три-Майл-Айленд в Пенсильвании. Перезапуск стал возможным благодаря соглашению с Microsoft, которая обязалась закупать электроэнергию, вырабатываемую станцией, в течение 20 лет. Данное решение является знаковым событием, демонстрирующим возобновление интереса к атомной энергетике на фоне растущих опасений по поводу изменения климата и необходимости обеспечения стабильных поставок электроэнергии.

Constellation Energy намерена инвестировать 1,6 миллиарда долларов в модернизацию реактора, включая замену главного силового трансформатора, восстановление турбин и систем охлаждения. Ожидается, что модернизированный реактор будет иметь мощность 835 мегаватт.
nytimes.com

✔️ Wordfreq, проект, анализирующий использование человеческого языка, закрывается из-за загрязнения данных генеративным ИИ.

Проект wordfreq, который предоставлял данные о состоянии языка на основе различных онлайн-источников, больше не будет обновляться. Это решение обусловлено из-за влияния генеративного ИИ и изменениями в доступности данных.
Генеративный ИИ загрязняет источники данных, они становятся ненадежными. Интернет, являвшийся важным источником информации для wordfreq, теперь переполнен контентом, созданным большими языковыми моделями. Этот контент часто не имеет подлинного человеческого намерения или коммуникации, искажая частоту слов.

Доступ к данным, которые раньше были бесплатными, теперь стал платным. Twitter и Reddit, ранее являвшиеся ценными источниками разговорного языка для wordfreq, больше не предоставляют открытые API.
edworking.com

✔️ Индийский режиссер Рам Гопал Варма отказывается от музыкантов в пользу музыки, созданной искусственным интеллектом.

Индийский режиссер Рам Гопал Варма, заявил, что будет использовать только музыку, созданную искусственным интеллектом в своих будущих проектах. Варма запустил проект под названием RGV Den Music, который будет использовать музыку, созданную Suno и Udio. Он утверждает, что ИИ обеспечивает мгновенное создание музыки с «нулевой стоимостью».
Варма раскритиковал композиторов за частые срывы сроков и конфликты в расписании, а авторов текстов обвинил в неспособности уловить суть песен.
techcrunch.com

✔️ Amazon запустил сервис генерации видеорекламы.

Amazon Ads запустил новую функцию - "Video Generator", которая использует генеративный ИИ для создания визуально привлекательных видеореклам за несколько минут. Инструмент предназначен для повышения креативности рекламодателей и создания контента.

Video Generator создает персонализированные видео по одному изображению продукта, подчеркивая особенности и преимущества товара. Он является дополнением к существующим инструментам Amazon Ads, которые позволяют рекламодателям генерировать изображения в разных стилях.
aboutamazon.com

@ai_machinelearning_big_data

#news #ai #ml