🖥 Text2SQL is Not Enough: Unifying AI and Databases with TAG

Генерация с расширением таблиц (TAG) - это унифицированная парадигма общего назначения для ответа на вопросы на естественном языке с использованием баз данных.

Text2SQL представляет широкий спектр взаимодействий между LM и базой данных, которые ранее не применялись в таких методах, как Text2SQL и RAG.

📚 Статья: https://arxiv.org/abs/2408.14717
🛠️ Код: https://github.com/tag-research/tag-bench

@bigdatai

🚀XR-среда: погружаемся в метавселенные вместе с Sber Metaverse Tech и СберМаркетингом

Представители крупных брендов расскажут, какие технологии используют для создания метавёрса, где его можно применять и как он помогает бизнесу.

Совсем скоро обсудим:

➡️детские тренды и взрослые бренды: как работать с молодой аудиторией метавселенных
➡️геймификацию HR: игровые механики в найме и развитии сотрудников
➡️как влюбить в хоккей с помощью Roblox: кейс «Метавселенная хоккея» от КХЛ
➡️Roblox: от разовых спецпроектов к глубокой интеграции

📆 Встречаемся 4 сентября в 11:00 по адресу Москва, Кутузовский проспект, д. 32Г

Вход бесплатный, но нужна предварительная регистрация.

🔥 Яндекс анонсировал Practical ML Conf — конференцию о практическом применении ML

Событие пройдет 14 сентября в Москве в пространстве «Суперметалл», для участия нужно зарегистрироваться и получить приглашение. Также будет доступна онлайн-трансляция докладов.

🟡 Узнать подробности и зарегистрироваться можно здесь.

@bigdatai

Новостной дайджест

✔️ Laion перевыпустит датасет Laion 5B.

Laion 5B - крупнейший открытый набор данных изображений в интернете. Он был изъят из публичного доступа из-за претензий о содержавшихся в нем неуместных и неэтических изображениях.
Новый набор данных, Re-LAION-5B создан в сотрудничестве Laion с организациями Internet Watch Foundation (IWF) и Canadian Center for Child Protection (C3P).

В процессе обновления было удалено 2236 ссылок, которые были идентифицированы как потенциально ведущие к подозрительному контенту. Новый набор данных Re-LAION-5B содержит 5,5 миллиардов пар текст-ссылка-изображение и будет доступен для скачивания в двух версиях: Re-LAION-5B research и Re-LAION-5B research-safe под лицензией Apache 2.0.
laion.ai

✔️ Pixar следующего поколения: как искусственный интеллект объединит фильмы и игры.

Большая статья о будущем анимационной индустрии и её трансформации благодаря новым технологиям на сайте венчурного фонда Andreessen Horowitz.
Основное внимание статьи уделяется тому, как искусственный интеллект и другие цифровые инструменты меняют процесс создания анимации.

Авторы приводят примеры стартапов и компаний, которые уже используют технологии ИИ для создания высококачественной анимации с меньшими затратами времени и ресурсов. Предполагается, что такие изменения могут привести к появлению новых форматов контента и расширению возможностей для независимых аниматоров.
a16z.com

✔️ Sam Altman, Bill Gates и создатель Youtube примут участие в TВ-шоу на канале ABC.

Oprah Winfrey анонсировала новый спецвыпуск о будущем искусственного интеллекта "AI and the Future of Us". В шоу примут участие : генеральный директор OpenAI Sam Altman, Bill Gates, Директор ФБР Christopher Wray и создатель Youtube Marques Brownlee.

В программе будут обсуждаться основы ИИ, его влияние на образование, здравоохранение и другие отрасли, а также его потенциальное воздействие на правоохранительные органы и национальную безопасность. На шоу будут продемонстрированы существующие продукты со встроенным ИИ.
Шоу выйдет в эфир на канале ABC 12 сентября в 20:00 EST и будет доступна для просмотра на платформе Hulu на следующий день.
Участие в шоу Oprah Winfrey является признаком того, что ИИ становится все более популярной и важной темой в обществе.
techradar.com

✔️ Новая архитектура нейронных сетей может сделать ИИ более понятными.

Новая архитектура нейронных сетей, Kolmogorov-Arnold Networks (KANs), может сделать искусственный интеллект более интерпретируемым. KANs отличаются от традиционных нейронных сетей тем, что они используют более простые и понятные человеку функции для преобразования входных данных.

Эксперименты, проведенные в MIT и других институтах показали, что KANs могут быть более точными чем традиционные нейронные сети, но обучение KANs требует больше времени и вычислительных ресурсов, чем традиционные нейронные сети.
technologyreview.com

✔️ Новый метод непрерывного дообучения моделей компьютерного зрения и языка.

В опубликованном исследовании предложен новый подход к непрерывному дообучению зрительных и языковых моделей, который учитывает реальные требования их развертыванию в практических приложениях.

Исследование включает в себя четыре направления: влияния различных комбинаций данных и порядка их поступления на процесс дообучения, сравнение различных методов дообучения, изучение влияния мета-LR и планировщиков на процесс дообучения и анализ влияния масштабирования модели и вычислительных ресурсов на процесс дообучения.

Результаты исследования дают практические рекомендации для непрерывного дообучения моделей. Дополнительно, предложена концепция платформы FoMo-in-Flux, которая будет оценивать эффективность методов дообучения.
arxiv.org

@ai_machinelearning_big_data

#news #ai #ml

😖 Google DeepMind только что выпустили еще один крутой биотех инструмент с искусственным интеллектом: AlphaProteo

Это AI для разработки новых белков. Он поможет в разработке лекарств, для лечения рака, аутоиммунных заболеваний, а так же лечения множества других заболеваний 🧬

Ученые предрекают возможность создания нового белкового материала, который будет связываться с белками, участвующими в передаче сигналов между раковыми клетками, нарушая их функцию и вызывая их гибель

Исследователи смогу смоделировать и лучше понять, как функционируют биологические системы, сэкономить время на исследованиях, усовершенствовать разработку лекарств и многое другое. 🧵

Анонс
Статья

@ai_machinelearning_big_data

#deepmind #ai #ml #biology #biotech

🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.

▪DEMO
▪GitHub

@bigdatai

👩‍⚕️ Большой Медицинский дайджест самых интересных проектов.

🟩 CancerLLM: LLM для онкологии.

CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).

🔸Arxiv

🟩 MedUnA: метод создания VLM для обработки медицинских снимков.

Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.

На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.

На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.

🔸Arxiv


🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.

Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.

🔸Arxiv🔸Github 🔸Model


🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.

Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.

Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.

🔸Arxiv 🔸Github


🟩 CanvOI: Визуальная модель для онкологии.

CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).

🔸Arxiv


🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.

UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.

🔸Arxiv 🔸Github 🔸Model

Бенчмарки и наборы данных для оценки


🟥 TrialBench: Датасет клинических испытаний.

23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.

🔸Arxiv 🔸Github 🔸Dataset


🟥 LLM для бенчмарка по MedQA.

Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.

Спойлер — могут, с абсолютной погрешностью 0,62 по шкале от 0 до 3.

🔸Arxiv


🟥 MedFuzz: Исследование надежности медицинских LLM.

MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.

MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.

🔸Arxiv


🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.

MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.

MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.

🔸Arxiv 🔸Leaderboard 🔸Github 🔸Dataset MedS-Ins

🔥Полный дайджест

@ai_machinelearning_big_data

#news #ai #ml #medtech