​​Meta-Transformer: A Unified Framework for Multimodal Learning

The landscape of multimodal learning is about to witness a remarkable transformation with the introduction of Meta-Transformer, a state-of-the-art framework that's poised to overcome long-standing challenges in the field. The beauty of Meta-Transformer lies in its unique ability to process and understand information from a diverse range of modalities - from natural language, 2D images, 3D point clouds, to audio, video, time series, and tabular data. This ability stems from its innovative design that leverages a frozen encoder to map raw input data from these diverse modalities into a shared token space, eliminating the need for paired multimodal training data.

More than just a theoretical achievement, the Meta-Transformer has proven its practical application across various benchmarks, handling an impressive range of tasks from fundamental perception such as text, image, and audio processing, to more complex applications like X-Ray, infrared, and hyperspectral data interpretation, as well as data mining tasks involving graph, tabular, and time-series data.

Code link: https://github.com/invictus717/MetaTransformer
Paper link: https://arxiv.org/abs/2307.10802

A detailed unofficial overview of the paper:
https://andlukyane.com/blog/paper-review-meta-transformer

#deeplearning #nlp #transformer #cv

Сингапурский финтех-фестиваль 2023 года, пройдёт с 15 по 17 ноября и будет посвящен росту и принятию искусственного интеллекта в финансовых услугах. Основными докладчиками станут Брайан Армстронг (сооснователь и генеральный директор Coinbase), Сопнэнду Моханти (главный финтех-офицер, Монетарная власть Сингапура) и Виталик Бутерин (сооснователь Ethereum и исследователь в Ethereum Foundation). Фестиваль призван исследовать, как искусственный интеллект и другие технологии могут ускорить инновации в финансовом секторе.

https://www.fintechfestival.sg/

Исследователи из Университета Карнеги-Меллон и Центра по безопасности искусственного интеллекта в Сан-Франциско продемонстрировали метод обхода мер безопасности в больших языковых моделях (LLM), таких как чат-боты. Путем добавления определенных последовательностей символов к пользовательским запросам исследователи смогли заставить LLM производить вредные и токсичные ответы. Эти выводы вызывают опасения о безопасности LLM и потенциале распространения ложной и опасной информации в Интернете. Неизвестно, смогут ли поставщики LLM полностью справиться с такими атаками, аналогично атакам на компьютерное зрение, и будут ли они ограничивать применимость LLM в определенных ситуациях.

https://llm-attacks.org/

Stability AI выпустила SDXL 1.0
SDXL 1.0 создает высококачественные изображения в любом художественном стиле, включая сложные концепции и стили.
Модель доступна на различных платформах и обладает большими возможностями в настройке пространственной конфигурации и стиля изображений. Также она обладает интеллектуальной способностью создавать детализированные изображения всего лишь с несколькими словами.
Лицензия SDXL 1.0 распространяется на CreativeML OpenRAIL++-M License.

https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

OpenAI под расследованием FTC из-за опасений о нарушении законов о защите потребителей и нанесении ущерба репутации.
Регулятор обращает внимание на "галлюцинации" AI-системы, создаваемые OpenAI, и возможный обман потребителей. Такое поведение AI-моделей вызывает вопросы о безопасности и требует новых правил. Это уже не первая проблема OpenAI с регуляторами - в марте компания столкнулась с блокировкой своего сервиса в Италии из-за нарушения GDPR.

https://arstechnica.com/information-technology/2023/07/chasing-defamatory-hallucinations-ftc-opens-investigation-into-openai/

GPT модель смогла выучить китайский язык без должного обучения. Ее результаты в тестах по пониманию особенностей китайского языка превосходят результаты китайских моделей. Разработчики не могут объяснить этот феномен и беспокоятся о возможных последствиях такого самостоятельного обобщения целей со стороны искусственного интеллекта.

https://twitter.com/janleike/status/1625207251630960640

Попробовал Гигачат.
Llama2 пока лучше.

SANS Institute выпустил отчет о кибербезопасности, подчеркивая необходимость управления человеческими киберрисками в условиях роста атак, основанных на AI. Отчет содержит рекомендации для организаций по управлению человеческими рисками и акцентирует внимание на фишинге, вишинге и смишинге как основных угрозах. Он также подчеркивает необходимость поддержки руководства и баланса между технической и человеческой безопасностью. Отчет снабжает организации необходимыми инструментами для улучшения стратегий управления человеческими рисками в кибербезопасности.

https://chatgptglobal.news/new-report-reveals-critical-human-cyber-risks-in-the-digital-age/

Искусственный интеллект помогает проектировать промышленные объекты и порты в Арктике. Ученые разработали программу с удобным и понятным интерфейсом, основанную на технологии генеративного дизайна пространств. Она автоматически создает подробные планы объектов, учитывая строительные нормы и климатические условия. Это позволит сократить время и упростить процесс разработки проектов в Арктике. ИИ-проектировщик может быть полезен компаниям, занимающимся освоением Арктической зоны, помогая учитывать особенности природной среды и создавать комплексные архитектурные решения для арктических условий.

https://news.itmo.ru/ru/science/it/news/13331/

Microsoft предоставит правительству Японии ИИ ChatGPT.
Технология позволит людям естественно взаимодействовать с системами чат-ботов и может применяться в различных областях, таких как обслуживание клиентов и здравоохранение.
Microsoft устанавливает высокопроизводительное оборудование для работы с конфиденциальной информацией в своих центрах обработки данных в Токио и Осаке.
Это первое развертывание данной технологии в Азии.
Microsoft будет предоставлять ChatGPT AI искусственный интеллект GPT-4 языковой модели и технологию Meta от Facebook.
Digital Agency of Japan планирует выделить более 2 миллионов долларов на однолетнее испытание технологии.
Ее будут тестировать на задачах, таких как подготовка протоколов, создание проектных ответов на парламентские запросы и анализ статистики правительства для оптимизации рабочих задач сотрудников.

https://www.onmsft.com/news/microsoft-to-provide-japans-government-with-chatgpt-ai-technology/

3D-пространства и объекты по текстовым запросам и наброскам

Просто нарисуйте линии и углы локации, опишите её и выберите стиль. Нейронка дорисует всё за вас и поможет довести до идеала. Можно создавать как огромные миры так и простые объекты. Есть возможность скачивания для дальнейшего использования.

⤷ Пробуем тут.

ChatGPT | #Useful

Аналитики предупреждают о возможных угрозах со стороны искусственного интеллекта (ИИ). Компания Anthropic использует Red Teaming для обнаружения и устранения слабостей ИИ, чтобы предотвратить потенциальные угрозы и обеспечить безопасность.

https://www.anthropic.com/index/claude-2

Вот сейчас красиво будет: Stack Overflow показали, как будет выглядеть новый поиск по сайту с ИИ.

Ладно, это того стоило.

Intel превзошла ожидания по доходам и прибыли во втором квартале 2023 года. Компания отмечает успешное выполнение процессов и разработок продуктов, укрепление позиции в области искусственного интеллекта (AI) и увеличение доли рынка. Она видит потенциал увеличения рынка AI как TAM для серверных процессоров и ожидает ускоренного роста в этой области. Intel также сообщила о успехах своего экспедиторского бизнеса и продолжении инвестиций в собственные полупроводниковые производства. Компания продолжает ожидать положительных результатов и улучшения маржи во второй половине года.


https://seekingalpha.com/article/4620863-intel-corporation-intc-q2-2023-earnings-call-transcript

Google так же занялась пентестом ИИ, подключив ред тим, которая занимается этическим хакерством и безопасностью.

Они проводят атаки на системы ИИ, чтобы выявить и исправить уязвимости и делятся опытом с другими организациями.
Google призывает все организации проводить регулярные пентесты для обеспечения безопасности систем ИИ.

https://blog.google/technology/safety-security/googles-ai-red-team-the-ethical-hackers-making-ai-safer/

6 причин почему ChatGPT сделает нас менее интеллектуальными:

1. зависимость от мгновенных ответов
2. снижение умения критически мыслить
3. ухудшение памяти
4. уменьшение способности понять сложные темы
5. принятие и распространение неправильной информации
6. снижение навыков социального взаимодействия

https://www.forbes.com/sites/jodiecook/2023/07/27/why-chatgpt-could-be-making-us-less-intelligent-6-key-reasons/

команда Google Quantum AI впервые наблюдала особое поведение неабелевых анионов, частиц с потенциалом изменить квантовые вычисления, делая их менее чувствительными к шумам.

Команда успешно использовала эти анионы для выполнения квантовых вычислений, открывая новый путь к топологическим квантовым вычислениям.

https://neurosciencenews.com/non-abelian-anyons-google-ai-23229/

Axios: Google обновит свой Assistant, чтобы добавить туда генеративные технологии ИИ

– Google Assistant получит ИИ аналогичный ChatGPT и Bard
– Информация об этом была внутри письма сотрудникам
– Первым обновление получит мобильная версия продукта
– Некоторая работа над обновление Assistant уже началась
– Google также реорганизует команды, работающие над ним
– При этом реорганизация также включает ряд увольнений
– Сократят десятки сотрудников, работающих над Assistant

@ftsec