Дальше Mark рассказывал про AI, упомянул LLAMA-2, а затем перешёл к генеративной модели Emu. Она генерирует изображения в высоком разрешении и интегрирована сразу в несколько сервисов Meta. В WhatsApp можно генерировать стикеры (4 штуки на запрос, генерация занимает примерно 5 секунд), в Instagram появятся фильтры на основе текстового запроса (типа "перерисуй волосы на голове в макароны"). Пример работы можете посмотреть на приложенной гифке.

После этого перешли к Meta AI. Это бот в WhatsApp, с которым можно общаться на любые темы. В нём есть поддержка поиска Bing (Мелкомягкие подсуетились!), а также вызов генеративной модели Emu (нет, не DALL-E 3!). Бота можно добавлять в свои чаты, тегать и спрашивать. Теперь только так буду разрешать семейные конфликты:

@bot, кто прав, я или мать?????

Также Meta натренировала Meta AIs — те же боты, только со своими функциями и личностями. Один будет помогать вам готовить (и отыгрывать роль шэфа), другого всегда можно спросить совета по тренировкам, и так далее. Самое примечательное то, что разработчичкам дадут возможность самим делать AIs! Ждём плотной интеграции с бизнес-аккаунтами, где боты будут принимать ваши заказы и отвечать на отзывы.
Для AIs также генерируются аватары, и Mark пообещал, что через несколько месяцев у них появится голос! А ещё — их можно добавить в полумертвую метавселенную, чтобы они отыгрывали свою роль там. Короче, матрица: виртуальный мир, тебя окружают боты, эмулирующие реальных людей..

И последнее — показали next-gen очки RayBan, в которые встроенны камеры (как и раньше). Но теперь в очках живёт AI-ассистент Meta AI, к которому можно обращаться голосом! Он слышит то же самое, что и вы, а в следующем году начнёт еще и воспринимать видеоряд с камер! Получится почти то же самое, что и ChatGPT с недавним обновлением.
Лично мне очки очень напомнили Google Glasses (уже закрытый проект), однако с AI-ассистентом такой концепт легко обретает новую жизнь. Думаю, на горизонте 3 лет станет must have на уровне беспроводных наушников.

@seeallochnaya

IBM выпускает серию моделей watsonx - Granite.

Модели Granite позволяют использовать генеративный AI для языка и кода.
Для различных бизнес-кейсов применяются модели разных размеров.

IBM также предлагает использовать модели сторонних разработчиков, включая модель Meta's Llama 2-chat с 70 млрд параметрами.
Сервис watsonx.governance будет доступен в конце года и предоставит AI инструменты для контроля моделей.

https://www.ibm.com/products/watsonx-ai/foundation-models

https://newsroom.ibm.com/2023-09-28-IBM-Announces-Availability-of-watsonx-Granite-Model-Series,-Client-Protections-for-IBM-watsonx-Models

Amazon анонсировал новые ИИ решения

- Amazon Bedrock: уже доступен. Единый API для базовых моделей в защищенном облаке AWS (foundation models (FMs): AI21 Labs, Anthropic, Cohere, Stability AI, Amazon и др.)
- Titan Embeddings: работа с эмбеддингами. Поддержка 25+ языков и 8,000 токенов.
- Meta's Llama 2: Скоро на Bedrock. Обучено на 40% больше данных. Длина контекста 4,000 токенов.
- CodeWhisperer: помощь разработчикам в написании кода обученная на собственных репозиториях.
- QuickSight BI: Команды на естественном языке для генерации визуалов и расчетов в BI.
- Бесплатное обучение: доступен новый курс "Amazon Bedrock — Введение" .

https://www.aboutamazon.com/news/aws/aws-amazon-bedrock-general-availability-generative-ai-innovations

Китай вводит законы для регулирования искусственного интеллекта

15 августа 2023 года в Китае вступил в силу новый закон, регулирующий генеративный искусственный интеллект (AI), используемый для создания нового текста, изображений, аудио или другого типа контента.
Это первый в мире закон, целевым образом регулирующий генеративный AI.

https://asiatimes.com/2023/09/the-future-of-ai-in-china/

ChatGPT + Dalle-3 сможет создавать полноценные истории.

OpenAI открывает приём заявок на постоянную работу в OpenAI Red Teaming Network

Специалисты будут работать над безопасностью моделей OpenAI, проводя их регулярную оценку и испытания. В последние годы подобные усилия выросли от внутренних тестов до сотрудничества с внешними экспертами.
От каждого участника ожидается участие в предварительной работе над новыми моделями и продуктами, но объём времени, затрачиваемого на это, будет определяться индивидуально.

https://openai.com/blog/red-teaming-network

Microsoft рассматривает использование ядерной энергии для питания своих центров данных ИИ

Компания ищет "руководителя программ по атомной энергии" для оценки целесообразности использования ядерной энергии.

Основное внимание Microsoft направлено на использование микрореакторов и модульных реакторов, которые более экономичны.

Модели ИИ требуют большого количества вычислительной мощности, особенно модель OpenAI's ChatGPT.

Компания стремится к углеродно отрицательному, водо-позитивному и безотходному бизнесу к 2030 году.

https://www.businesstoday.in/technology/news/story/microsoft-reportedly-planning-to-use-nuclear-energy-to-power-its-ai-data-centers-399809-2023-09-26

FT: OpenAI и Джони Айв могут привлечь $1 млрд от SoftBank на создание ИИ-устройства

– Стороны обсуждают проект по созданию «iPhone с ИИ»
– SoftBank может выделить на проект $1 млрд инвестиций
– Разработать устройство OpenAI поможет LoveFrom Айва
– Они хотят создать интуитивно понятный интерфейс и др.
– Но пока все детали проекта находятся на ранней стадии
– На вывод нового ИИ-девайса на рынок могут уйти годы

@ftsec

Распознавание картинок в chatGPT очень поможет в OSINT

АНБ США открывает Центр ИИ безопасности

Руководитель Агентства национальной безопасности США генерал Пол М. Накасоне анонсировал создание нового органа - Центра безопасности ИИ.
Центр будет заниматься разработкой и интеграцией возможностей искусственного интеллекта в системы национальной безопасности США.
Он станет ключевым местом для создания методологии оценки, наилучших практик и системы рисков, связанных с ИИ.
Центр будет работать с американской промышленностью, национальными лабораториями и академией.

https://www.army.mil/article/270384/ai_security_center_to_open_at_national_security_agency

NVIDIA RTX 4000 Ada Generation: Графическая карта нового поколения для профессионалов в 1 слотовом исполнении.

Дебют новейшей графической карты от NVIDIA - RTX 4000 Ada Generation.
Оснащена RT Cores, Tensor Cores и CUDA® cores, также имеет 20GB графической памяти.
Предоставляет профессиональную производительность для создания сложных инженерных проектов, городских пейзажей и цифровых развлечений.
Побиты рекорды скорости и эффективности энергопотребления.
Предлагает передовые технологии AI, графики и рендеринга в реальном времени.
Поддерживает кодирование AV1, обеспечивающее высокое качество стриминга и совещаний через видеоконференции.

https://www.nvidia.com/en-us/design-visualization/rtx-4000/

Patterns for Building LLM-based Systems & Products:

- Evals: To measure performance
- RAG: To add recent, external knowledge
- Fine-tuning: To get better at specific tasks
- Caching: To reduce latency & cost
- Guardrails: To ensure output quality
- Defensive UX: To anticipate & manage errors gracefully
- Collect user feedback: To build our data flywheel

#AI #NLP #DL Stanford CS224N: Natural Language Processing with Deep Learning 2023-2024
В сентябре 2023 выложили свежий бесплатный курс по NLP от Стэнфордского университета
Там как и минимально достаточная теория AI/NLP, так и много практики.
Рассматривают постепенно, идут от первых CNN, RNN, LSTM к трансформерам.
Но добавили и много нового в области NLP, например PROMPT-инжиниринг, RLHF, мультимодальные агенты.
Из средств взяли Pytorch вместо TensorFlow (это вкусовщина😉)
Первое вводное - https://www.youtube.com/watch?v=rmVRLeJRkl4
Сам курс: https://www.youtube.com/playlist?list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
Подробно о курсе и преподавателях https://web.stanford.edu/class/cs224n/

Интересный пост Филиппа Шмидта из HuggingFace:

На вопросы, специфичные для предметной области, ответить с помощью LLM сложно. 🧑‍🏫 Но исследователи создали новый тест «EXPERT QA» для оценки и тестирования LLM в различных системах, включая RAG по атрибуции и фактической правильности. 🔬

🛠 Реализация
1️⃣ 484 эксперта в 32 областях задали 2177 открытых технических вопросов, имеющих отношение к их области.
2️⃣ Для генерации ответов использовались 6 систем LLM или «RAG»: GPT-4, RAG (поиск Google) + GPT-4 с, RAG (корпус Sphere) + GPT-4, последующий поиск с помощью Google и Sphere и Bing Chat.
3️⃣ Для каждого ответа эксперты отметили информативность, фактичность, ценность цитирования, достоверность доказательства и надежность источника доказательств.
4️⃣ Эксперты проверили утверждения, чтобы обеспечить их достоверность и правильную атрибуцию.

💡Выводы
🔍 Системы «получить и прочитать» часто генерируют полную атрибуцию, но с трудом обеспечивают цитирование всех достойных цитирования утверждений.
🧠 Источник поиска существенно влияет на атрибуцию и актуальность. Результаты поиска Google дают более полезные и фактически достоверные ответы.
🩺 В таких областях, как медицина и право, много неполных атрибуций (35% и 31%) и атрибуции ненадежных источников (51%).
🤖 Метрики автоматической атрибуции и оценки фактичности плохо коррелируют с экспертными, но точная настройка повышает производительность.
🔚 При последующем поиске часто возникают проблемы с атрибуцией и цитированием по сравнению с пред-поиском.

Если мы предоставим правильный контекст, LLM могут быть достаточно хороши, чтобы ответить на сложные и специфичные для предметной области вопросы в системах RAG.
Улучшение методов поиска и ранжирования для обеспечения надежных источников доказательств может иметь больший эффект, чем улучшение LLM.

Исследование: https://arxiv.org/abs/2309.07852
Набор данных: https://github.com/chaitanyamalaviya/ExpertQA/tree/main