Amazon анонсировал новые ИИ решения

- Amazon Bedrock: уже доступен. Единый API для базовых моделей в защищенном облаке AWS (foundation models (FMs): AI21 Labs, Anthropic, Cohere, Stability AI, Amazon и др.)
- Titan Embeddings: работа с эмбеддингами. Поддержка 25+ языков и 8,000 токенов.
- Meta's Llama 2: Скоро на Bedrock. Обучено на 40% больше данных. Длина контекста 4,000 токенов.
- CodeWhisperer: помощь разработчикам в написании кода обученная на собственных репозиториях.
- QuickSight BI: Команды на естественном языке для генерации визуалов и расчетов в BI.
- Бесплатное обучение: доступен новый курс "Amazon Bedrock — Введение" .

https://www.aboutamazon.com/news/aws/aws-amazon-bedrock-general-availability-generative-ai-innovations

Китай вводит законы для регулирования искусственного интеллекта

15 августа 2023 года в Китае вступил в силу новый закон, регулирующий генеративный искусственный интеллект (AI), используемый для создания нового текста, изображений, аудио или другого типа контента.
Это первый в мире закон, целевым образом регулирующий генеративный AI.

https://asiatimes.com/2023/09/the-future-of-ai-in-china/

ChatGPT + Dalle-3 сможет создавать полноценные истории.

OpenAI открывает приём заявок на постоянную работу в OpenAI Red Teaming Network

Специалисты будут работать над безопасностью моделей OpenAI, проводя их регулярную оценку и испытания. В последние годы подобные усилия выросли от внутренних тестов до сотрудничества с внешними экспертами.
От каждого участника ожидается участие в предварительной работе над новыми моделями и продуктами, но объём времени, затрачиваемого на это, будет определяться индивидуально.

https://openai.com/blog/red-teaming-network

Microsoft рассматривает использование ядерной энергии для питания своих центров данных ИИ

Компания ищет "руководителя программ по атомной энергии" для оценки целесообразности использования ядерной энергии.

Основное внимание Microsoft направлено на использование микрореакторов и модульных реакторов, которые более экономичны.

Модели ИИ требуют большого количества вычислительной мощности, особенно модель OpenAI's ChatGPT.

Компания стремится к углеродно отрицательному, водо-позитивному и безотходному бизнесу к 2030 году.

https://www.businesstoday.in/technology/news/story/microsoft-reportedly-planning-to-use-nuclear-energy-to-power-its-ai-data-centers-399809-2023-09-26

FT: OpenAI и Джони Айв могут привлечь $1 млрд от SoftBank на создание ИИ-устройства

– Стороны обсуждают проект по созданию «iPhone с ИИ»
– SoftBank может выделить на проект $1 млрд инвестиций
– Разработать устройство OpenAI поможет LoveFrom Айва
– Они хотят создать интуитивно понятный интерфейс и др.
– Но пока все детали проекта находятся на ранней стадии
– На вывод нового ИИ-девайса на рынок могут уйти годы

@ftsec

Распознавание картинок в chatGPT очень поможет в OSINT

АНБ США открывает Центр ИИ безопасности

Руководитель Агентства национальной безопасности США генерал Пол М. Накасоне анонсировал создание нового органа - Центра безопасности ИИ.
Центр будет заниматься разработкой и интеграцией возможностей искусственного интеллекта в системы национальной безопасности США.
Он станет ключевым местом для создания методологии оценки, наилучших практик и системы рисков, связанных с ИИ.
Центр будет работать с американской промышленностью, национальными лабораториями и академией.

https://www.army.mil/article/270384/ai_security_center_to_open_at_national_security_agency

NVIDIA RTX 4000 Ada Generation: Графическая карта нового поколения для профессионалов в 1 слотовом исполнении.

Дебют новейшей графической карты от NVIDIA - RTX 4000 Ada Generation.
Оснащена RT Cores, Tensor Cores и CUDA® cores, также имеет 20GB графической памяти.
Предоставляет профессиональную производительность для создания сложных инженерных проектов, городских пейзажей и цифровых развлечений.
Побиты рекорды скорости и эффективности энергопотребления.
Предлагает передовые технологии AI, графики и рендеринга в реальном времени.
Поддерживает кодирование AV1, обеспечивающее высокое качество стриминга и совещаний через видеоконференции.

https://www.nvidia.com/en-us/design-visualization/rtx-4000/

Patterns for Building LLM-based Systems & Products:

- Evals: To measure performance
- RAG: To add recent, external knowledge
- Fine-tuning: To get better at specific tasks
- Caching: To reduce latency & cost
- Guardrails: To ensure output quality
- Defensive UX: To anticipate & manage errors gracefully
- Collect user feedback: To build our data flywheel

#AI #NLP #DL Stanford CS224N: Natural Language Processing with Deep Learning 2023-2024
В сентябре 2023 выложили свежий бесплатный курс по NLP от Стэнфордского университета
Там как и минимально достаточная теория AI/NLP, так и много практики.
Рассматривают постепенно, идут от первых CNN, RNN, LSTM к трансформерам.
Но добавили и много нового в области NLP, например PROMPT-инжиниринг, RLHF, мультимодальные агенты.
Из средств взяли Pytorch вместо TensorFlow (это вкусовщина😉)
Первое вводное - https://www.youtube.com/watch?v=rmVRLeJRkl4
Сам курс: https://www.youtube.com/playlist?list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
Подробно о курсе и преподавателях https://web.stanford.edu/class/cs224n/

Интересный пост Филиппа Шмидта из HuggingFace:

На вопросы, специфичные для предметной области, ответить с помощью LLM сложно. 🧑‍🏫 Но исследователи создали новый тест «EXPERT QA» для оценки и тестирования LLM в различных системах, включая RAG по атрибуции и фактической правильности. 🔬

🛠 Реализация
1️⃣ 484 эксперта в 32 областях задали 2177 открытых технических вопросов, имеющих отношение к их области.
2️⃣ Для генерации ответов использовались 6 систем LLM или «RAG»: GPT-4, RAG (поиск Google) + GPT-4 с, RAG (корпус Sphere) + GPT-4, последующий поиск с помощью Google и Sphere и Bing Chat.
3️⃣ Для каждого ответа эксперты отметили информативность, фактичность, ценность цитирования, достоверность доказательства и надежность источника доказательств.
4️⃣ Эксперты проверили утверждения, чтобы обеспечить их достоверность и правильную атрибуцию.

💡Выводы
🔍 Системы «получить и прочитать» часто генерируют полную атрибуцию, но с трудом обеспечивают цитирование всех достойных цитирования утверждений.
🧠 Источник поиска существенно влияет на атрибуцию и актуальность. Результаты поиска Google дают более полезные и фактически достоверные ответы.
🩺 В таких областях, как медицина и право, много неполных атрибуций (35% и 31%) и атрибуции ненадежных источников (51%).
🤖 Метрики автоматической атрибуции и оценки фактичности плохо коррелируют с экспертными, но точная настройка повышает производительность.
🔚 При последующем поиске часто возникают проблемы с атрибуцией и цитированием по сравнению с пред-поиском.

Если мы предоставим правильный контекст, LLM могут быть достаточно хороши, чтобы ответить на сложные и специфичные для предметной области вопросы в системах RAG.
Улучшение методов поиска и ранжирования для обеспечения надежных источников доказательств может иметь больший эффект, чем улучшение LLM.

Исследование: https://arxiv.org/abs/2309.07852
Набор данных: https://github.com/chaitanyamalaviya/ExpertQA/tree/main

Anthropic открыла доступ к API Claude 2

Цены на API для Claude 2 с контекстным окном на 100 тысяч токенов:

$11 за миллион токенов в промтах,
$32 за миллион токенов генерации.

Цены на GPT4-32k для сравнения:

$60 за миллион токенов в промтах,
$120 за миллион токенов генерации.

https://www.anthropic.com/index/amazon-bedrock-general-availability

—
@aioftheday — новости вокруг искусственного интеллекта

Новости канала за Сентябрь 2023.
63 новости всего. Может кому полезно будет для подготовки актуальных обзоров.