Технозаметки Малышева
9.04K subscribers
3.91K photos
1.46K videos
41 files
4.08K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Как разговаривает ChatGPT

Некоторые пользователи приложения ChatGPT уже получили доступ к голосовым возможностям и сняли на видео, как это работает. OpenAI обещает что в ближайшие пару недель обновление доберется до всех платных подписчиков.

Источники видео:
https://twitter.com/CKonovalov/status/1707818777427988733
https://twitter.com/dmvaldman/status/1707881743892746381


@aioftheday — новости вокруг искусственного интеллекта
🔥1
NVIDIA RTX 4000 Ada Generation: Графическая карта нового поколения для профессионалов в 1 слотовом исполнении.

Дебют новейшей графической карты от NVIDIA - RTX 4000 Ada Generation.
Оснащена RT Cores, Tensor Cores и CUDA® cores, также имеет 20GB графической памяти.
Предоставляет профессиональную производительность для создания сложных инженерных проектов, городских пейзажей и цифровых развлечений.
Побиты рекорды скорости и эффективности энергопотребления.
Предлагает передовые технологии AI, графики и рендеринга в реальном времени.
Поддерживает кодирование AV1, обеспечивающее высокое качество стриминга и совещаний через видеоконференции.

https://www.nvidia.com/en-us/design-visualization/rtx-4000/
Пример почему ИИ нужно окружать безопасностью.
👍1
Forwarded from ml4se
Patterns for Building LLM-based Systems & Products:

- Evals: To measure performance
- RAG: To add recent, external knowledge
- Fine-tuning: To get better at specific tasks
- Caching: To reduce latency & cost
- Guardrails: To ensure output quality
- Defensive UX: To anticipate & manage errors gracefully
- Collect user feedback: To build our data flywheel
Forwarded from G B ️
#AI #NLP #DL Stanford CS224N: Natural Language Processing with Deep Learning 2023-2024
В сентябре 2023 выложили свежий бесплатный курс по NLP от Стэнфордского университета
Там как и минимально достаточная теория AI/NLP, так и много практики.
Рассматривают постепенно, идут от первых CNN, RNN, LSTM к трансформерам.
Но добавили и много нового в области NLP, например PROMPT-инжиниринг, RLHF, мультимодальные агенты.
Из средств взяли Pytorch вместо TensorFlow (это вкусовщина😉)
Первое вводное - https://www.youtube.com/watch?v=rmVRLeJRkl4
Сам курс: https://www.youtube.com/playlist?list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
Подробно о курсе и преподавателях https://web.stanford.edu/class/cs224n/
Интересный пост Филиппа Шмидта из HuggingFace:

На вопросы, специфичные для предметной области, ответить с помощью LLM сложно. 🧑‍🏫 Но исследователи создали новый тест «EXPERT QA» для оценки и тестирования LLM в различных системах, включая RAG по атрибуции и фактической правильности. 🔬

🛠 Реализация
1️⃣ 484 эксперта в 32 областях задали 2177 открытых технических вопросов, имеющих отношение к их области.
2️⃣ Для генерации ответов использовались 6 систем LLM или «RAG»: GPT-4, RAG (поиск Google) + GPT-4 с, RAG (корпус Sphere) + GPT-4, последующий поиск с помощью Google и Sphere и Bing Chat.
3️⃣ Для каждого ответа эксперты отметили информативность, фактичность, ценность цитирования, достоверность доказательства и надежность источника доказательств.
4️⃣ Эксперты проверили утверждения, чтобы обеспечить их достоверность и правильную атрибуцию.

💡Выводы
🔍 Системы «получить и прочитать» часто генерируют полную атрибуцию, но с трудом обеспечивают цитирование всех достойных цитирования утверждений.
🧠 Источник поиска существенно влияет на атрибуцию и актуальность. Результаты поиска Google дают более полезные и фактически достоверные ответы.
🩺 В таких областях, как медицина и право, много неполных атрибуций (35% и 31%) и атрибуции ненадежных источников (51%).
🤖 Метрики автоматической атрибуции и оценки фактичности плохо коррелируют с экспертными, но точная настройка повышает производительность.
🔚 При последующем поиске часто возникают проблемы с атрибуцией и цитированием по сравнению с пред-поиском.

Если мы предоставим правильный контекст, LLM могут быть достаточно хороши, чтобы ответить на сложные и специфичные для предметной области вопросы в системах RAG.
Улучшение методов поиска и ранжирования для обеспечения надежных источников доказательств может иметь больший эффект, чем улучшение LLM.

Исследование: https://arxiv.org/abs/2309.07852
Набор данных: https://github.com/chaitanyamalaviya/ExpertQA/tree/main
Anthropic открыла доступ к API Claude 2

Цены на API для Claude 2 с контекстным окном на 100 тысяч токенов:

$11 за миллион токенов в промтах,
$32 за миллион токенов генерации.

Цены на GPT4-32k для сравнения:

$60 за миллион токенов в промтах,
$120 за миллион токенов генерации.

https://www.anthropic.com/index/amazon-bedrock-general-availability


@aioftheday — новости вокруг искусственного интеллекта
дайджест сентября.xlsx
22 KB
Новости канала за Сентябрь 2023.
63 новости всего. Может кому полезно будет для подготовки актуальных обзоров.
Forwarded from e/acc
Интернет всполошился. Вчера вышел 166-страничный репорт о возможностях GPT-4V. Оказалось, что GPT не только помножил на ноль почти все продукты в области NLP за последние годы, но и с ноги ворвался в Computer Vision, где сидели бородатые завсегдатаи, пили пиво и были уверены что "уж нас-то ваши эти трансформеры не тронут" (с).

Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.

Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.

Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.

Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.
RT-X: универсальные высокопроизводительные модели для робототехники

Ученые создали всеобъемлющую модель обучения по подкреплению RT-X для роботов, успешно применяющуюся в разных сферах и на различных роботах. Она обучена на глобальном наборе данных, собранных из 60 существующих наборов данных робототехники от 34 исследовательских лабораторий. Они также представили Open X-Embodiment Dataset, самый большой открытый набор реальных данных робототехники, содержащий более миллиона траекторий реального робота через 22 среды роботов.

https://robotics-transformer-x.github.io/
Forwarded from Сиолошная
Representation Engineering: A Top-Down Approach to AI Transparency

Собрались как-то более 20 исследователей со всех уголков LLM-мира, от Berkeley до Center for AI Safety, и решили написать статью с описанием новой области: инженерии представлений (representation engineering, RepE). Это не первая работа в подобном ключе, но авторы именно что проводят описательную работу, а также устанавливают несколько бейзлайнов.

Итак, о чём речь? В нейросетях есть "скрытые представления" (hidden states), но на самом деле они не скрытые — мы все их можем пощупать, поменять, посмотреть (если есть доступ к весам модели). Но это не то же самое, что параметры — это "активации", то есть "реакция" сети на какой-то вход (в случае LLM - текст). Берем веса модели, подаём текст на вход, и считываем скрытые представления. В отличие от человеческого мозга, мы можем это делать перед каждой итерацией, для любого текста, и для всей нейросети одновременно.

Проводя аналогию с мозгом, авторы отмечают, что можно сделать аналог когнитивной науки, где мы анализируем эти активации. В теории, как было показано в разных исследованиях, они несут определенный смысл. Есть нейроны, отвечающие за всё, что связано с Канадой, есть нейроны, которые характеризуют честность, и так далее.

Идея: давайте придумаем, как влиять на активации нейронов так, чтобы "сдвигать" модель в желаемом направлении. Например, можно выявить направление "честности" (оно будет задано вектором), и по идее если модель подвинуть в ту сторону — то в среднем она должна меньше врать. Именно это происходило в предыдущей работе: Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. И вы не поверите, работало!

В текущей же работе производится анализ ещё нескольких направлений, в том числе морали, эмоциональности, безобидности, запоминания. В качестве решения предлагается обучать LoRRA (Low-Rank Representation Adaptation) с помощью маленькой размеченной выборки (порядка 100 примеров), где для каждого примера указано, что он, например, лживый (хотя есть альтернатива с помощью промпта).

Результат — LLAMA-2-70B обходит GPT-4 на бенчмарке TruthfulQA почти на ДЕСЯТЬ ПРОЦЕНТОВ (59% и +-69%). А ещё приложили много примеров с изменением характера ответов модели в том или ином направлении — приложу в следующем сообщении.

В общем, альтернативный способ Alignment, и в то же время интерпретации модели и её контроля. Очень перспективное направление, ждём развития.

Сайт с примерами: https://www.ai-transparency.org/
Forwarded from Innovation & Research
Администрация Пекина опубликовала план обеспечения технологического лидерства города

Столица Китая объявила новые цели развития до 2035 года. Бюджет не раскрывается, но в подобные проекты мэрия Пекина уже инвестировала свыше $10 млрд только в части инновационной и венчурной деятельности, не считая поддержку университетов и промышленности.

Шесть основных областей и источников будущих отраслей:

▫️(1) Будущая информация
1. Общий искусственный интеллект (AGI). 
2. Шестое поколение мобильной связи.
3. Метавселенная.
4. Квантовая информация.
5. Оптоэлектроника.
▫️(2) Будущее здоровье
6. Генные технологии.
7. Клеточная терапия и регенеративная медицина.
8. Наука о мозге и интерфейс мозг-компьютер.
9. Синтетическая биология.
▫️(3) Будущее производство
10. Роботы-гуманоиды.
11. Умный транспорт (роботомобили/дороги).
▫️(4) Энергия будущего
12. Водородная энергетика.
13. Новые энергии.
14. Улавливание, хранение и утилизация углерода.
▫️(5) Будущие материалы
15. Графеновые материалы.
16. Сверхпроводящие материалы.
17. Сверхширокозонные полупроводниковые материалы.
18. Новое поколение биомедицинских материалов.
▫️(6) Пространство будущего
19. Коммерческая авиакосмическая промышленность.
20.Спутниковая сеть.
 
Восемь основных действий по созданию будущей экосистемы промышленных инноваций и развития:

(1) Ориентация на оригинальные научные достижения
(2) Ускорение пилотной инкубации
(3) Стимулирование взаимодействия науки и бизнеса
(4) Объединение усилий инновационных партнеров
(5) Построение сценариев промышленного применения и внедрения технологий
(6) Расширение технологических и финансовых возможностей
(7) Отбор и привлечение зарубежных талантов, а также выращивание собственных
(8) Международный обмен и сотрудничество

#Китай #экосистема #город

https://www.beijing.gov.cn/zhengce/zhengcefagui/202309/t20230908_3255227.html
"Promptbreeder": улучшение промптов через эволюционный механизм

Команда Google DeepMind представила систему "Promptbreeder", которая эволюционирует и адаптирует промпты под задачи.
Promptbreeder изменяет набор промптов и оценивает их на основе обучающего набора.
При этом, изменение этих промптов контролируется промптами-мутациями, которые модель языка создает и улучшает в течение эволюции.
Promptbreeder превосходит современные стратегии размышлений, такие как "Цепочка мысли" (CoT) и "Планируй и решай" (PaS), на популярных тестах на арифметику и понимание.
Система также может развивать сложные промпты для сложных задач, таких, например, как классификации оскорбительной речи.

https://arxiv.org/abs/2309.16797
Cloudflare объявила о партнерстве с Hugging Face.

Совместная работа позволит упростить и сделать более доступным развертывание ИИ-решений.
У пользователей Cloudflare Workers теперь появится возможность развертывать эти модели используя edge-computing.

https://blog.cloudflare.com/partnering-with-hugging-face-deploying-ai-easier-affordable/
Microsoft предлагает новый фреймворк AI для совместной разработки NLP

- Исследователи AI от Microsoft предложили новый фреймворк для разработки NLP, под названием CoDev.
- CoDev позволяет нескольким пользователям согласовывать модель с их собственными убеждениями и предпочтениями.
- Принцип работы: интерактивное обучение с подкреплением и использование экспертных знаний.
- Использование CoDev приводит к значительному улучшению результатов NLP.
- Microsoft планирует продолжать исследования для дальнейшего развития CoDev.

https://www.marktechpost.com/2023/10/03/microsoft-ai-research-proposes-a-new-artificial-intelligence-framework-for-collaborative-nlp-development-codev-that-enables-multiple-users-to-align-a-model-with-their-beliefs/
СофтБанк: суперинтеллект AI появится в пределах 10 лет

- Глава SoftBank, Масаёши Сон, прогнозирует появление искусственного общего интеллекта (AGI) в пределах 10 лет.
- Сон заявляет, что к 2030 году AI "будет в 10 раз умнее всего человечества".
- Это могло бы привести к общественным преобразованиям, начиная с полного перехода на автономные автомобили, и заканчивая заслуживающими Нобелевскую премию развитиями в науке и технологии, сгенерированными AI.
- SoftBank планирует удвоить свои инвестиции в AI, несмотря на убытки, вызванные технологической волатильностью.
- Хотя некоторые известные технологические эксперты выражают опасения о потенциале AI уничтожить человечество, г-н Сон и другие эксперты поддерживают AI, считая его силой добра и "катализатором глобального преобразования".

https://fortune.com/2023/10/04/softbank-masayoshi-son-ai-artificial-general-intelligence/
Anthropic планирует привлечь инвестиции в размере 2 млрд долларов

- Компания Anthropic, конкурент OpenAI, ведет переговоры о привлечении 2 млрд долларов инвестиций.
- На прошлой неделе Amazon объявил о намерении инвестировать в компанию 1,25 млрд долларов.
- Google, владеющий примерно 10% акций Anthropic, также ожидается в числе инвесторов.
- Anthropic, занимающийся продажей чатбота Claude, конкурирующего с ChatGPT от OpenAI, оценивает свою стоимость от 20 до 30 млрд долларов, учитывая новые инвестиции.
- Это в пять раз превышает оценку компании в марте, когда на нее был поставлен ценник в 4 млрд долларов.

https://www.theinformation.com/articles/openai-rival-anthropic-in-talks-to-raise-2-billion-from-google-others-as-ai-arms-race-accelerates