👾 Ученые из Tinkoff Research увеличили скорость обучения ИИ в 20 раз

При этом ИИ также обучается на 10% качественнее. А значит, он безопаснее для беспилотных автомобилей, эффективнее для логистических цепочек и быстрее для доставки или работы на складе.
Этот способ обучения учёные из Tinkoff Research назвали SAC-RND — он приближает научное сообщество к созданию универсального робота, способного в одиночку выполнять любые задачи.

⤷ Читать статью на сайте

4PDA Community | #AI

UniversalNER: Революционное усовершенствование в области распознавания именованных сущностей

Недавно была представлена UniversalNER - революционное инновационное решение в области больших языковых моделей (LLM), основанное на методе целевой искусственной дистилляции, усилённой настройкой на конкретные задачи. Исследователи смогли перелить ChatGPT в более экономичные модели UniversalNER без ущерба для качества распознавания именованных сущностей (NER). В ходе исследования на 43 наборах данных в 9 различных областях было продемонстрировано, как UniversalNER превосходит другие модели, такие как Alpaca и Vicuna, более чем на 30 абсолютных пунктов F1 в среднем.

Отличительной особенностью UniversalNER является способность наследовать возможности ChatGPT, имея при этом всего лишь долю его параметров. Он не только умеет распознавать произвольные типы сущностей, но и превосходит точность ChatGPT в задаче NER на 7-9 абсолютных пунктов F1. Самое удивительное в том, что без прямого технического надзора данная модель справляется с задачей лучше, чем передовые многозадачные системы вроде InstructUIE. Это достижение имеет все шансы стать знаковым в области обработки естественного языка, предлагая мощное сочетание эффективности и точности.

Ссылка на статью: https://arxiv.org/abs/2308.03279
Ссылка на проект: https://universal-ner.github.io/


https://andlukyane.com/blog/paper-review-universalner

Рекоменду отложить все дела и посмотреть все видео из этого списка. Это прошедшая пару недель назад конференция на тему использования LLM в научных исследованиях и образовании организованная факультетом физики MIT.

Ведущие физики и инжнеры делятся опытом того как они используют GPT и другие похожие генеративные нейронки в своей работе: https://www.youtube.com/playlist?list=PLKemzYMx2_Ot1MZ_er2vFiINdJEgDO8Hg

Я пока посмотрел только пару лекций, но если вы хотите прям шарить, то, конечно, придется посмотреть всё.

AGI появится через 2-3 года
Откровение «великого осознания» одного из трёх самых осведомленных практиков развития ИИ
Среди сотни наиболее осведомленных о состоянии и перспективах развития ИИ мировых экспертов, особняком стоят ТОП-3: Сэм Альтман, Демис Хассабис и Дарио Амодей. Уникальность понимания ими текущей ситуации в области ИИ, а также их видения наиболее вероятного развития событий в этой области на ближайшие годы, определяются двумя ключевыми моментами.
1. Под их руководством уже созданы три самые мощные в мире ИИ на основе наиболее совершенных и перспективных больших языковых моделей.
2. Они являются руководителями, соответственно, OpenAI, Google DeepMind и Anthropic: трёх компаний – абсолютных мировых лидеров в области ИИ, собравших у себя уникальные созвездия ученых и инженеров, а также располагающих колоссальными научно-техническими и финансовыми ресурсами.

Дарио Амадеи – самый закрытый и непубличный их трёх, - исповедует принцип «знающий не говорит, говорящий не знает».
• В отличие от Альтмана и Хассабиса, Амадеи не публикует посты в Twitter, не раздает множество интервью и не ходит периодически на подкасты и Ютуб-каналы. И поэтому 2-х часовое интервью Дарио Амадеи Дваркешу Патель представляет колоссальный интерес.
• Тем более, что в этом интервью Амадеи приоткрыл дверцу во внутреннюю кухню и планы Anthropic, что ни Хассабис, ни Альтман не позволяют себе сделать из-за груза ответственности перед корпоративными монстрами, контролирующими их деятельность (Google и Microsoft, финансирующий OpenAI).

Сказано за 2 часа много весьма интересного и, местами, сенсационного.
Но самым захватывающим дух для меня стало вот что.

1) Абсолютная уверенность Дарио Амадеи, что дальнейшее масштабирование моделей еще на пару порядков (как по числу параметров и объему данных, так и по стоимости обучения) приведет за 2-3 года к достижению моделями интеллектуального уровня хорошо образованного человека. Амадеи называет это «великим осознанием» того, что для достижения интеллекта человеческого уровня не потребуется ничего, кроме очень больших денег на то, чтобы купить очень большие вычислительные ресурсы и собрать очень большие объемы данных.

2) Мало кому известные факты, отражающие колоссальную «глубину бурения» ключевых проблем развития ИИ уникальной командой из почти сорока физиков-теоретиков, собравшихся под крышей Anthropic (напр., соучредитель и главный научный сотрудник компании Джаред Каплан, копающий решение проблем плавной масштабируемости с использованием аппарата фрактального многообразия).

3) Принципиальный подход Anthropic (а также OpenAI) к обучению моделей, сформулированный сооснователем и главным научным сотрудником OpenAI Ильей Суцкевером (когда Амадеи работал с ним в OpenAI) так:
«Модели просто хотят учиться. А вы лишь убираете препятствия с их пути. Вы предоставляете им хорошие данные, вы даете им достаточно вычислительных ресурсов для работы и не делаете ничего глупого. А учатся они сами, потому что хотят учиться.»

#LLM #AGI

🧬 Microsoft и Meta расширяют партнерство в области ИИ с Llama 2 в Azure и Windows.

Совсем недавно в Microsoft Inspire компании Meta и Microsoft объявили о поддержке семейства больших языковых моделей (LLM) Llama 2 в Azure и Windows. Llama 2 предназначена для того, чтобы позволить разработчикам и организациям создавать генеративные инструменты и опыт на базе искусственного интеллекта.

Теперь клиенты Azure могут легко и безопасно настраивать и развертывать модели Llama 2 с параметрами 7B, 13B и 70B на Azure, платформе для наиболее широко распространенных моделей frontier и open. Кроме того, Llama будет оптимизирована для локальной работы в Windows. Разработчики Windows смогут использовать Llama, ориентируясь на поставщика выполнения DirectML через среду выполнения ONNX, обеспечивая бесперебойный рабочий процесс, поскольку они привносят в свои приложения возможности искусственного интеллекта.

Meta и Microsoft являются давними партнерами в области искусственного интеллекта, начиная с совместной работы по интеграции ONNX Runtime с PyTorch для создания отличного интерфейса разработчика PyTorch в Azure, и заканчивая выбором Meta Azure в качестве стратегического облачного провайдера. Именно поэтому, нынешнее совместное объявление о партнерстве по ускорению инноваций в эпоху ИИ не вызывает вопросов и еще больше расширяет экосистемы компаний и их  позиции в качестве мировых суперкомпьютерных платформ для искусственного интеллекта.

🧩 #AINews

"Амазон активно внедряет генеративный AI во все свои бизнесы"

Вопреки недавним отчетам о снижении интереса к генеративному AI и использованию ChatGPT, Амазон продолжает активно его развивать. Согласно словам генерального директора компании Энди Джесси, "каждый бизнес" компании в настоящее время реализует "несколько инициатив в области генеративного АИ". Джесси уточнил, что проекты могут коснуться оптимизации расходов и улучшения эффективности работы, вплоть до внедрения в "самое сердце каждого клиентского опыта". Джесси также упомянул работу над интеграцией генеративного AI в Алексу. Другие крупные технологические компании, включая Meta и Google, также активно работают над генеративным AI. Apple, по слухам, работает над собственной версией ChatGPT, которую называют AppleGPT.

https://www.techspot.com/news/99672-amazon-embracing-generative-ai-across-every-one-businesses.html

Generative AI ускоряет изменения на рынке труда в США.

Отчет McKinsey Global Institute отмечает преобразование рабочих мест и переориентацию специалистов на новые профессии из-за внедрения generative AI.
- С 2019 по 2022 год произошло около 8.6 миллионов профессиональных изменений в США, предположительно, к 2030 году таких изменений будет на 12 миллионов больше.
- Момент изменений сопровождает рост сфер здравоохранения, науки, технологий, инженерии и математики (STEM), при уменьшении ролей, связанных с обслуживанием клиентов и офисной работой.
- Спрос на разные профессии формируется не только автоматизацией и generative AI, но и федеральными инвестициями в инфраструктуру, переходом к нулевым выбросам, а также долгосрочными структурными тенденциями.
- Несмотря на изменение карьерного пути многих работников, исследования показывают, что generative AI не уничтожает рабочие места, а, в долгосрочной перспективе, способствует экономическому росту и расширению типов занятости.

https://www.mckinsey.com/mgi/our-research/generative-ai-and-the-future-of-work-in-america

Обучение ruGPT от Сбера на домашнем компе:

https://dzen.ru/a/ZHTfs9pggmVlGC79

GPT-LLM-Trainer полностью автономный fine-tuning LLAMA2

GPT-LLM-Trainer – новый проект, целью которого является упрощение процесса обучения машинного обучения.
Один из уникальных аспектов проекта - автоматическая генерация наборов данных с помощью GPT-4.
Пользователь просто вводит описание своей задачи, а система создает набор данных с нуля, преобразует его в подходящий формат и настраивает модель LLaMA 2. После того, как набор данных создан, система автоматически разделяет его на обучающую и валидационную выборки, дообучает модель и готовит ее к выводу.
Проект помогает подготовить собственную модель от этапа генерации данных до настройки модели и к выводу в работу.

https://github.com/mshumer/gpt-llm-trainer

Злоумышленники выпустили генеративный AI чат-бот "Evil-GPT"

В последнее время стала наблюдаться тенденция к росту использования генеративных моделей AI, которые активно меняют современные технологические сценарии. Однако вместе с позитивными сторонами они предоставляют злоумышленникам новые возможности. Хакер под именем "Amlo" рекламирует вредоносный генеративный AI чат-бот "Evil-GPT" на форумах, позиционируя его как замену "Worm GPT". Продажа таких вредоносных AI инструментов вызывает озабоченность в сообществе по кибербезопасности. Еще с июля наблюдается всплеск постов на темных веб-сайтах, пропагандирующих различные вредоносные модели. Данные инструменты позволяют злоумышленникам автоматизировать процесс отправки ложных писем, усиливая атаки BEC. Пользователь продающий "Evil-GPT" утверждает, что новый AI чат-бот, как и "Worm GPT", написан полностью на Python. Цена "Evil-GPT" составляет всего 10 долларов, что заявитель описывает как "непобедимую" цену.

https://cybersecuritynews-com.cdn.ampproject.org/c/s/cybersecuritynews.com/hackers-released-evil-gpt/?amp

Южнокорейский SK Telecom вложил 100 миллионов долларов в AI-стартап Anthropic

Mобильный оператор Южной Кореи SK Telecom (SKT) инвестировал 100 миллионов долларов в стартап в области искусственного интеллекта Anthropic. SKT планирует сотрудничать с Anthropic для разработки мультиязычной модели большого языка (LLM), адаптированной для мировых телекоммуникационных компаний.

- Учредителями Anthropic стали бывшие лидеры OpenAI.
- С этой стратегической инвестицией SKT входит в конкурентную область генеративного AI.
- Совместно разработанная большая языковая модель будет поддерживать несколько языков, включая английский, корейский, немецкий, японский, арабский и испанский.
- Возможные применения AI в телеком-отрасли включают отраслевое обслуживание клиентов, маркетинг, продажи и интерактивные потребительские приложения.

https://gillettnews.com/news/south-koreas-sk-telecom-invests-100-million-in-ai-startup-anthropic/62795/

Dell представляет новые AI-решения для современных предприятий

Компания Dell Technologies представила новую линейку решений и сервисов, разработанных для помощи предприятиям в интеграции и использовании искусственного интеллекта и машинного обучения.

- Благодаря новым функциям, предприятия смогут легче осуществлять цифровую трансформацию и улучшать бизнес-процессы.
- Новые решения включают алгоритмы искусственного интеллекта, созданные для ускорения интеллектуального анализа данных.
- Компания также предлагает консультационные услуги по стратегии использования данных и искусственного интеллекта.

https://www.jumpstartmag.com/dell-unveils-new-generative-ai-solutions-for-modern-enterprises/

Nvidia представляет новый ИИ-чип GH200

Nvidia анонсировала новый чип GH200, предназначенный для значительного снижения стоимости запуска больших языковых моделей.
GH200, который ускорит масштабирование мировых центров обработки данных, сочетает в себе графический процессор с 141 гигабайтом самой современной памяти и 72-ядерный центральный процессор ARM.
Доступный у дистрибьюторов Nvidia во втором квартале следующего года, GH200 будет иметь больший объем памяти для логических выводов, что позволит разместить более крупные модели ИИ в одной системе.


https://www.cnbc.com/2023/08/08/nvidia-reveals-new-ai-chip-says-cost-of-running-large-language-models-will-drop-significantly-.html

Прорыв в квантовом ИИ: увеличение параметров улучшает производительность

Исследовательская группа из Лос-Аламосской национальной лаборатории продемонстрировала, что добавление дополнительных параметров, или "перепараметризация", повышает производительность в квантовом машинном обучении - технике, превосходящей способности классических компьютеров. Это открытие поможет оптимизировать процесс обучения в квантовых нейронных сетях и улучшить их работу в практических квантовых приложениях.

- С помощью перепараметризации исследователи смогли предотвратить затухание процесса обучения, проблему, столкнулась с которой модель при достижении подоптимальной конфигурации.
- Новое исследование устанавливает теоретический подход для предсказания критического числа параметров, при котором модель квантового машинного обучения становится перепараметризованной.
- После достижения определенной критической точки, добавление параметров провоцирует значительное улучшение производительности сети и упрощает ее обучение.


https://scitechdaily.com/a-leap-in-performance-new-breakthrough-boosts-quantum-ai/

Нейросеть, делающая игры по промту

Просто пишете текстом логику игры, а нейронка сгенерирует блоки кода, фичи, персонажей и локаци.

Попробовать бета-версию можно тут.

ChatGPT | #Useful

OpenAI launches GPTBot to improve AI models.

GPTBot is a web crawler that automatically scrapes data from the internet for improving future AI models.

"Необходимо существенное изменение отношения к ИИ в области безопасности", говорит эксперт из Microsoft

На конференции Black Hat USA 2023 в своей презентации о кибербезопасности и искусственном интеллекте (ИИ) Рам Шанкар Сива Кумар, специалист по машинному обучению и анализу данных безопасности из Microsoft, призвал уменьшить слепое доверие к автоматизированным возможностям ИИ и быть внимательнее к результатам его работы.

- Кибератакующие используют ИИ для манипуляции с данными и выпуска ложной информации.
- Специалисты по разработке программного обеспечения считают, что в стандартах ИИ не хватает ясности и точности, особенно в отношении этических последствий.
- Несмотря на все плюсы ИИ, он не способен углубленно исследовать тему или сбалансировать несколько точек зрения.
- Если нет единого контроля над достоверностью ответов ИИ, ответственность за этот инструмент ложится на разные частные компании.

https://biztechmagazine.com/article/2023/08/black-hat-usa-2023-five-lessons-artificial-intelligence

Flowise - визуальный инструмент для создания LLM-потоков

основан на базе LangChainJS

https://github.com/FlowiseAI/Flowise

"Автономный исследователь" на базе GPT

📝 Создавайте отчеты об исследованиях, планах, ресурсах и уроках
🌐 Объединяет более 20 веб-источников для каждого исследования, чтобы сформировать объективные и основанные на фактах выводы.
🖥 Включает простой в использовании веб-интерфейс (HTML/CSS/JS)
🔍 Парсинг веб-источников с поддержкой javascript
📂 Отслеживает и контекст посещаемых и используемых веб-источников
📄 Экспорт отчетов об исследованиях в PDF и многое другое...

https://github.com/assafelovic/gpt-researcher
https://app.tavily.com/

WSJ: Компании из США готовы платить до $900 тыс./год ключевым сотрудникам по развитию ИИ

– Компании из США активно ищут сотрудников для развития ИИ
– Чтобы нанять лучших, они предлагают 7-значные зарплаты
– Специалистам дают также доп. бонусы, опционы и др.
– Например, Match Group дает зарплату до $398 тыс./год
– Такая же позиция VP от Upwork может принести $437 тыс./год
– Amazon предлагает старшему менеджеру по ИИ $340 тыс./год
– Netflix готов платить за развитие ML-платформы $900 тыс./год
– При этом сред. зарплата инженера по ML $144 тыс./год

@ftsec

LoRa - Недорогое дообучение моделей.

Идея состоит в том, чтобы заменить в модели некоторые из больших матриц меньшими для вычисления градиента. Назовем W0 весами предварительно обученной модели для конкретной матрицы слоев. После обновления градиента ΔW веса будут

W = W0 + ΔW

и, если x является входом для этого слоя, выход этого слоя будет

В . х = W0. х + ΔW. Икс

Если мы используем LLama2 с параметрами 70B, нам нужно обновлять все параметры для каждого обратного прохода: очень затратно в вычислительном отношении! Вместо этого с LoRA мы вставляем рядом с каждой матрицей слоев предварительно обученной модели 2 матрицы A и B, так что обновление аппроксимируется разложением более низкого ранга:
ΔВ ~ В . А

Хитрость заключается в том, что если ΔW имеет размеры (R, C), мы можем создать B с размерами (R, r) и A с размерами (r, C), так что r << R, C. Например, если R = 10K, C = 20K и r = 4, тогда

ΔW имеет R x C = 10K x 20K = 200M элементов
B имеет R x r = 10K x 4 = 40K элементов
и A имеет r x C = 20K x 4 = 80K элементов

Следовательно, A и B вместе содержат 120 тыс. элементов, что в 1666 раз меньше элементов, чем ΔW. При точной настройке мы обновляем веса только тех вновь вставленных матриц. Матрицы градиента намного меньше и поэтому требуют гораздо меньше памяти графического процессора. Поскольку предварительно обученные веса заморожены, нам не нужно вычислять градиенты для подавляющего большинства параметров.