🧬 Microsoft и Meta расширяют партнерство в области ИИ с Llama 2 в Azure и Windows.

Совсем недавно в Microsoft Inspire компании Meta и Microsoft объявили о поддержке семейства больших языковых моделей (LLM) Llama 2 в Azure и Windows. Llama 2 предназначена для того, чтобы позволить разработчикам и организациям создавать генеративные инструменты и опыт на базе искусственного интеллекта.

Теперь клиенты Azure могут легко и безопасно настраивать и развертывать модели Llama 2 с параметрами 7B, 13B и 70B на Azure, платформе для наиболее широко распространенных моделей frontier и open. Кроме того, Llama будет оптимизирована для локальной работы в Windows. Разработчики Windows смогут использовать Llama, ориентируясь на поставщика выполнения DirectML через среду выполнения ONNX, обеспечивая бесперебойный рабочий процесс, поскольку они привносят в свои приложения возможности искусственного интеллекта.

Meta и Microsoft являются давними партнерами в области искусственного интеллекта, начиная с совместной работы по интеграции ONNX Runtime с PyTorch для создания отличного интерфейса разработчика PyTorch в Azure, и заканчивая выбором Meta Azure в качестве стратегического облачного провайдера. Именно поэтому, нынешнее совместное объявление о партнерстве по ускорению инноваций в эпоху ИИ не вызывает вопросов и еще больше расширяет экосистемы компаний и их  позиции в качестве мировых суперкомпьютерных платформ для искусственного интеллекта.

🧩 #AINews

"Амазон активно внедряет генеративный AI во все свои бизнесы"

Вопреки недавним отчетам о снижении интереса к генеративному AI и использованию ChatGPT, Амазон продолжает активно его развивать. Согласно словам генерального директора компании Энди Джесси, "каждый бизнес" компании в настоящее время реализует "несколько инициатив в области генеративного АИ". Джесси уточнил, что проекты могут коснуться оптимизации расходов и улучшения эффективности работы, вплоть до внедрения в "самое сердце каждого клиентского опыта". Джесси также упомянул работу над интеграцией генеративного AI в Алексу. Другие крупные технологические компании, включая Meta и Google, также активно работают над генеративным AI. Apple, по слухам, работает над собственной версией ChatGPT, которую называют AppleGPT.

https://www.techspot.com/news/99672-amazon-embracing-generative-ai-across-every-one-businesses.html

Generative AI ускоряет изменения на рынке труда в США.

Отчет McKinsey Global Institute отмечает преобразование рабочих мест и переориентацию специалистов на новые профессии из-за внедрения generative AI.
- С 2019 по 2022 год произошло около 8.6 миллионов профессиональных изменений в США, предположительно, к 2030 году таких изменений будет на 12 миллионов больше.
- Момент изменений сопровождает рост сфер здравоохранения, науки, технологий, инженерии и математики (STEM), при уменьшении ролей, связанных с обслуживанием клиентов и офисной работой.
- Спрос на разные профессии формируется не только автоматизацией и generative AI, но и федеральными инвестициями в инфраструктуру, переходом к нулевым выбросам, а также долгосрочными структурными тенденциями.
- Несмотря на изменение карьерного пути многих работников, исследования показывают, что generative AI не уничтожает рабочие места, а, в долгосрочной перспективе, способствует экономическому росту и расширению типов занятости.

https://www.mckinsey.com/mgi/our-research/generative-ai-and-the-future-of-work-in-america

Обучение ruGPT от Сбера на домашнем компе:

https://dzen.ru/a/ZHTfs9pggmVlGC79

GPT-LLM-Trainer полностью автономный fine-tuning LLAMA2

GPT-LLM-Trainer – новый проект, целью которого является упрощение процесса обучения машинного обучения.
Один из уникальных аспектов проекта - автоматическая генерация наборов данных с помощью GPT-4.
Пользователь просто вводит описание своей задачи, а система создает набор данных с нуля, преобразует его в подходящий формат и настраивает модель LLaMA 2. После того, как набор данных создан, система автоматически разделяет его на обучающую и валидационную выборки, дообучает модель и готовит ее к выводу.
Проект помогает подготовить собственную модель от этапа генерации данных до настройки модели и к выводу в работу.

https://github.com/mshumer/gpt-llm-trainer

Злоумышленники выпустили генеративный AI чат-бот "Evil-GPT"

В последнее время стала наблюдаться тенденция к росту использования генеративных моделей AI, которые активно меняют современные технологические сценарии. Однако вместе с позитивными сторонами они предоставляют злоумышленникам новые возможности. Хакер под именем "Amlo" рекламирует вредоносный генеративный AI чат-бот "Evil-GPT" на форумах, позиционируя его как замену "Worm GPT". Продажа таких вредоносных AI инструментов вызывает озабоченность в сообществе по кибербезопасности. Еще с июля наблюдается всплеск постов на темных веб-сайтах, пропагандирующих различные вредоносные модели. Данные инструменты позволяют злоумышленникам автоматизировать процесс отправки ложных писем, усиливая атаки BEC. Пользователь продающий "Evil-GPT" утверждает, что новый AI чат-бот, как и "Worm GPT", написан полностью на Python. Цена "Evil-GPT" составляет всего 10 долларов, что заявитель описывает как "непобедимую" цену.

https://cybersecuritynews-com.cdn.ampproject.org/c/s/cybersecuritynews.com/hackers-released-evil-gpt/?amp

Южнокорейский SK Telecom вложил 100 миллионов долларов в AI-стартап Anthropic

Mобильный оператор Южной Кореи SK Telecom (SKT) инвестировал 100 миллионов долларов в стартап в области искусственного интеллекта Anthropic. SKT планирует сотрудничать с Anthropic для разработки мультиязычной модели большого языка (LLM), адаптированной для мировых телекоммуникационных компаний.

- Учредителями Anthropic стали бывшие лидеры OpenAI.
- С этой стратегической инвестицией SKT входит в конкурентную область генеративного AI.
- Совместно разработанная большая языковая модель будет поддерживать несколько языков, включая английский, корейский, немецкий, японский, арабский и испанский.
- Возможные применения AI в телеком-отрасли включают отраслевое обслуживание клиентов, маркетинг, продажи и интерактивные потребительские приложения.

https://gillettnews.com/news/south-koreas-sk-telecom-invests-100-million-in-ai-startup-anthropic/62795/

Dell представляет новые AI-решения для современных предприятий

Компания Dell Technologies представила новую линейку решений и сервисов, разработанных для помощи предприятиям в интеграции и использовании искусственного интеллекта и машинного обучения.

- Благодаря новым функциям, предприятия смогут легче осуществлять цифровую трансформацию и улучшать бизнес-процессы.
- Новые решения включают алгоритмы искусственного интеллекта, созданные для ускорения интеллектуального анализа данных.
- Компания также предлагает консультационные услуги по стратегии использования данных и искусственного интеллекта.

https://www.jumpstartmag.com/dell-unveils-new-generative-ai-solutions-for-modern-enterprises/

Nvidia представляет новый ИИ-чип GH200

Nvidia анонсировала новый чип GH200, предназначенный для значительного снижения стоимости запуска больших языковых моделей.
GH200, который ускорит масштабирование мировых центров обработки данных, сочетает в себе графический процессор с 141 гигабайтом самой современной памяти и 72-ядерный центральный процессор ARM.
Доступный у дистрибьюторов Nvidia во втором квартале следующего года, GH200 будет иметь больший объем памяти для логических выводов, что позволит разместить более крупные модели ИИ в одной системе.


https://www.cnbc.com/2023/08/08/nvidia-reveals-new-ai-chip-says-cost-of-running-large-language-models-will-drop-significantly-.html

Прорыв в квантовом ИИ: увеличение параметров улучшает производительность

Исследовательская группа из Лос-Аламосской национальной лаборатории продемонстрировала, что добавление дополнительных параметров, или "перепараметризация", повышает производительность в квантовом машинном обучении - технике, превосходящей способности классических компьютеров. Это открытие поможет оптимизировать процесс обучения в квантовых нейронных сетях и улучшить их работу в практических квантовых приложениях.

- С помощью перепараметризации исследователи смогли предотвратить затухание процесса обучения, проблему, столкнулась с которой модель при достижении подоптимальной конфигурации.
- Новое исследование устанавливает теоретический подход для предсказания критического числа параметров, при котором модель квантового машинного обучения становится перепараметризованной.
- После достижения определенной критической точки, добавление параметров провоцирует значительное улучшение производительности сети и упрощает ее обучение.


https://scitechdaily.com/a-leap-in-performance-new-breakthrough-boosts-quantum-ai/

Нейросеть, делающая игры по промту

Просто пишете текстом логику игры, а нейронка сгенерирует блоки кода, фичи, персонажей и локаци.

Попробовать бета-версию можно тут.

ChatGPT | #Useful

OpenAI launches GPTBot to improve AI models.

GPTBot is a web crawler that automatically scrapes data from the internet for improving future AI models.

"Необходимо существенное изменение отношения к ИИ в области безопасности", говорит эксперт из Microsoft

На конференции Black Hat USA 2023 в своей презентации о кибербезопасности и искусственном интеллекте (ИИ) Рам Шанкар Сива Кумар, специалист по машинному обучению и анализу данных безопасности из Microsoft, призвал уменьшить слепое доверие к автоматизированным возможностям ИИ и быть внимательнее к результатам его работы.

- Кибератакующие используют ИИ для манипуляции с данными и выпуска ложной информации.
- Специалисты по разработке программного обеспечения считают, что в стандартах ИИ не хватает ясности и точности, особенно в отношении этических последствий.
- Несмотря на все плюсы ИИ, он не способен углубленно исследовать тему или сбалансировать несколько точек зрения.
- Если нет единого контроля над достоверностью ответов ИИ, ответственность за этот инструмент ложится на разные частные компании.

https://biztechmagazine.com/article/2023/08/black-hat-usa-2023-five-lessons-artificial-intelligence

Flowise - визуальный инструмент для создания LLM-потоков

основан на базе LangChainJS

https://github.com/FlowiseAI/Flowise

"Автономный исследователь" на базе GPT

📝 Создавайте отчеты об исследованиях, планах, ресурсах и уроках
🌐 Объединяет более 20 веб-источников для каждого исследования, чтобы сформировать объективные и основанные на фактах выводы.
🖥 Включает простой в использовании веб-интерфейс (HTML/CSS/JS)
🔍 Парсинг веб-источников с поддержкой javascript
📂 Отслеживает и контекст посещаемых и используемых веб-источников
📄 Экспорт отчетов об исследованиях в PDF и многое другое...

https://github.com/assafelovic/gpt-researcher
https://app.tavily.com/

WSJ: Компании из США готовы платить до $900 тыс./год ключевым сотрудникам по развитию ИИ

– Компании из США активно ищут сотрудников для развития ИИ
– Чтобы нанять лучших, они предлагают 7-значные зарплаты
– Специалистам дают также доп. бонусы, опционы и др.
– Например, Match Group дает зарплату до $398 тыс./год
– Такая же позиция VP от Upwork может принести $437 тыс./год
– Amazon предлагает старшему менеджеру по ИИ $340 тыс./год
– Netflix готов платить за развитие ML-платформы $900 тыс./год
– При этом сред. зарплата инженера по ML $144 тыс./год

@ftsec

LoRa - Недорогое дообучение моделей.

Идея состоит в том, чтобы заменить в модели некоторые из больших матриц меньшими для вычисления градиента. Назовем W0 весами предварительно обученной модели для конкретной матрицы слоев. После обновления градиента ΔW веса будут

W = W0 + ΔW

и, если x является входом для этого слоя, выход этого слоя будет

В . х = W0. х + ΔW. Икс

Если мы используем LLama2 с параметрами 70B, нам нужно обновлять все параметры для каждого обратного прохода: очень затратно в вычислительном отношении! Вместо этого с LoRA мы вставляем рядом с каждой матрицей слоев предварительно обученной модели 2 матрицы A и B, так что обновление аппроксимируется разложением более низкого ранга:
ΔВ ~ В . А

Хитрость заключается в том, что если ΔW имеет размеры (R, C), мы можем создать B с размерами (R, r) и A с размерами (r, C), так что r << R, C. Например, если R = 10K, C = 20K и r = 4, тогда

ΔW имеет R x C = 10K x 20K = 200M элементов
B имеет R x r = 10K x 4 = 40K элементов
и A имеет r x C = 20K x 4 = 80K элементов

Следовательно, A и B вместе содержат 120 тыс. элементов, что в 1666 раз меньше элементов, чем ΔW. При точной настройке мы обновляем веса только тех вновь вставленных матриц. Матрицы градиента намного меньше и поэтому требуют гораздо меньше памяти графического процессора. Поскольку предварительно обученные веса заморожены, нам не нужно вычислять градиенты для подавляющего большинства параметров.

Unitree объявила сегодня в социальных сетях о создани робота-гуманоида Н1, опираясь на свой опыт в четверной робототехнике. Unitree показали (и пинали) робота H1 на видео выше

Китайская компания Unitree является одним из ведущих разработчиков четвероногих роботов и недавно выпустили на рынок второе поколение четвероногих Go2. Компания взяла всю необходимую механику ног и приводные системы своей четвероногой линейки продуктов. Это дает потенциально большое преимущество над другими конкурирующими гуманоидными роботами. Компания также разработала и протестировала необходимые алгоритмы восприятия и передвижения, которые ускоряютпуть развития продукта.

Гуманоид H1 имеет высоту около 1.8м, весит около 47 кг. Робот оснащен двигателями с высоким крутящим моментом и редукторами, разработанными самостоятельно Unitree. Восприятие окружающего мира роботу дает 3D-сенсор LiDAR и камера глубины. Суставы ног имеют 5 степеней свободы, а руки - 4 DOF. Показанные изображения робота не включают в себя никаких кистей, только мягкий наконечник на конце руки. Компания заявила, что кисти рук находятся в разработке.

Дата официального релиза еще не объявлена. Тем не менее, в видео утверждается, что робот будет коммерчески доступен в ближайшие 3-10 лет. По данным Unitree, ожидается, что цена H1 будет ниже 90 000 долларов.

OpenAI приобретает Global Illumination

OpenAI объявил о приобретении команды Global Illumination, компании, занимающейся созданием творческих инструментов и цифровых продуктов на основе искусственного интеллекта. Весь коллектив теперь будет работать над основными продуктами OpenAI, включая ChatGPT.

- Команда Global Illumination предана искусственному интеллекту и применению его в творческих инструментах и цифровых продуктах.
- В прошлом команда создавала продукты на ранних этапах для Instagram и Facebook и вносила значительный вклад в подобные компании, такие как YouTube, Google, Pixar, Riot Games и др.
- OpenAI приветствует новых членов бригады и с нетерпением ожидает их вклада в развитие своих продуктов.

https://openai.com/blog/openai-acquires-global-illumination

Глава Tencent обещает развивать ИИ для блага человечества, но предупреждает о возможных рисках

https://www.scmp.com/tech/big-tech/article/3231161/tencent-boss-pony-ma-vows-develop-ai-technologies-aid-human-well-being-warning-potential-huge-pain