Технозаметки Малышева
9.69K subscribers
4.05K photos
1.48K videos
41 files
4.18K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Прорыв в квантовом ИИ: увеличение параметров улучшает производительность

Исследовательская группа из Лос-Аламосской национальной лаборатории продемонстрировала, что добавление дополнительных параметров, или "перепараметризация", повышает производительность в квантовом машинном обучении - технике, превосходящей способности классических компьютеров. Это открытие поможет оптимизировать процесс обучения в квантовых нейронных сетях и улучшить их работу в практических квантовых приложениях.

- С помощью перепараметризации исследователи смогли предотвратить затухание процесса обучения, проблему, столкнулась с которой модель при достижении подоптимальной конфигурации.
- Новое исследование устанавливает теоретический подход для предсказания критического числа параметров, при котором модель квантового машинного обучения становится перепараметризованной.
- После достижения определенной критической точки, добавление параметров провоцирует значительное улучшение производительности сети и упрощает ее обучение.


https://scitechdaily.com/a-leap-in-performance-new-breakthrough-boosts-quantum-ai/
This media is not supported in your browser
VIEW IN TELEGRAM
Нейросеть, делающая игры по промту

Просто пишете текстом логику игры, а нейронка сгенерирует блоки кода, фичи, персонажей и локаци.

Попробовать бета-версию можно тут.

ChatGPT | #Useful
Forwarded from Chat GPT
OpenAI launches GPTBot to improve AI models.

GPTBot is a web crawler that automatically scrapes data from the internet for improving future AI models.
"Необходимо существенное изменение отношения к ИИ в области безопасности", говорит эксперт из Microsoft

На конференции Black Hat USA 2023 в своей презентации о кибербезопасности и искусственном интеллекте (ИИ) Рам Шанкар Сива Кумар, специалист по машинному обучению и анализу данных безопасности из Microsoft, призвал уменьшить слепое доверие к автоматизированным возможностям ИИ и быть внимательнее к результатам его работы.

- Кибератакующие используют ИИ для манипуляции с данными и выпуска ложной информации.
- Специалисты по разработке программного обеспечения считают, что в стандартах ИИ не хватает ясности и точности, особенно в отношении этических последствий.
- Несмотря на все плюсы ИИ, он не способен углубленно исследовать тему или сбалансировать несколько точек зрения.
- Если нет единого контроля над достоверностью ответов ИИ, ответственность за этот инструмент ложится на разные частные компании.

https://biztechmagazine.com/article/2023/08/black-hat-usa-2023-five-lessons-artificial-intelligence
This media is not supported in your browser
VIEW IN TELEGRAM
Flowise - визуальный инструмент для создания LLM-потоков

основан на базе LangChainJS

https://github.com/FlowiseAI/Flowise
"Автономный исследователь" на базе GPT

📝 Создавайте отчеты об исследованиях, планах, ресурсах и уроках
🌐 Объединяет более 20 веб-источников для каждого исследования, чтобы сформировать объективные и основанные на фактах выводы.
🖥 Включает простой в использовании веб-интерфейс (HTML/CSS/JS)
🔍 Парсинг веб-источников с поддержкой javascript
📂 Отслеживает и контекст посещаемых и используемых веб-источников
📄 Экспорт отчетов об исследованиях в PDF и многое другое...

https://github.com/assafelovic/gpt-researcher
https://app.tavily.com/
Forwarded from 42 секунды
WSJ: Компании из США готовы платить до $900 тыс./год ключевым сотрудникам по развитию ИИ

– Компании из США активно ищут сотрудников для развития ИИ
– Чтобы нанять лучших, они предлагают 7-значные зарплаты
– Специалистам дают также доп. бонусы, опционы и др.
– Например, Match Group дает зарплату до $398 тыс./год
– Такая же позиция VP от Upwork может принести $437 тыс./год
– Amazon предлагает старшему менеджеру по ИИ $340 тыс./год
– Netflix готов платить за развитие ML-платформы $900 тыс./год
– При этом сред. зарплата инженера по ML $144 тыс./год

@ftsec
2106.09685.pdf
1.5 MB
LoRa - Недорогое дообучение моделей.

Идея состоит в том, чтобы заменить в модели некоторые из больших матриц меньшими для вычисления градиента. Назовем W0 весами предварительно обученной модели для конкретной матрицы слоев. После обновления градиента ΔW веса будут

W = W0 + ΔW

и, если x является входом для этого слоя, выход этого слоя будет

В . х = W0. х + ΔW. Икс

Если мы используем LLama2 с параметрами 70B, нам нужно обновлять все параметры для каждого обратного прохода: очень затратно в вычислительном отношении! Вместо этого с LoRA мы вставляем рядом с каждой матрицей слоев предварительно обученной модели 2 матрицы A и B, так что обновление аппроксимируется разложением более низкого ранга:
ΔВ ~ В . А

Хитрость заключается в том, что если ΔW имеет размеры (R, C), мы можем создать B с размерами (R, r) и A с размерами (r, C), так что r << R, C. Например, если R = 10K, C = 20K и r = 4, тогда

ΔW имеет R x C = 10K x 20K = 200M элементов
B имеет R x r = 10K x 4 = 40K элементов
и A имеет r x C = 20K x 4 = 80K элементов

Следовательно, A и B вместе содержат 120 тыс. элементов, что в 1666 раз меньше элементов, чем ΔW. При точной настройке мы обновляем веса только тех вновь вставленных матриц. Матрицы градиента намного меньше и поэтому требуют гораздо меньше памяти графического процессора. Поскольку предварительно обученные веса заморожены, нам не нужно вычислять градиенты для подавляющего большинства параметров.
🧬 #AINews перед сном или "Информация к размышлению"

Экспериментально доказано – LLM «думают» как люди, а не имитируют наше мышление на основе статистик
. Это по истине сенсационное открытие «Лаборатории вычислительного зрения и обучения» Университета Калифорнии прошло научное рецензирование и опубликовано в Nature Human Behaviour под заголовком "Эмерджентное рассуждение по аналогии в больших языковых моделях"

Суть в следующем. Экспериментально доказано, что большие языковые модели (LLM) уровня GPT-3 и выше уже достигли и даже превосходят уровень людей при решении задач:
🎚️ абсолютно новых для них (с которыми они никогда не сталкивались);
🎚️ требующих умения рассуждать "с нуля", без какого-либо прямого обучения;
🎚️  требующих способности к абстрактной индукции паттернов – т.е. абстрагирования от конкретной задачи и рассуждения по аналогии.
Рассуждения по аналогии – это квинтэссенция способности человека к абстрагированию, являющейся основой человеческого интеллекта и его отличительной особенностью. Без наличия у ИИ такой способности невозможна реализация AGI (Artificial General Intelligence).

Доказательство того, что LLM обладает этой способностью на уровне человека и даже выше ставит точку в споре о том:
1.  «думают» ли LLM, как люди (т.е. обладают ли LLM неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей);
2.  или же LLM лишь имитируют человеческое мышление (т.е. подражают человеческим рассуждениям, используя статистику из наборов данных, на которых проходили обучение).

Из результатов исследования следует, что этот вычислительный процесс формируется у LLM радикально иным путем, чем тот, который использует биологический интеллект.

Не менее важно, что это исследование на экспериментальных тестах зафиксировало 3 отсутствующих у LLM элемента, обретя которые LLM интеллектуально уравняются с людьми:
I.  Наличие собственных целей и мотивации;
II.  Долговременная память;
III.  Физическое понимание мира на основе мультимодального сенсорного опыта.🤷

🧩 #БудущееУжеНастоящее
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Innovation & Research
Media is too big
VIEW IN TELEGRAM
Unitree объявила сегодня в социальных сетях о создани робота-гуманоида Н1, опираясь на свой опыт в четверной робототехнике. Unitree показали (и пинали) робота H1 на видео выше

Китайская компания Unitree является одним из ведущих разработчиков четвероногих роботов и недавно выпустили на рынок второе поколение четвероногих Go2. Компания взяла всю необходимую механику ног и приводные системы своей четвероногой линейки продуктов. Это дает потенциально большое преимущество над другими конкурирующими гуманоидными роботами. Компания также разработала и протестировала необходимые алгоритмы восприятия и передвижения, которые ускоряютпуть развития продукта.

Гуманоид H1 имеет высоту около 1.8м, весит около 47 кг. Робот оснащен двигателями с высоким крутящим моментом и редукторами, разработанными самостоятельно Unitree. Восприятие окружающего мира роботу дает 3D-сенсор LiDAR и камера глубины. Суставы ног имеют 5 степеней свободы, а руки - 4 DOF. Показанные изображения робота не включают в себя никаких кистей, только мягкий наконечник на конце руки. Компания заявила, что кисти рук находятся в разработке.

Дата официального релиза еще не объявлена. Тем не менее, в видео утверждается, что робот будет коммерчески доступен в ближайшие 3-10 лет. По данным Unitree, ожидается, что цена H1 будет ниже 90 000 долларов.
OpenAI приобретает Global Illumination

OpenAI объявил о приобретении команды Global Illumination, компании, занимающейся созданием творческих инструментов и цифровых продуктов на основе искусственного интеллекта. Весь коллектив теперь будет работать над основными продуктами OpenAI, включая ChatGPT.

- Команда Global Illumination предана искусственному интеллекту и применению его в творческих инструментах и цифровых продуктах.
- В прошлом команда создавала продукты на ранних этапах для Instagram и Facebook и вносила значительный вклад в подобные компании, такие как YouTube, Google, Pixar, Riot Games и др.
- OpenAI приветствует новых членов бригады и с нетерпением ожидает их вклада в развитие своих продуктов.

https://openai.com/blog/openai-acquires-global-illumination
FastViT: быстрый гибридный Vision Transformer со структурной репараметризацией

FastViT - новое слово в области гибридных архитектур преобразователей и сверточных сетей, обеспечивающее повышенную точность модели и ее эффективность. Главная заслуга FastViT - ислинование RepMixer, инновационного оператора для смешивания токенов, который использует структурную репараметризацию и уменьшает затраты на доступ к памяти, отказываясь от традиционных связей с пропуском.

- FastViT работает на мобильных устройствах в 3,5 раза быстрее CMT при точности классификации ImageNet.
- FastViT значительно превосходит EfficientNet и ConvNeXt с соотношениями скорости 4.9х и 1.9х соответственно.
- Формат FastViT по сравнению с MobileOne при схожей задержке показывает на 4.2% лучшую точность Top-1.
- FastViT демонстрирует отличные результаты в различных задачах, включая классификацию изображений, обнаружение, сегментацию и регрессию 3D-сетки.

Paper link: https://huggingface.co/papers/2303.14189
Code link: https://github.com/apple/ml-fastvit

A detailed unofficial overview of the paper:
https://andlukyane.com/blog/paper-review-fastvit
Forwarded from 42 секунды
The Information: Как Google планирует победить OpenAI

– Весной Пичаи объединил ИИ-команды Google и DeepMind
– Теперь сотни людей борются за выпуск группы новых LLM
– Модели с общим названием Gemini должны помочь Google
– Он сможет создавать продукты, недоступные конкурентам
– Gemini объединит возможности от GPT-4, Midjourney и др.
– Технологи Gemini должны усилить Bard, Google Docs и др.
– Разработчикам Gemini будут продавать через Google Cloud
– Gemini обучали также на большом корпусе видео YouTube
– Разработкой моделей Gemini уже руководят 20+ инженеров
– Возглавляет общую команду бывший руководитель DeepMind

@ftsec
"Large Language Models с семантическим поиском" от DeepLearning.AI

DeepLearning.AI, в сотрудничестве с Cohere, создало курс "Large Language Models с семантическим поиском". Целью курса является большее понимание и эффективное использование больших языковых моделей (LLM) в разработке и создании приложений.

- Команда DeepLearning.AI нацелена на то, чтобы облегчить разработчикам выбор оптимальной модели для своих приложений.
- В курсе подробно рассматриваются техники улучшения работы с LLM, такие как one-shot или few-shot prompting, RAG и fine-tuning.
- Цель курса - обучить методам интеграции LLM с поиском и использованию информации веб-сайта для формирования ответов.

https://www.deeplearning.ai/the-batch/issue-210/
Forwarded from Chat GPT
This media is not supported in your browser
VIEW IN TELEGRAM
Alibaba open-sources ChatGPT competitor.

Tongyi Qianwen (Alibaba's LLM) is open to third-party developers, allowing them to create their own AI applications without training their own systems.

This move puts Alibaba in competition with Meta and may challenge ChatGPT.
"Openstream.ai признана Gartner за инновационный подход к разговорному AI"

Openstream.ai, ведущий разработчик решений для разговорного искусственного интеллекта (AI), был вновь отмечен в исследовательском отчете Gartner за свою платформу Eva. Это уже пятое по счету упоминание компании в отчетах Gartner в 2023 году.

- Gartner определяет концепцию "Combinatorial AI" как использование совокупности передовых технологий и трендов AI для раскрытия новых ценностей и возможностей.
- По мнению Gartner, для реализации полного потенциала предприятия в области разговорного AI необходимо применение различных дисциплин, методологий и инструментов AI.
- Openstream.ai продолжает построение своего портфолио 2023 года, включая отметку как единственного визионера в квадранте Gartner по разговорному AI для предприятий.

https://www.prnewswire.com/news-releases/the-future-of-conversational-ai-requires-combinatorial-ai-301903665.html
Meta Platforms запускает Code Llama - открытую модель, помогающую разработчикам автоматически генерировать программный код, как альтернативу платному ПО от OpenAI, Google и других.

- Code Llama может быть запущен уже на следующей неделе
- Эта модель генерации кода становится конкурентом для модели Codex от OpenAI
- Она облегчит разработку ИИ-ассистентов, автоматически предлагающих код разработчикам, и может отвлечь пользователей от платных помощников в программировании, таких как GitHub Copilot от Microsoft с технологией Codex.

https://www.theinformation.com/articles/metas-next-ai-attack-on-openai-free-code-generating-software
Forwarded from GPT-4 Community
This media is not supported in your browser
VIEW IN TELEGRAM
Adobe выкатили новую версию видеоредактора Adobe Express с нейронками.

С помощью этого сервиса у вас есть возможность креативить по полной, ведь благодаря ИИ сможете создать абсолютно любой видеоролик или заставку.

Как пользоваться вы увидите в самом видео.

GPT-4 ▶️ #Useful