This media is not supported in your browser
VIEW IN TELEGRAM
Китайский автосервис.
Был такой фильм в детстве Робот Джокс.
Сдаётся мы ещё увидим битвы гигантских механоидов.
Получается разработки Unitree и вот эти тараканы, это просто подготовка.
ИИ модели, которые на них отработают будут загружены в гигантских Меха.
#Китай #роботы
------
@tsingular
Был такой фильм в детстве Робот Джокс.
Сдаётся мы ещё увидим битвы гигантских механоидов.
Получается разработки Unitree и вот эти тараканы, это просто подготовка.
ИИ модели, которые на них отработают будут загружены в гигантских Меха.
#Китай #роботы
------
@tsingular
🔥10👍5👾1
Политические качели: Трамп отменил указ Байдена по регулированию ИИ
В первый день президентства Дональд Трамп аннулировал исполнительный указ Джо Байдена от 2023 года по регулированию искусственного интеллекта.
Отмененный документ обязывал разработчиков тестировать системы ИИ на безопасность и делиться результатами с властями до публичного релиза.
Национальный институт стандартов должен был создать методологию выявления уязвимостей в нейросетях.
Сторонники новой администрации критиковали требования как избыточные, вынуждающие компании раскрывать коммерческие секреты.
Трамп анонсировал альтернативную политику развития технологий, основанную на принципах свободы слова, но без конкретных деталей.
Похоже, регуляторные американские горки для ИИ только начинаются 🎢
#Trump #Biden #ExecutiveOrder
-------
@tsingular
В первый день президентства Дональд Трамп аннулировал исполнительный указ Джо Байдена от 2023 года по регулированию искусственного интеллекта.
Отмененный документ обязывал разработчиков тестировать системы ИИ на безопасность и делиться результатами с властями до публичного релиза.
Национальный институт стандартов должен был создать методологию выявления уязвимостей в нейросетях.
Сторонники новой администрации критиковали требования как избыточные, вынуждающие компании раскрывать коммерческие секреты.
Трамп анонсировал альтернативную политику развития технологий, основанную на принципах свободы слова, но без конкретных деталей.
Похоже, регуляторные американские горки для ИИ только начинаются 🎢
#Trump #Biden #ExecutiveOrder
-------
@tsingular
👀4✍3
Семейство самых мощных рассуждающих открыток появилось в ollama
https://ollama.com/library/deepseek-r1
В нарезке на любой выбор.
1.5, 7, 8, 14, 32, 70 и 671 млрд. для гурманов :)
(671B Q4_K_M 404GB)
Качаем
#ollama #Китай
———
@tsingular
https://ollama.com/library/deepseek-r1
В нарезке на любой выбор.
1.5, 7, 8, 14, 32, 70 и 671 млрд. для гурманов :)
(671B Q4_K_M 404GB)
Качаем
#ollama #Китай
———
@tsingular
👍5🤩3
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Забавная возможность R1 - генерировать видосы объясняющие математические концепты по одному запросу. Алмазный век с его букварём все ближе.
Делается это через генерацию кода для Manim - системы анимации, которую сделал ютубер 3blue1brown, который ещё делал прекрасное объяснение работы трансформера (тык).
@ai_newz
Делается это через генерацию кода для Manim - системы анимации, которую сделал ютубер 3blue1brown, который ещё делал прекрасное объяснение работы трансформера (тык).
@ai_newz
🔥13👍4🦄2😐1
This media is not supported in your browser
VIEW IN TELEGRAM
Трамп анонсировал Stargate: историческое партнерство OpenAI, Oracle и SoftBank
Три технологических гиганта объединяются для создания крупнейшей AI-инфраструктуры в США.
Масаёси Сон, Сэм Альтман и Ларри Эллисон запускают проект Stargate.
Первоначальные вложения составят $100 млрд, с перспективой роста до $500 млрд за 4 года.
Строительство стартует с масштабного дата-центра в Техасе.
Ожидается присоединение дополнительных стратегических партнеров.
Инициатива создаст около 100тыс. новых рабочих мест.
Вспоминаем, что они обсуждали 3 проекта датацентров по 1 млн. видеокарт каждый и суммы уже не кажутся такими большими.
Хотя по масштабу, конечно, - аналог Манхэттенского проекта в ядерке.
#Stargate #OpenAI #Oracle #Softbank
-------
@tsingular
Три технологических гиганта объединяются для создания крупнейшей AI-инфраструктуры в США.
Масаёси Сон, Сэм Альтман и Ларри Эллисон запускают проект Stargate.
Первоначальные вложения составят $100 млрд, с перспективой роста до $500 млрд за 4 года.
Строительство стартует с масштабного дата-центра в Техасе.
Ожидается присоединение дополнительных стратегических партнеров.
Инициатива создаст около 100тыс. новых рабочих мест.
Вспоминаем, что они обсуждали 3 проекта датацентров по 1 млн. видеокарт каждый и суммы уже не кажутся такими большими.
Хотя по масштабу, конечно, - аналог Манхэттенского проекта в ядерке.
#Stargate #OpenAI #Oracle #Softbank
-------
@tsingular
2🔥8🤔5👍4
🤖 Windows 11 24H2 - обновляемся с ИИ
Конечно, все уже давно пересели на отечественные Linux системы, но если вдруг вы по какой-то причине всё ещё случайно не удалили Windows, то возможно, как и я, столкнетесь или уже столкнулись с проблемой обновления на 24H2.
Оно или не появляется или откатывается во время установки.
Причина, как оказалось, в битых драйверах.
Есть детальная статья-инструкция как с этим справится вручную, но мы бы не были ИИ-энтузиастами, если бы не попробовали и это разгрести с Клодом.
Что делать, если Windows 11 24H2 не устанавливается:
1. Качаем Memory integrity system readiness scan tool
2. Запускаем сканирование проблемных драйверов:
3. Отправляем полученный output.txt нашему другу Claude (или другой LLM на ваш выбор) вместе с инструкцией по удалению драйверов. Важный момент: просим создать bat-файл для каждого проблемного драйвера отдельно, чтобы при ошибке можно было просто перезапустить скрипт.
3. В инструкции для ИИ указываем особенность работы с драйверами в папках типа:
Команда для удаления:
Мой промпт, но возможно вы напишете лучше:
4. Получив bat-файл от Claude, запускаем его с правами администратора.
5. Ещё раз запускаем утилиту проверки и, если ошибок нет, - можно запускать обновления, но сначала еще пару шагов для верности.
6. После успешного удаления драйверов запускаем для подстраховки:
7. Перезагружаемся и пробуем установить обновление снова.
В чем суть кейса
Фишка метода в том, что мы используем ИИ для автоматизации рутинной работы — вместо того, чтобы вручную прописывать команды для каждого битого драйвера (у меня их было около 30 всего, - результат множественных переездов с железа на железо), Claude создаёт готовый батник.
Это не только экономит время, но и минимизирует риск ошибок при ручном вводе.
Но мы конечно, все эти Windows не одобряем и рекомендуем переехать на Linux :)
#кейсы #обновление
———
@tsingular
Конечно, все уже давно пересели на отечественные Linux системы, но если вдруг вы по какой-то причине всё ещё случайно не удалили Windows, то возможно, как и я, столкнетесь или уже столкнулись с проблемой обновления на 24H2.
Оно или не появляется или откатывается во время установки.
Причина, как оказалось, в битых драйверах.
Есть детальная статья-инструкция как с этим справится вручную, но мы бы не были ИИ-энтузиастами, если бы не попробовали и это разгрести с Клодом.
Что делать, если Windows 11 24H2 не устанавливается:
1. Качаем Memory integrity system readiness scan tool
2. Запускаем сканирование проблемных драйверов:
hvciscan_amd64.exe >output.txt
3. Отправляем полученный output.txt нашему другу Claude (или другой LLM на ваш выбор) вместе с инструкцией по удалению драйверов. Важный момент: просим создать bat-файл для каждого проблемного драйвера отдельно, чтобы при ошибке можно было просто перезапустить скрипт.
3. В инструкции для ИИ указываем особенность работы с драйверами в папках типа:
C:\WINDOWS\System32\DriverStore\FileRepository\igdlh64.inf_amd64_47f5d7a22284f665\
Команда для удаления:
pnputil /delete-driver <example.inf> /uninstall
Мой промпт, но возможно вы напишете лучше:
I'm trying to fix my windows install.
Guide said i must delete some failured drivers.
Check list and instructions:
Особенность в том, что там прямые адреса указаны, а часть драйверов лежат в папках
C:\WINDOWS\System32\DriverStore\FileRepository\igdlh64.inf_amd64_47f5d7a22284f665\igdkmd64.sys
, чтобы удалить такой драйвер, надо сначала зайти в командной строке с правами админа в папку, где все файлы лежат
C:\WINDOWS\System32\DriverStore\FileRepository\igdlh64.inf_amd64_47f5d7a22284f665\
и потом выполнить команду из статьи
pnputil /delete-driver <example.inf> /uninstall
заменив название на свой файл.
i need batch file, which i could run and it will go and uninstall each file one by one if file exists (in case i need to run it again - it should not stop with error)
4. Получив bat-файл от Claude, запускаем его с правами администратора.
5. Ещё раз запускаем утилиту проверки и, если ошибок нет, - можно запускать обновления, но сначала еще пару шагов для верности.
6. После успешного удаления драйверов запускаем для подстраховки:
DISM /Online /Cleanup-Image /RestoreHealth
sfc /scannow
7. Перезагружаемся и пробуем установить обновление снова.
В чем суть кейса
Фишка метода в том, что мы используем ИИ для автоматизации рутинной работы — вместо того, чтобы вручную прописывать команды для каждого битого драйвера (у меня их было около 30 всего, - результат множественных переездов с железа на железо), Claude создаёт готовый батник.
Это не только экономит время, но и минимизирует риск ошибок при ручном вводе.
Но мы конечно, все эти Windows не одобряем и рекомендуем переехать на Linux :)
#кейсы #обновление
———
@tsingular
👍12🔥5⚡2👨💻1
Forwarded from Machinelearning
🌟 Google только что выпустили новую модель Gemini 2.0 Flash Thinking
✅ Контекст с 1 миллионом токенов (5-х больше, чем o1 Pro)
#1 на арене чат-ботов👑
Модель показала наивысший результат, обогнав Gemini-Exp-1206
+ 17 очков прироста по сравнению с предыдущей контрольной точкой 1219
- №1 по всем направлениям (генерации кода), за исключением управления стилем.
• AIME: 73.3%
• GPQA: 74.2%
• MMMU: 75.4%
Модель доступна в ai-gradio
pip install --upgrade "ai-gradio[gemini]"
Они так же выпустили Gemini2.0 Pro.
https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21
#google #gemini
✅ Контекст с 1 миллионом токенов (5-х больше, чем o1 Pro)
#1 на арене чат-ботов
Модель показала наивысший результат, обогнав Gemini-Exp-1206
+ 17 очков прироста по сравнению с предыдущей контрольной точкой 1219
- №1 по всем направлениям (генерации кода), за исключением управления стилем.
• AIME: 73.3%
• GPQA: 74.2%
• MMMU: 75.4%
Модель доступна в ai-gradio
pip install --upgrade "ai-gradio[gemini]"
Они так же выпустили Gemini2.0 Pro.
https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21
#google #gemini
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔3
🔥 HeyGen выкатили product placement!
Product Placement на видео- это реально мощная фича для создания рекламного контента.
Теперь можно автоматически генерировать профессиональные рекламные видео с AI-аватарами, которые естественно взаимодействуют с твоим продуктом.
Не нужно организовывать фотосессии и видеосъёмки с моделями для каждого нового товара или аксессуара.
Можно быстро создавать разный контент для разных платформ, в том числе через API.
Особенно удобно для украшений и аксессуаров - AI-модель может показать их с разных ракурсов в движении.
Технически это работает так:
Загружаешь фотки своего продукта (минимум две - сам продукт и как его носят/используют)
Генерируешь образ через Photo Avatar
Добавляешь движения через промпты (можно контролировать скорость, зум, положение в кадре)
Это реально может изменить подход к производству рекламного контента, особенно для малого бизнеса. Теперь не нужно тратить кучу денег на студию, моделей и пересъемки - можно быстро сгенерировать разные варианты и выбрать лучший.
#HeyGen #retail #marketing
———
@tsingular
Product Placement на видео- это реально мощная фича для создания рекламного контента.
Теперь можно автоматически генерировать профессиональные рекламные видео с AI-аватарами, которые естественно взаимодействуют с твоим продуктом.
Не нужно организовывать фотосессии и видеосъёмки с моделями для каждого нового товара или аксессуара.
Можно быстро создавать разный контент для разных платформ, в том числе через API.
Особенно удобно для украшений и аксессуаров - AI-модель может показать их с разных ракурсов в движении.
Технически это работает так:
Загружаешь фотки своего продукта (минимум две - сам продукт и как его носят/используют)
Генерируешь образ через Photo Avatar
Добавляешь движения через промпты (можно контролировать скорость, зум, положение в кадре)
Это реально может изменить подход к производству рекламного контента, особенно для малого бизнеса. Теперь не нужно тратить кучу денег на студию, моделей и пересъемки - можно быстро сгенерировать разные варианты и выбрать лучший.
#HeyGen #retail #marketing
———
@tsingular
👍7❤6🔥3🤨2
Perplexity запускает Sonar: поисковый AI-API для интеграции в приложения
Sonar представлен в двух вариантах: базовый (быстрый и экономичный) и Pro (углубленный функционал).
Тарификация базируется на количестве поисковых запросов и объёме обрабатываемых данных.
Базовая версия: $5/1000 поисков, $1/750К слов ввода-вывода.
Pro-версия: $5/1000 поисков, $3/750К слов ввода, $15/750К слов вывода.
Zoom уже внедрил технологию в своего цифрового помощника.
Годовой оборот разработчика достиг $5-10М при оценке $520М после привлечения $73.6М инвестиций.
https://sonar.perplexity.ai/
Подрос конкурент Гуглу откуда не ждали! 🔍✨
#Perplexity #Sonar
———
@tsingular
Sonar представлен в двух вариантах: базовый (быстрый и экономичный) и Pro (углубленный функционал).
Тарификация базируется на количестве поисковых запросов и объёме обрабатываемых данных.
Базовая версия: $5/1000 поисков, $1/750К слов ввода-вывода.
Pro-версия: $5/1000 поисков, $3/750К слов ввода, $15/750К слов вывода.
Zoom уже внедрил технологию в своего цифрового помощника.
Годовой оборот разработчика достиг $5-10М при оценке $520М после привлечения $73.6М инвестиций.
https://sonar.perplexity.ai/
Подрос конкурент Гуглу откуда не ждали! 🔍✨
#Perplexity #Sonar
———
@tsingular
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Manim + AI - создаём видео-презентации с ИИ
ИИ теперь может не просто генерировать текст, а создает целые анимированные истории!
Manim -приложение разработанное 3b1b специально для создания своих обучающих роликов, отлично интегрируется в инструментарий агента.
Особенно круто для объяснения сложных концепций или визуализации данных.
Как это работает?
ИИ пишет код на Python, описывая что и как должно двигаться, появляться, трансформироваться.
А Manim берет этот код и превращает его в профессиональную анимацию - прямо как в видео 3Blue1Brown!
Представьте: агент может сам создать презентацию, где формулы плавно появляются, графики динамично строятся, а геометрические фигуры элегантно трансформируются друг в друга. И всё это программно, с математической точностью! 🤖✨
Особенно это будет полезно для:
- Образовательных AI-ассистентов
- Автоматической визуализации научных концепций
- Создания интерактивных обучающих материалов
В общем, Manim + AI = будущее объяснительных видео уже здесь! 🚀
Скоро во всех ботах :)
#Manim #3b1b
———
@tsingular
ИИ теперь может не просто генерировать текст, а создает целые анимированные истории!
Manim -приложение разработанное 3b1b специально для создания своих обучающих роликов, отлично интегрируется в инструментарий агента.
Особенно круто для объяснения сложных концепций или визуализации данных.
Как это работает?
ИИ пишет код на Python, описывая что и как должно двигаться, появляться, трансформироваться.
А Manim берет этот код и превращает его в профессиональную анимацию - прямо как в видео 3Blue1Brown!
Представьте: агент может сам создать презентацию, где формулы плавно появляются, графики динамично строятся, а геометрические фигуры элегантно трансформируются друг в друга. И всё это программно, с математической точностью! 🤖✨
Особенно это будет полезно для:
- Образовательных AI-ассистентов
- Автоматической визуализации научных концепций
- Создания интерактивных обучающих материалов
В общем, Manim + AI = будущее объяснительных видео уже здесь! 🚀
Скоро во всех ботах :)
#Manim #3b1b
———
@tsingular
🔥10❤4👍3
Рубрика - полезные уроки с AWS. Интеграция Claude 3 для видеомониторинга привилегированного доступа
Контроль привилегированных пользователей (PAM) штука важная, - вы пускаете в систему админа для настройки и нужно как-то мониторить его действия. Ну или хотя бы записать экран.
В итоге безопасники тонут в видеозаписях действий админов, и ИИ может помочь их "разгрести" 😅
В примере представлено пошаговое решение как самостоятельно собрать анализатор записей PAM-систем с помощью Claude 3:
Допустим ваши PAM-системы записывают тонны видео действий админов в Windows (100к+ часов в месяц!)
Вручную просмотреть это нереально - нужно 1000 человек работающих круглосуточно.
Claude 3 может "посмотреть" записи и составить подробный транскрипт
А потом проанализировать на предмет подозрительной активности
Как это работает:
Видео нарезается на кадры (1 кадр/сек)
Claude анализирует последовательности до 20 кадров за один вызов
Создаёт подробное описание действий админа
Проверяет на соответствие ограничениям инструкции, плана действий захода в консоль, попытки повышения привилегий и утечки данных.
Самое крутое - Claude может не только описать что видит, но и отметить подозрительные моменты: "ПОДОЗРИТЕЛЬНО: админ что-то сохранил" 🧐
Amazon выложил готовое решение на GitHub с использованием AWS Bedrock.
В общем, интересный пример как ИИ может разгрузить специалистов ИБ от рутины. Хотя, конечно, полностью доверять ему пока рановато - может и накосячить в анализе. Но как первичный фильтр - почему бы и нет? 🤔
Даже в режиме параноика, если он сможет ежедневно отсматривать 1000 часов и, пусть избыточно, но давать сводку - её все-равно быстрее посмотреть, чем глазками эту 1000 листать.
Если кому надо, - обращайтесь. Сделаем! :)
#AWS #Claude #инструкции #обучение
———
@tsingular
Контроль привилегированных пользователей (PAM) штука важная, - вы пускаете в систему админа для настройки и нужно как-то мониторить его действия. Ну или хотя бы записать экран.
В итоге безопасники тонут в видеозаписях действий админов, и ИИ может помочь их "разгрести" 😅
В примере представлено пошаговое решение как самостоятельно собрать анализатор записей PAM-систем с помощью Claude 3:
Допустим ваши PAM-системы записывают тонны видео действий админов в Windows (100к+ часов в месяц!)
Вручную просмотреть это нереально - нужно 1000 человек работающих круглосуточно.
Claude 3 может "посмотреть" записи и составить подробный транскрипт
А потом проанализировать на предмет подозрительной активности
Как это работает:
Видео нарезается на кадры (1 кадр/сек)
Claude анализирует последовательности до 20 кадров за один вызов
Создаёт подробное описание действий админа
Проверяет на соответствие ограничениям инструкции, плана действий захода в консоль, попытки повышения привилегий и утечки данных.
Самое крутое - Claude может не только описать что видит, но и отметить подозрительные моменты: "ПОДОЗРИТЕЛЬНО: админ что-то сохранил" 🧐
Amazon выложил готовое решение на GitHub с использованием AWS Bedrock.
В общем, интересный пример как ИИ может разгрузить специалистов ИБ от рутины. Хотя, конечно, полностью доверять ему пока рановато - может и накосячить в анализе. Но как первичный фильтр - почему бы и нет? 🤔
Даже в режиме параноика, если он сможет ежедневно отсматривать 1000 часов и, пусть избыточно, но давать сводку - её все-равно быстрее посмотреть, чем глазками эту 1000 листать.
Если кому надо, - обращайтесь. Сделаем! :)
#AWS #Claude #инструкции #обучение
———
@tsingular
👍9✍1👨💻1
Вот почему я не люблю вешать ИИ приложения на облачные сервисы :)
Одна ошибка, - и ты ошибся.
Разработчица, при среднем счёте в $50 в месяц, однажды утром увидела счёт за сутки на $70К и теперь Гугл грозит ей коллекторами.
Недавно у меня бот за ночь так на $100 накрутил тоже из-за ошибки.
Так что все эти guardrails - не шутки. Окружайте среду вызовов проверками и промежуточными лимитами по вызовам.
#cloud #fails
———
@tsingular
Одна ошибка, - и ты ошибся.
Разработчица, при среднем счёте в $50 в месяц, однажды утром увидела счёт за сутки на $70К и теперь Гугл грозит ей коллекторами.
Недавно у меня бот за ночь так на $100 накрутил тоже из-за ошибки.
Так что все эти guardrails - не шутки. Окружайте среду вызовов проверками и промежуточными лимитами по вызовам.
#cloud #fails
———
@tsingular
👍10😭5✍2😍1🤨1
Неразрешенный инцидент: повышенный коэффициент ошибок для ChatGPT и API.
https://status.openai.com/
Запустили Operator :)
#openai
------
@tsingular
https://status.openai.com/
Запустили Operator :)
#openai
------
@tsingular
😁6👍1
Forwarded from эйай ньюз
Последний экзамен человечества
Новый бенчмарк, на котором все наилучшие LLM набирают меньше 10%. Собирали его всем миром - была открыта форма, где принимались вопросы, если на вопросе фейлились основные передовые LLM - его давали на обсуждение панели экспертов, которая которая отсеивала неподходящие вопросы и модифицировала прошедшие ценз вопросы. Всего LLM не прошли 13000 вопросов, из которых выбрали 3000, на более чем сотню разных тем. Авторы топ 50 лучших вопросов получили $5000, за следующие 500 вопросов уже платили $500, что тоже солидно.
На бенче лидируют o1 и R1, причём кто лучше тут сказать сложно. 10% бенчмарка - мультимодальные вопросы, R1 в изображения не умеет, поэтому её тестили лишь на текстовой части, где она обогнала всех (так что то что она на уровне o1 - не байт). А на полном бенче всех обгоняет o1. Что интересно - у всех моделей, кроме Grok 2, при переходе на текстовую часть бенчмарка, слегка падает точность, но результаты моделей пока что слишком плохие чтобы делать из этого какие-то выводы.
Кроме качества ответов, бенч тестит ещё и самооценку - вместе с самим ответом, модель просят выдать и её уверенность в этом ответе. Это позволяет понять, насколько хорошо модель может оценить свои собственные возможности. У хорошо откалиброванной модели результаты на бенчмарке и среднеквадратичная уверенность должны быть довольно близко. На этой части, с заметным отрывом, лидирует та же R1, но всё равно Calibration Error у неё за 80%. Надеюсь, из-за этого бенча, заоблачную самооценку современных LLM немного поумерят.
Название, конечно, слишком пафосное и далеко не факт что насыщение этого бенчмарка означает что модель - это AGI. Бенч ведь публичный, а это означает что он явно будет потихоньку протекать в претрейн. Жаль что не оставили приватный сабсет вопросов, на котором можно тестить оверфит моделей на бенче. Но новые, ненасыщенные бенчмарки сейчас на вес золота, создавать их крайне сложно, так что грех жаловаться. Авторы ожидают что до конца года новые модели могут выдать более 50% точность на этом бенче, посмотрим как на нём себя покажет o3.
Пейпер
Бенчмарк
Сайт проекта
@ai_newz
Новый бенчмарк, на котором все наилучшие LLM набирают меньше 10%. Собирали его всем миром - была открыта форма, где принимались вопросы, если на вопросе фейлились основные передовые LLM - его давали на обсуждение панели экспертов, которая которая отсеивала неподходящие вопросы и модифицировала прошедшие ценз вопросы. Всего LLM не прошли 13000 вопросов, из которых выбрали 3000, на более чем сотню разных тем. Авторы топ 50 лучших вопросов получили $5000, за следующие 500 вопросов уже платили $500, что тоже солидно.
На бенче лидируют o1 и R1, причём кто лучше тут сказать сложно. 10% бенчмарка - мультимодальные вопросы, R1 в изображения не умеет, поэтому её тестили лишь на текстовой части, где она обогнала всех (так что то что она на уровне o1 - не байт). А на полном бенче всех обгоняет o1. Что интересно - у всех моделей, кроме Grok 2, при переходе на текстовую часть бенчмарка, слегка падает точность, но результаты моделей пока что слишком плохие чтобы делать из этого какие-то выводы.
Кроме качества ответов, бенч тестит ещё и самооценку - вместе с самим ответом, модель просят выдать и её уверенность в этом ответе. Это позволяет понять, насколько хорошо модель может оценить свои собственные возможности. У хорошо откалиброванной модели результаты на бенчмарке и среднеквадратичная уверенность должны быть довольно близко. На этой части, с заметным отрывом, лидирует та же R1, но всё равно Calibration Error у неё за 80%. Надеюсь, из-за этого бенча, заоблачную самооценку современных LLM немного поумерят.
Название, конечно, слишком пафосное и далеко не факт что насыщение этого бенчмарка означает что модель - это AGI. Бенч ведь публичный, а это означает что он явно будет потихоньку протекать в претрейн. Жаль что не оставили приватный сабсет вопросов, на котором можно тестить оверфит моделей на бенче. Но новые, ненасыщенные бенчмарки сейчас на вес золота, создавать их крайне сложно, так что грех жаловаться. Авторы ожидают что до конца года новые модели могут выдать более 50% точность на этом бенче, посмотрим как на нём себя покажет o3.
Пейпер
Бенчмарк
Сайт проекта
@ai_newz
👍6🆒2
o3-mini будет доступен в бесплатном вебе.
А по API, вероятно, он будет неприлично дешёв, так как и в Plus версии его будет много и недорого.
На фоне лавины бесплатных рассуждающих моделей, - предсказуемо, конечно, но как-то быстро.
#OpenAI
———
@tsingular
А по API, вероятно, он будет неприлично дешёв, так как и в Plus версии его будет много и недорого.
На фоне лавины бесплатных рассуждающих моделей, - предсказуемо, конечно, но как-то быстро.
#OpenAI
———
@tsingular
🔥7
Forwarded from CodeCamp
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI показали своего первого ИИ-агента Operator. Эта штука перевернёт жизнь на «до» и «после»:
— У него свой защищённый браузер в облаке, через который можно совершать действия;
— В случае чего всегда можно перехватить управление;
— Нейросеть не всесильная: капчу и номер кредитки придётся вводить самому😢
— Работает со всеми https-сайтами. Ну, то есть почти со всеми;
— Пока раскатали онли для USA и только для подписчиков за 200$. Всем остальным обещают дать доступ через пару недель.
200$ жалко, жду в Plus-подписке.
— У него свой защищённый браузер в облаке, через который можно совершать действия;
— В случае чего всегда можно перехватить управление;
— Нейросеть не всесильная: капчу и номер кредитки придётся вводить самому
— Работает со всеми https-сайтами. Ну, то есть почти со всеми;
— Пока раскатали онли для USA и только для подписчиков за 200$. Всем остальным обещают дать доступ через пару недель.
200$ жалко, жду в Plus-подписке.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯4
Вот это сильно.
Все ИИ будут завязаны на крипту, похоже, скоро.
Ждём биткоин по $1млн. через пару лет.
И повсюду цифровые контракты.
Web 3.0 и новая экономика.
#bitcoin #economy
------
@tsingular
Все ИИ будут завязаны на крипту, похоже, скоро.
Ждём биткоин по $1млн. через пару лет.
И повсюду цифровые контракты.
Web 3.0 и новая экономика.
#bitcoin #economy
------
@tsingular
👍9🔥1👾1