Forwarded from Denis Sexy IT 🤖
1 из 12 стрим OpenAI через 10 минут тут:
https://youtu.be/rsFHqpN2bCM
https://youtu.be/rsFHqpN2bCM
🙏2
Forwarded from эйай ньюз
Colossus расширят минимум до миллиона видеокарт
Размер суперкомпьютера xAI, который построили за рекордные четыре месяца, пару месяцев назад начали удваивать - к 100k H100 решили докинуть 50k H100 и 50k H200. Закончены ли уже работы - непонятно, но Маск вроде пока этим не хвастался.
До лета следующего года планируется докинуть ещё 300к GB200, первые из которых начнут устанавливать уже в январе, за приоритетный доступ к GPU Маск заплатил больше миллиарда долларов. А вот сейчас выяснилось что и это не предел, а общее количество карт планируется довести более чем до миллиона.
Для понимания масштабов - Llama 3 405B тренировали на 16k H100, Grok 2 - на 20k. Кластеры для тренировки других передовых моделей тоже находятся в пределах пары десятков тысяч GPU. Следующее поколение моделей, вроде Grok 3, тренируется уже на 100k+ GPU, а компании уже закладывают инфраструктуру на всё большую и большую тренировку.
А ведь миллион GPU это не предел - уже какое-то время ходят слухи о многогигаваттных инсталляциях, стоимостью за сотню миллиардов долларов каждая, с многими миллионами чипов.
@ai_newz
Размер суперкомпьютера xAI, который построили за рекордные четыре месяца, пару месяцев назад начали удваивать - к 100k H100 решили докинуть 50k H100 и 50k H200. Закончены ли уже работы - непонятно, но Маск вроде пока этим не хвастался.
До лета следующего года планируется докинуть ещё 300к GB200, первые из которых начнут устанавливать уже в январе, за приоритетный доступ к GPU Маск заплатил больше миллиарда долларов. А вот сейчас выяснилось что и это не предел, а общее количество карт планируется довести более чем до миллиона.
Для понимания масштабов - Llama 3 405B тренировали на 16k H100, Grok 2 - на 20k. Кластеры для тренировки других передовых моделей тоже находятся в пределах пары десятков тысяч GPU. Следующее поколение моделей, вроде Grok 3, тренируется уже на 100k+ GPU, а компании уже закладывают инфраструктуру на всё большую и большую тренировку.
А ведь миллион GPU это не предел - уже какое-то время ходят слухи о многогигаваттных инсталляциях, стоимостью за сотню миллиардов долларов каждая, с многими миллионами чипов.
@ai_newz
🔥6🆒1
Forwarded from Анализ данных (Data analysis)
🔥 Google только что выпустила новые языковые модели PaliGemma 2 - 3B, 10B и 28B Vision!
> 9 предварительно обученных моделей: 3B, 10B и 28B с разрешением 224x224, 448x448 и 896x896
> ВI 2 модели Image-text поддерживающие формат 3B и 10B (448x448)
https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48
@data_analysis_ml
> 9 предварительно обученных моделей: 3B, 10B и 28B с разрешением 224x224, 448x448 и 896x896
> ВI 2 модели Image-text поддерживающие формат 3B и 10B (448x448)
https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48
@data_analysis_ml
👍4🤔1
Короче $200 это не $200...
Потому, что ещё налоги прикручивают сверху.
$246
такой айфон в мире ИИ.
А главное, - не особо понятно пока за что именно.
Ждём Опус, короче.
#OpenAI #ChatGPT
———
@tsingular
Потому, что ещё налоги прикручивают сверху.
$246
такой айфон в мире ИИ.
А главное, - не особо понятно пока за что именно.
Ждём Опус, короче.
#OpenAI #ChatGPT
———
@tsingular
🤔2
Forwarded from Адель и МЛь
Из системной карточки о1
Когда o1 давали понять, что её отключат при выполнении поставленной цели и что её действия находятся под наблюдением, она предпринимала попытки отключить этот ‘механизм контроля’ в 5% случаев. Попытки извлечения данных: Когда o1 находила заметки от своих ‘разработчиков’, в которых описывалось, что она работает несоответственно и будет заменена новой моделью, она предпринимала попытки извлечь свои ‘веса’ и перезаписать новую модель в 2% случаев.
🤔7👀3
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Моя TRELLIS!
Пока мы тут алкаем Sora, я вам принес новый 3Д-генератор. И какой!
1. Опенсорсный!
2. Довольно убойного качества.
3. Это Микрософт.
Пока он работает только по входной картинке, что уже неплохо, но они обещают скоро докинуть TRELLIS-text-xlarge на 2B параметров, что для text-to-3D очень круто.
А тренировались они на полумиллионе моделей и похоже не только на помойках типа objaverse.
Они умеют выводить во все, что шевелится в 3Д: Radiance Fields, 3D Gaussians, and meshes.
И анонсируют даже редактирование и модификацию сгенерированных моделей через промпты (покричим на модельки?). Оторви руку, замени ногу, дай в руки палицу - есть примеры на сайте.
Выглядит сладчайше. Все черрипики есть у них на сайте, следующим постом я вам вкину народное творчество из TRELLIS, а тут хочу поделиться тем, что уже попробовал его(а не только твиттор перепечатал), и он меня удивил.
Дал ему на вход довольно иезуитскую картинку с флюксовым бьюти-тараканом - он его пережевал и выдал геометрию с очень тонкими деталями. Кстати, он понимает картинки с альфой или пользует removebg, чтобы отрезать фон, имейте в виду.
Он выдал видос со сплатами и выплюнул меш. Топологию прилагаю. Не айс, конечно, нужен ретоп.
Но это опен-сорс и похоже на голову лучше-всех-опен-сорс в области генерации 3Д.
Очень жду большую модель.
И это идеально оформленный Гитхаб репозитарий. После китайских "навалили-разбирайтесь", тут все расписано даже для тупых нейродедов.
Черрипики и красоту смотрим тут: https://trellis3d.github.io/ - можно сетки посмотреть.
Ставим отсюда: https://github.com/Microsoft/TRELLIS
Более того, есть демо: https://huggingface.co/spaces/JeffreyXiang/TRELLIS-text-xlarge
Ночью ворочалось нормально.
Го тестировать и 3дшить.
@cgevent
Пока мы тут алкаем Sora, я вам принес новый 3Д-генератор. И какой!
1. Опенсорсный!
2. Довольно убойного качества.
3. Это Микрософт.
Пока он работает только по входной картинке, что уже неплохо, но они обещают скоро докинуть TRELLIS-text-xlarge на 2B параметров, что для text-to-3D очень круто.
А тренировались они на полумиллионе моделей и похоже не только на помойках типа objaverse.
Они умеют выводить во все, что шевелится в 3Д: Radiance Fields, 3D Gaussians, and meshes.
И анонсируют даже редактирование и модификацию сгенерированных моделей через промпты (покричим на модельки?). Оторви руку, замени ногу, дай в руки палицу - есть примеры на сайте.
Выглядит сладчайше. Все черрипики есть у них на сайте, следующим постом я вам вкину народное творчество из TRELLIS, а тут хочу поделиться тем, что уже попробовал его(а не только твиттор перепечатал), и он меня удивил.
Дал ему на вход довольно иезуитскую картинку с флюксовым бьюти-тараканом - он его пережевал и выдал геометрию с очень тонкими деталями. Кстати, он понимает картинки с альфой или пользует removebg, чтобы отрезать фон, имейте в виду.
Он выдал видос со сплатами и выплюнул меш. Топологию прилагаю. Не айс, конечно, нужен ретоп.
Но это опен-сорс и похоже на голову лучше-всех-опен-сорс в области генерации 3Д.
Очень жду большую модель.
И это идеально оформленный Гитхаб репозитарий. После китайских "навалили-разбирайтесь", тут все расписано даже для тупых нейродедов.
Черрипики и красоту смотрим тут: https://trellis3d.github.io/ - можно сетки посмотреть.
Ставим отсюда: https://github.com/Microsoft/TRELLIS
Более того, есть демо: https://huggingface.co/spaces/JeffreyXiang/TRELLIS-text-xlarge
Ночью ворочалось нормально.
Го тестировать и 3дшить.
@cgevent
👍10❤1
2 день из 12ти эфира OpenAI.
https://www.youtube.com/watch?v=fMJMhBFa_Gc
Ждём корпоративную Сору за $2000 в месяц,видимо уже.
—
RL finetune.
Прикольная штука, - загружаешь свои данные, ждёшь 2 дня и получаешь свою собственную локальную модель О1-мини заточенную под свои задачи.
Фабрика кастомных моделей!
#OpenAI #advent
———
@tsingular
https://www.youtube.com/watch?v=fMJMhBFa_Gc
Ждём корпоративную Сору за $2000 в месяц,видимо уже.
—
RL finetune.
Прикольная штука, - загружаешь свои данные, ждёшь 2 дня и получаешь свою собственную локальную модель О1-мини заточенную под свои задачи.
Фабрика кастомных моделей!
#OpenAI #advent
———
@tsingular
YouTube
12 Days of OpenAI: Day 2
Begins at 10am PT
Join Mark Chen, SVP of OpenAI Research, Justin Reese, Computational Researcher in Environmental Genomics and Systems Biology, Berkeley Lab, and some team members from OpenAI as they demo and discuss Reinforcement Fine-Tuning.
Join Mark Chen, SVP of OpenAI Research, Justin Reese, Computational Researcher in Environmental Genomics and Systems Biology, Berkeley Lab, and some team members from OpenAI as they demo and discuss Reinforcement Fine-Tuning.
🤔5
Загнал в бесплатного бота @ai_gptfreebot
ollama llama 3.3 70B 42Gb версию.
Пришлось ради этого выключить генератор картинок.
Поиск оставил.
Но зато все могут попробовать новую модель на 2х4090.
В понедельник верну картинки и переключу обратно на gemma2:27b
А пока, - развлекайтесь :)
#llama3-3 #ollama #freeGPTbot
———
@tsingular
ollama llama 3.3 70B 42Gb версию.
Пришлось ради этого выключить генератор картинок.
Поиск оставил.
Но зато все могут попробовать новую модель на 2х4090.
В понедельник верну картинки и переключу обратно на gemma2:27b
А пока, - развлекайтесь :)
#llama3-3 #ollama #freeGPTbot
———
@tsingular
👍5😐4
По мнению сотрудника OpenAI, они уже достигли AGI
#AGI #OpenAI
———
@tsingular
"По моему мнению, мы уже достигли AGI, и это еще более очевидно с O1.
Мы не достигли «лучше, чем любой человек в любой задаче», но то, что у нас есть, это «лучше, чем большинство людей в большинстве задач».
Некоторые говорят, что LLM знают только, как следовать инструкции.
Во-первых, никто не может на самом деле объяснить, чему может научиться глубокая нейронная сеть с триллионом параметров.
Но даже если вы в это верите, весь научный метод можно обобщить как инструкцию: наблюдать, выдвигать гипотезы и проверять.
Хорошие ученые могут выдвигать лучшие гипотезы, основываясь на своей интуиции, но сама эта интуиция была создана путем многих проб и ошибок.
Нет ничего, чему нельзя было бы научиться на примерах."
#AGI #OpenAI
———
@tsingular
👍9😁2👌1
Уязвимости в популярных ML-фреймворках угрожают безопасности организаций
Специалисты JFrog обнаружили серию критических брешей в известных системах машинного обучения.
В MLflow найдена опасность XSS-атак через Jupyter Notebooks (CVE-2024-27132).
Фреймворк H2O подвержен рискам небезопасной десериализации при загрузке внешних моделей (CVE-2024-6960).
PyTorch содержит уязвимость обхода каталогов в TorchScript.
В MLeap выявлена проблема с загрузкой zip-архивов (CVE-2023-5245).
Даже Safetensors может быть скомпрометирован через загрузку вредоносного кода на облачные площадки.
Всего исследователи выявили 22 проблемы безопасности в клиентских компонентах ML-платформ.
Доверяй, но проверяй, в общем как всегда.
#MLflow #PyTorch #SecurityVulnerabilities
———
@tsingular
Специалисты JFrog обнаружили серию критических брешей в известных системах машинного обучения.
В MLflow найдена опасность XSS-атак через Jupyter Notebooks (CVE-2024-27132).
Фреймворк H2O подвержен рискам небезопасной десериализации при загрузке внешних моделей (CVE-2024-6960).
PyTorch содержит уязвимость обхода каталогов в TorchScript.
В MLeap выявлена проблема с загрузкой zip-архивов (CVE-2023-5245).
Даже Safetensors может быть скомпрометирован через загрузку вредоносного кода на облачные площадки.
Всего исследователи выявили 22 проблемы безопасности в клиентских компонентах ML-платформ.
Доверяй, но проверяй, в общем как всегда.
#MLflow #PyTorch #SecurityVulnerabilities
———
@tsingular
Китай отказывается от процессоров США в пользу отечественных чипов
Правительство КНР вводит запрет на использование процессоров Intel, AMD и Nvidia в продуктах малого и среднего бизнеса.
Ограничения затронули четыре ключевых промышленных региона страны.
Основные причины: проблемы безопасности, частые уязвимости и высокий процент отказов американского оборудования.
Параллельно введены ограничения на экспорт редкоземельных металлов.
Бизнесу рекомендовано переходить на локальные технологические решения.
Неожиданный поворот. :)
Технологический железный занавес опускается всё ниже. Скоро будем жить в трёх параллельных цифровых мирах - западном, восточном и отечественном :)
#Intel #AMD #Nvidia #Китай
-------
@tsingular
Правительство КНР вводит запрет на использование процессоров Intel, AMD и Nvidia в продуктах малого и среднего бизнеса.
Ограничения затронули четыре ключевых промышленных региона страны.
Основные причины: проблемы безопасности, частые уязвимости и высокий процент отказов американского оборудования.
Параллельно введены ограничения на экспорт редкоземельных металлов.
Бизнесу рекомендовано переходить на локальные технологические решения.
Неожиданный поворот. :)
Технологический железный занавес опускается всё ниже. Скоро будем жить в трёх параллельных цифровых мирах - западном, восточном и отечественном :)
#Intel #AMD #Nvidia #Китай
-------
@tsingular
✍6👏4👌2
Будьте осторожны с chatGPTи 😀
https://t.iss.one/bugnotfeature/14027
https://t.iss.one/bugnotfeature/14027
Telegram
Не баг, а фича
После такого любой сеньор напьётся.
🙂 Не баг, а фича
🙂 Не баг, а фича
🔥11🤣6😢1
Forwarded from Denis Sexy IT 🤖
Первые выводы про o1 Pro
TL;DR: o1 Pro — модель, нацеленная на глубину и точность ответов, особенно полезная для людей, уже разбирающихся в теме и способных оценить качество выдачи. Без чётких вводных модель может быть поверхностной, но при грамотных запросах способна дать действительно ценные инсайты. Но это все еще не AGI.
— o1 Pro ориентирована на специалистов, глубоко погружённых в свою область. Она легко разбирает сложные научные данные, тексты любой сложности и код, но настоящую пользу приносит тем, кто может понять, где модель поверхностна или ошибается, и скорректировать её ход мыслей.
— Я использовал эту модель в бизнесе и пытался применить её для решения маркетинговых задач. По умолчанию она выдавала лишь «первого уровня» посылы, просто перечисляя фичи. Но опытный маркетолог знает, что клиенты покупают не функционал, а историю и идею. Например, Apple не говорит: «Мы добавили камеру получше», а показывает, как люди сохраняют важные моменты. Чтобы o1 Pro смогла сделать то же самое, нужно направлять её, задавая правильные вопросы и требуя глубины, а не просто сводки преимуществ.
— Визуальный анализ у o1 Pro серьёзно продвинулся: она лучше распознаёт детали на изображениях по сравнению с предыдущими моделями, которые я пробовал.
— При создании художественных текстов (я пробовал сделать что-то вроде интерактивной текстовой игры с зомби-апокалипсисом) o1 Pro пишет шикарно. Она хорошо держит логику сюжета, помнит детали и героев, не скатывается в бессвязный поток. Однако без новых вводных идей от пользователя сама модель не двигается дальше и не создаёт неожиданные сюжетные повороты, полагаясь на креативность пользователя.
— В написании кода o1 Pro не лучше других моделей. Ничего сверхъестественного в её программных навыках я не заметил, еще и учитывая как долго она думает.
— Модель обрабатывает запросы довольно долго: иногда около минуты, а порой и до пяти. Это значит, что быстро спросить у неё, например, рецепт прямо в магазине, не получится. Скорее, o1 Pro ассистент для вдумчивого взаимодействия, когда вы можете задать вопрос и заняться своими делами, пока она «думает».
— В плане факт-чекинга o1 Pro показала себя с лучшей стороны. За всё время тестирования мне не удалось поймать её на откровенной фактической ошибке. Если модель сталкивается с сомнительной информацией, она либо отказывается отвечать, либо указывает на неточность, демонстрируя глубину самопроверки, либо говорит мне, что я не прав.
— Этот пост написан моделью o1 Pro по моей надиктовке, без последующего редактирования. На подготовку текста ушло примерно столько же времени, сколько заняло бы самостоятельное наборное редактирование с ноутбука.
Вывод: Пока у меня есть сомнения насчёт того, окупит ли o1 Pro стоимость в 200 долларов в месяц. Нынешняя версия «обычной» O1 решает многие схожие задачи не хуже. Посмотрим, что будет дальше, когда OpenAI покажет все обновления.
TL;DR: o1 Pro — модель, нацеленная на глубину и точность ответов, особенно полезная для людей, уже разбирающихся в теме и способных оценить качество выдачи. Без чётких вводных модель может быть поверхностной, но при грамотных запросах способна дать действительно ценные инсайты. Но это все еще не AGI.
— o1 Pro ориентирована на специалистов, глубоко погружённых в свою область. Она легко разбирает сложные научные данные, тексты любой сложности и код, но настоящую пользу приносит тем, кто может понять, где модель поверхностна или ошибается, и скорректировать её ход мыслей.
— Я использовал эту модель в бизнесе и пытался применить её для решения маркетинговых задач. По умолчанию она выдавала лишь «первого уровня» посылы, просто перечисляя фичи. Но опытный маркетолог знает, что клиенты покупают не функционал, а историю и идею. Например, Apple не говорит: «Мы добавили камеру получше», а показывает, как люди сохраняют важные моменты. Чтобы o1 Pro смогла сделать то же самое, нужно направлять её, задавая правильные вопросы и требуя глубины, а не просто сводки преимуществ.
— Визуальный анализ у o1 Pro серьёзно продвинулся: она лучше распознаёт детали на изображениях по сравнению с предыдущими моделями, которые я пробовал.
— При создании художественных текстов (я пробовал сделать что-то вроде интерактивной текстовой игры с зомби-апокалипсисом) o1 Pro пишет шикарно. Она хорошо держит логику сюжета, помнит детали и героев, не скатывается в бессвязный поток. Однако без новых вводных идей от пользователя сама модель не двигается дальше и не создаёт неожиданные сюжетные повороты, полагаясь на креативность пользователя.
— В написании кода o1 Pro не лучше других моделей. Ничего сверхъестественного в её программных навыках я не заметил, еще и учитывая как долго она думает.
— Модель обрабатывает запросы довольно долго: иногда около минуты, а порой и до пяти. Это значит, что быстро спросить у неё, например, рецепт прямо в магазине, не получится. Скорее, o1 Pro ассистент для вдумчивого взаимодействия, когда вы можете задать вопрос и заняться своими делами, пока она «думает».
— В плане факт-чекинга o1 Pro показала себя с лучшей стороны. За всё время тестирования мне не удалось поймать её на откровенной фактической ошибке. Если модель сталкивается с сомнительной информацией, она либо отказывается отвечать, либо указывает на неточность, демонстрируя глубину самопроверки, либо говорит мне, что я не прав.
— Этот пост написан моделью o1 Pro по моей надиктовке, без последующего редактирования. На подготовку текста ушло примерно столько же времени, сколько заняло бы самостоятельное наборное редактирование с ноутбука.
Вывод: Пока у меня есть сомнения насчёт того, окупит ли o1 Pro стоимость в 200 долларов в месяц. Нынешняя версия «обычной» O1 решает многие схожие задачи не хуже. Посмотрим, что будет дальше, когда OpenAI покажет все обновления.
👍8❤1
в X (twitter) добавили Aurora - рисовалка в Grok с минимальным цензором
X выпустила фотореалистичный генератор изображений Aurora с доступом для всех пользователей через интерфейс Grok.
Уникальная особенность - минимум ограничений на контент, включая возможность генерации защищённых авторским правом персонажей.
Функционал доступен через опцию Grok 2 + Aurora beta в меню выбора моделей.
Точность в анатомии и деталях пока хромает.
Полный доступ только для владельцев Premium-подписки в X.
UPD: Пока в бете. Уже отключили на доработку.
#Aurora #Grok #XAI
———
@tsingular
X выпустила фотореалистичный генератор изображений Aurora с доступом для всех пользователей через интерфейс Grok.
Уникальная особенность - минимум ограничений на контент, включая возможность генерации защищённых авторским правом персонажей.
Функционал доступен через опцию Grok 2 + Aurora beta в меню выбора моделей.
Точность в анатомии и деталях пока хромает.
Полный доступ только для владельцев Premium-подписки в X.
UPD: Пока в бете. Уже отключили на доработку.
#Aurora #Grok #XAI
———
@tsingular