ИИ ускоряет автономную кибербезопасность
ИИ трансформирует операции безопасности, делая их более автономными и эффективными.
Автономные системы безопасности (ASS) смогут самостоятельно обнаруживать, анализировать и реагировать на угрозы.
Концепция Автономного центра операций безопасности (ASOC) предполагает 6 уровней автоматизации, аналогично автопилоту.
ИИ позволит одному аналитику обрабатывать несколько инцидентов одновременно, повышая производительность.
С ростом автономности снижается необходимость вмешательства человека в рутинные процессы.
Аналитики смогут сфокусироваться на стратегическом планировании и сложных задачах.
Внедрение ИИ устанавливает новые стандарты в скорости и объеме обработки данных о безопасности.
Очень детальный разбор от SentinelOne по структуре центров безопасности с использованием ИИ.
#ASOC #cybersecurity #autonomousystems
-------
@tsingular
ИИ трансформирует операции безопасности, делая их более автономными и эффективными.
Автономные системы безопасности (ASS) смогут самостоятельно обнаруживать, анализировать и реагировать на угрозы.
Концепция Автономного центра операций безопасности (ASOC) предполагает 6 уровней автоматизации, аналогично автопилоту.
ИИ позволит одному аналитику обрабатывать несколько инцидентов одновременно, повышая производительность.
С ростом автономности снижается необходимость вмешательства человека в рутинные процессы.
Аналитики смогут сфокусироваться на стратегическом планировании и сложных задачах.
Внедрение ИИ устанавливает новые стандарты в скорости и объеме обработки данных о безопасности.
Очень детальный разбор от SentinelOne по структуре центров безопасности с использованием ИИ.
#ASOC #cybersecurity #autonomousystems
-------
@tsingular
This media is not supported in your browser
VIEW IN TELEGRAM
Claude представляет функции публикации и ремикса артефактов
Anthropic расширяет возможности Claude, внедряя систему публикации и ремикса артефактов.
Пользователи могут делиться своими творениями, предоставляя публичный доступ к конкретным версиям.
Опубликованный контент получает уникальную ссылку и отображается на отдельном сайте в защищенной среде.
Функция ремикса позволяет модифицировать чужие работы, создавая новый диалог с ИИ-помощником.
Предусмотрена возможность отмены публикации и удаления артефактов.
Получается, в своём роде, конкуренция GitHub на базе ИИ.
#Anthropic #Claude #ContentSharing
Anthropic расширяет возможности Claude, внедряя систему публикации и ремикса артефактов.
Пользователи могут делиться своими творениями, предоставляя публичный доступ к конкретным версиям.
Опубликованный контент получает уникальную ссылку и отображается на отдельном сайте в защищенной среде.
Функция ремикса позволяет модифицировать чужие работы, создавая новый диалог с ИИ-помощником.
Предусмотрена возможность отмены публикации и удаления артефактов.
Получается, в своём роде, конкуренция GitHub на базе ИИ.
#Anthropic #Claude #ContentSharing
👍1
Forwarded from эйай ньюз
Media is too big
VIEW IN TELEGRAM
Видео модель с максимальным уровнем контроля.
Стартап Odyssey врывается с двух ног в генеративный AI. Да не с одной моделью, а сразу с 4-мя! Каждая из которых отвечает за свой аспект картинки.
Загибаем пальцы, модель для генерации:
1) high-quality геометрии
2) фотореалистичных материалов
3) освещения
4) подконтрольного моушена
(последний палец видимо мы)
Анонс направлен на Голливуд, и ну конечно же самый пафосный, ощущение, что текст писал сам маэстро:
Короче, все говно, а мы крутые. Ну а начали они, конечно же, с небольшой исторической справочки про то, как наши прародители рассказывали нам истории перед костром. На вот почитайте.
В остальном очевидно, что они нацелены на профессионалов. Я бы сказал, это первый такой серьезный проект. Обещают невиданный ранее контроль изображения с их многослойной системой и интеграцию в существующие киношные пайплайны.
Дата релиза пока не известна, но обещают soon.
Подробности
@ai_newz
Стартап Odyssey врывается с двух ног в генеративный AI. Да не с одной моделью, а сразу с 4-мя! Каждая из которых отвечает за свой аспект картинки.
Загибаем пальцы, модель для генерации:
1) high-quality геометрии
2) фотореалистичных материалов
3) освещения
4) подконтрольного моушена
(последний палец видимо мы)
Анонс направлен на Голливуд, и ну конечно же самый пафосный, ощущение, что текст писал сам маэстро:
Мы должны предъявлять к ИИ более высокие требования. Небольшое путешествие по Сети покажет, что мы наводнены низкокачественным контентом, созданным ИИ. Контент-фермы, спам-боты и даже благонамеренные компании используют ИИ для создания текстов и изображений, стремясь придать алгоритмам игровой характер и захватить ваше внимание. Если не сделать все правильно, создание видео с помощью ИИ может пойти в том же направлении, когда мы будем наводнены случайными видео, в которых нет ни искры, ни сюжета. Возможно, через достаточно большой промежуток времени мы пристрастимся к этим нездоровым видео, забыв о том, как выглядит качественное человеческое повествование. Возможно, люди превратятся в наблюдателей за сюжетом, а не в рассказчиков.
В Odyssey мы отвергаем такое будущее.
Короче, все говно, а мы крутые. Ну а начали они, конечно же, с небольшой исторической справочки про то, как наши прародители рассказывали нам истории перед костром. На вот почитайте.
В остальном очевидно, что они нацелены на профессионалов. Я бы сказал, это первый такой серьезный проект. Обещают невиданный ранее контроль изображения с их многослойной системой и интеграцию в существующие киношные пайплайны.
Дата релиза пока не известна, но обещают soon.
Подробности
@ai_newz
Forwarded from эйай ньюз
GPT-2 (1.6B) за 24 часа и всего $672
Карпатый затвитил, что примерно 5 лет назад анонсировали GPT-2. Тогда на тренировку этой модели у OpenAI ушло целых ~$100,000.
Сейчас же, чтобы воспроизвести те результаты потребуется одна нода 8XH100 на 24 часа, что обойдется вам в районе $500-$672.
Карпатый показывает как это легко и дешево сделать на его минималистичном llm.c в 5000 строк кода:
https://github.com/karpathy/llm.c/discussions/677
Далее у Андрея в планах заимплементировать операции в fp8, файнтюнинг, мультимодальность и заонбордить на llm.c более современные архитектуры вроде LLama и Gemma.
Приятно наблюдать, как за 5 лет стоимость обучения модели упала аж в 150-200 раз, благодаря улучшению технологий и, конечно, ускорению железа. Так и до GPT-3 на рисоварке действительно недалеко!
@ai_newz
Карпатый затвитил, что примерно 5 лет назад анонсировали GPT-2. Тогда на тренировку этой модели у OpenAI ушло целых ~$100,000.
Сейчас же, чтобы воспроизвести те результаты потребуется одна нода 8XH100 на 24 часа, что обойдется вам в районе $500-$672.
Карпатый показывает как это легко и дешево сделать на его минималистичном llm.c в 5000 строк кода:
https://github.com/karpathy/llm.c/discussions/677
Далее у Андрея в планах заимплементировать операции в fp8, файнтюнинг, мультимодальность и заонбордить на llm.c более современные архитектуры вроде LLama и Gemma.
Приятно наблюдать, как за 5 лет стоимость обучения модели упала аж в 150-200 раз, благодаря улучшению технологий и, конечно, ускорению железа. Так и до GPT-3 на рисоварке действительно недалеко!
@ai_newz
🔥3👍1
Forwarded from Малоизвестное интересное
В Рунете вирусится анализ ТГ-канала Кримсон Дайджест о «Голдман Сакс и Искусственном Интеллекте (и немного про капитализацию Nvidia)».
Имхо, авторы анализа порхают по кликбейтным вершкам новости, не опускаясь до ее корешков. А корешок этот прост, понятен и полезен для понимания (как у морковки для здоровья)).
Новый отчет Голдман Сакс [3] (он 3-й по счету вышел) следует читать в паре с отчетом их главного конкурента ЖПМорган [2] (он вышел 2-м). И при этом, держа в памяти предыдущий отчет Голдман Сакс, вышедший всего на месяц раньше [1] (опубликован 1-м).
Согласно этим отчетам:
• Отчет #1 - перспективы ИИ для экономики и вообще «очень позитивны»
• Отчет #2 - перспективы ИИ для экономики и вообще «большие и сияющие»
• Отчет #3 - перспективы ИИ для экономики и вообще «совсем не блестящие и сильно переоценены»
По прочтению всех 3х отчетов становится очевидно, что к инвест аналитике они имеют лишь условное отношение. И это всего лишь замаскированные под аналитические отчеты способы влияния на рынок со стороны быков и медведей. И проблема лишь в том, что Голдман Сакс и ЖПМорган никак не определятся, кто из них будут медведем, а кто быком.
— 13 мая Голдман Сакс отчетом #1 решил застолбить за собой место главного быка на ИИ рынках
— 23 мая ЖПМорган отчетом #2 попросил Голдман Сакс подвинуться на этом хлебном месте
— но не желающий делиться местом главного животного, Голдман Сакс всего через месяц отчетом #3 решил превратиться в медведя
Так что делать хоть какие-то серьезные выводы о перспективах ИИ-рынков (HW, SW, Services) на основе наблюдения за подковерной битвой быков и медведей я бы никому не советовал.
Картинка https://telegra.ph/file/e70dc925fbc66b236b1a1.jpg
1 https://www.goldmansachs.com/intelligence/pages/gs-research/gen-ai-too-much-spend-too-little-benefit/report.pdf
2 https://www.jpmorgan.com/insights/investing/investment-trends/how-to-invest-in-ais-next-phase
3 https://www.goldmansachs.com/intelligence/pages/AI-is-showing-very-positive-signs-of-boosting-gdp.html?ref=wheresyoured.at
#ИИ #Экономика
Имхо, авторы анализа порхают по кликбейтным вершкам новости, не опускаясь до ее корешков. А корешок этот прост, понятен и полезен для понимания (как у морковки для здоровья)).
Новый отчет Голдман Сакс [3] (он 3-й по счету вышел) следует читать в паре с отчетом их главного конкурента ЖПМорган [2] (он вышел 2-м). И при этом, держа в памяти предыдущий отчет Голдман Сакс, вышедший всего на месяц раньше [1] (опубликован 1-м).
Согласно этим отчетам:
• Отчет #1 - перспективы ИИ для экономики и вообще «очень позитивны»
• Отчет #2 - перспективы ИИ для экономики и вообще «большие и сияющие»
• Отчет #3 - перспективы ИИ для экономики и вообще «совсем не блестящие и сильно переоценены»
По прочтению всех 3х отчетов становится очевидно, что к инвест аналитике они имеют лишь условное отношение. И это всего лишь замаскированные под аналитические отчеты способы влияния на рынок со стороны быков и медведей. И проблема лишь в том, что Голдман Сакс и ЖПМорган никак не определятся, кто из них будут медведем, а кто быком.
— 13 мая Голдман Сакс отчетом #1 решил застолбить за собой место главного быка на ИИ рынках
— 23 мая ЖПМорган отчетом #2 попросил Голдман Сакс подвинуться на этом хлебном месте
— но не желающий делиться местом главного животного, Голдман Сакс всего через месяц отчетом #3 решил превратиться в медведя
Так что делать хоть какие-то серьезные выводы о перспективах ИИ-рынков (HW, SW, Services) на основе наблюдения за подковерной битвой быков и медведей я бы никому не советовал.
Картинка https://telegra.ph/file/e70dc925fbc66b236b1a1.jpg
1 https://www.goldmansachs.com/intelligence/pages/gs-research/gen-ai-too-much-spend-too-little-benefit/report.pdf
2 https://www.jpmorgan.com/insights/investing/investment-trends/how-to-invest-in-ais-next-phase
3 https://www.goldmansachs.com/intelligence/pages/AI-is-showing-very-positive-signs-of-boosting-gdp.html?ref=wheresyoured.at
#ИИ #Экономика
❤1
Forwarded from Machinelearning
Создание AuraFlow - результат сотрудничества разработчиков Fal.Ai и южнокорейского исследователя генеративных моделей Simo, (наиболее известные работы Simo: адаптация LoRA для LLM и эксперименты в реализации MMDiT с нуля)
Одна из ключевых особенностей AuraFlow - ее архитектура.
Удаление части слоев и замена отдельными блоками DiT дали увеличение масштабируемости и эффективности вычислений. Использование Torch Dynamo + Inductor и torch.compile PT2 оптимизировало тренировочный процесс, повысив производительность модели, а zero-shot learning rate transfer и повторного аннотирования набора данных улучшило качество следования инструкциям и предсказуемость обучения.
В планах развития семейства моделей AuraFlow продолжить совершенствование AuraFlow и удовлетворить потребности потребительских графических карт путем оптимизации внутренней структуры младших моделей и разработка моделей MoE.
При тестировании или использовании AuraFlow следует иметь ввиду, что версия 0.1 является zero-day релизом, в котором, безусловно, не все идеально и на сегодняшний день модель знает не все концепты и стили. Выпуск серии моделей AuraFlow уникальный за последнее время прецедент, он служит напоминанием о том, что ИИ с открытым исходным кодом не стоит на месте.
⚠️ Для локального запуска требуется 24 Gb VRAM (3090, 4090 Nvidia series)
Рекомендации по построению промптов от разработчиков:
- все слова лучше писать в нижнем регистре, разделяя объекты и стиль запятыми, так же как для семейства Stable Diffusion;
- уточните позиционную информацию, цвета, количество объектов, другие визуальные аспекты и особенности. Обязательно включите как можно больше деталей в описание;
- опишите пространственные отношения, которые должны быть на генерируемом изображении. Вы можете использовать такие слова, как "слева/справа", "выше/ниже", "спереди/сзади", "далеко/рядом", "внутри/снаружи";
- включите, при необходимости, взаимодействия объектов, такие как «стол находится перед кухонной кастрюлей» и «на столе есть корзины»;
- опишите относительные размеры объектов, которые должны быть на генерируемом изображении;
- для получения фотографического контента, включите описание фотографических деталей, такие как боке, большое поле зрения и т. д., но не указывайте их просто так, делайте это только тогда, когда это имеет смысл;
- для получения художественного результата, включите детали о стиле, например, минимализм, импрессионизм, масляная живопись и т.д;
- добавьте описания объектов с учетом временных периодов, если это имеет смысл, например, Chevrolet 1950-х годов и т. д.
@ai_machinelearning_big_data
#Generative #ComfyUI #AuraFlow #Diffusers #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Анонсы NVIDIA в преддверии Siggraph в Денвере: ИИ перевернет компьютерную графику
На SIGGRAPH 2024 28 июля - 1 августа NVIDIA представит революционные разработки в рендере, симуляции и генИИ.
Исследователи продемонстрируют свыше 20 научных работ, охватывающих синтетическую генерацию данных и инструменты рендеринга.
ConsiStory позволит создавать последовательные изображения с одним персонажем, а SuperPADL симулирует сложные движения человека по текстовым подсказкам.
Новые методы ускорят моделирование света, жидкостей и волос, а fVDB оптимизирует 3D глубокое обучение на GPU.
Внедрение этих технологий значительно повысит реалистичность виртуальных миров и персонажей.
Скоро отличить реальность от виртуальности будет невозможно.
Матрица всё ближе! 🕶
#NVIDIA #SIGGRAPH #ComputerGraphics
-------
@tsingular
На SIGGRAPH 2024 28 июля - 1 августа NVIDIA представит революционные разработки в рендере, симуляции и генИИ.
Исследователи продемонстрируют свыше 20 научных работ, охватывающих синтетическую генерацию данных и инструменты рендеринга.
ConsiStory позволит создавать последовательные изображения с одним персонажем, а SuperPADL симулирует сложные движения человека по текстовым подсказкам.
Новые методы ускорят моделирование света, жидкостей и волос, а fVDB оптимизирует 3D глубокое обучение на GPU.
Внедрение этих технологий значительно повысит реалистичность виртуальных миров и персонажей.
Скоро отличить реальность от виртуальности будет невозможно.
Матрица всё ближе! 🕶
#NVIDIA #SIGGRAPH #ComputerGraphics
-------
@tsingular
Amazon выпускает AI-ассистента Rufus для шопинга
Amazon запустил Rufus - ИИ-помощника для покупок, доступного всем клиентам в США через мобильное приложение.
Запуск приурочен к Amazon Prime Day (16-17 июля), что потенциально увеличит продажи.
Rufus функционирует аналогично ChatGPT, но специализируется на шопинге в Amazon.
Ассистент обучен на каталоге товаров, отзывах клиентов и онлайн-информации.
Функционал включает уточнение поиска, ответы на вопросы и сравнение продуктов.
Во время бета-тестирования пользователи задали десятки миллионов вопросов.
Компания постепенно интегрирует ИИ-функции в свою платформу для улучшения пользовательского опыта.
Ozon & WB & Сбермаркет//Купер когда ? :)
#Amazon #Rufus #ShoppingAssistant
-------
@tsingular
Amazon запустил Rufus - ИИ-помощника для покупок, доступного всем клиентам в США через мобильное приложение.
Запуск приурочен к Amazon Prime Day (16-17 июля), что потенциально увеличит продажи.
Rufus функционирует аналогично ChatGPT, но специализируется на шопинге в Amazon.
Ассистент обучен на каталоге товаров, отзывах клиентов и онлайн-информации.
Функционал включает уточнение поиска, ответы на вопросы и сравнение продуктов.
Во время бета-тестирования пользователи задали десятки миллионов вопросов.
Компания постепенно интегрирует ИИ-функции в свою платформу для улучшения пользовательского опыта.
Ozon & WB & Сбермаркет//Купер когда ? :)
#Amazon #Rufus #ShoppingAssistant
-------
@tsingular
Forwarded from Сергей Булаев AI 🤖
Тем временем Anthropic удвоили размер максимального лимита количества сгенерированных токенов для Claude 3.5 Sonnet при запросах через API. Теперь он - 8192!
Чтобы воспользоваться, нужно добавить дополнительный заголовок в запрос на создание сообщения:
Также увеличенное окно доступно в консоли. В Claude.ai пока не меняли, но планируют выкатывать.
Сергей Булаев AI 🤖 - об AI и не только
Чтобы воспользоваться, нужно добавить дополнительный заголовок в запрос на создание сообщения:
"anthropic-beta": "max-tokens-3-5-sonnet-2024-07-15"Также увеличенное окно доступно в консоли. В Claude.ai пока не меняли, но планируют выкатывать.
Сергей Булаев AI 🤖 - об AI и не только
Lattice отменяет эксперимент с ИИ-сотрудниками
Компания Lattice предприняла попытку интегрировать ИИ-ботов в систему управления персоналом.
CEO Сара Франклин анонсировала планы предоставить "цифровым работникам" официальный статус сотрудников.
Предполагалось, что виртуальные помощники пройдут адаптацию, обучение и получат KPI.
Инициатива вызвала предсказуемую негативную реакцию и была отменена через три дня.
Франклин пыталась объяснить мотивы, утверждая, что не выступает за персонификацию ИИ.
Многие фирмы, включая Cognition AI и Qualified, изучают концепцию цифровых сотрудников.
Эксперимент Lattice был особенно негативно воспринят теми, кого это могло затронуть напрямую.
Первый блин комом. Запишем для истории.
Интересно будет потом посмотреть, как быстро подобные эксперименты станут успешными. 🤖
#Lattice #DigitalWorkers #HR
-------
@tsingular
Компания Lattice предприняла попытку интегрировать ИИ-ботов в систему управления персоналом.
CEO Сара Франклин анонсировала планы предоставить "цифровым работникам" официальный статус сотрудников.
Предполагалось, что виртуальные помощники пройдут адаптацию, обучение и получат KPI.
Инициатива вызвала предсказуемую негативную реакцию и была отменена через три дня.
Франклин пыталась объяснить мотивы, утверждая, что не выступает за персонификацию ИИ.
Многие фирмы, включая Cognition AI и Qualified, изучают концепцию цифровых сотрудников.
Эксперимент Lattice был особенно негативно воспринят теми, кого это могло затронуть напрямую.
Первый блин комом. Запишем для истории.
Интересно будет потом посмотреть, как быстро подобные эксперименты станут успешными. 🤖
#Lattice #DigitalWorkers #HR
-------
@tsingular
👍3
Forwarded from Сиолошная
Andrey Karpathy, ко-фаундер OpenAI и ex-Директор по AI в Tesla, не дождался моего лонга по образованию и открыл Eureka Labs, школу нового типа, основанную на искусственном интеллекте.
Текст анонса:
===
Как мы можем приблизиться к идеальному опыту изучения чего-то нового? Например, в случае с физикой можно представить, как вы работаете над высококачественными учебными материалами вместе с Фейнманом, который будет сопровождать вас на каждом этапе пути. К сожалению, экспертов в предметной области, которые глубоко увлечены, прекрасно преподают, бесконечно терпеливы и свободно говорят на всех языках мира, также очень мало и они не могут лично обучать все 8 миллиардов людей.
Однако с учетом недавнего прогресса в области генеративного искусственного интеллекта этот опыт обучения кажется вполне достижимым. Преподаватель по-прежнему разрабатывает материалы курса, но они поддерживаются, активно используются и масштабируются с помощью ИИ-помощников преподавателя, которые оптимизированы для помощи учащимся в их изучении. Этот симбиоз Учитель + ИИ может проводить целую программу курсов на общей платформе. Если мы добьемся успеха, любому будет легко научиться чему-либо, расширяя образование как по доступности (большое количество людей, изучающих что-то), так и по объему (любой человек изучает большое количество предметов, сверх того, что сегодня возможно без посторонней помощи).
Нашим первым продуктом станет, очевидно, лучший в мире курс по искусственному интеллекту LLM101n. Это курс для студентов бакалавриата, и он поможет студенту натренировать собственный ИИ, очень похожий на уменьшенную версию этого самого помощника преподавателя по искусственному интеллекту. Материалы курса будут доступны онлайн, но мы также планируем вести как цифровую, так и физическую группы для прохождения курса.
Сегодня мы с головой уходим в создание LLM101n, но мы с нетерпением ждем будущего, в котором ИИ станет ключевой технологией для увеличения человеческого потенциала.
Чему бы вы хотели научиться?
Текст анонса:
===
Как мы можем приблизиться к идеальному опыту изучения чего-то нового? Например, в случае с физикой можно представить, как вы работаете над высококачественными учебными материалами вместе с Фейнманом, который будет сопровождать вас на каждом этапе пути. К сожалению, экспертов в предметной области, которые глубоко увлечены, прекрасно преподают, бесконечно терпеливы и свободно говорят на всех языках мира, также очень мало и они не могут лично обучать все 8 миллиардов людей.
Однако с учетом недавнего прогресса в области генеративного искусственного интеллекта этот опыт обучения кажется вполне достижимым. Преподаватель по-прежнему разрабатывает материалы курса, но они поддерживаются, активно используются и масштабируются с помощью ИИ-помощников преподавателя, которые оптимизированы для помощи учащимся в их изучении. Этот симбиоз Учитель + ИИ может проводить целую программу курсов на общей платформе. Если мы добьемся успеха, любому будет легко научиться чему-либо, расширяя образование как по доступности (большое количество людей, изучающих что-то), так и по объему (любой человек изучает большое количество предметов, сверх того, что сегодня возможно без посторонней помощи).
Нашим первым продуктом станет, очевидно, лучший в мире курс по искусственному интеллекту LLM101n. Это курс для студентов бакалавриата, и он поможет студенту натренировать собственный ИИ, очень похожий на уменьшенную версию этого самого помощника преподавателя по искусственному интеллекту. Материалы курса будут доступны онлайн, но мы также планируем вести как цифровую, так и физическую группы для прохождения курса.
Сегодня мы с головой уходим в создание LLM101n, но мы с нетерпением ждем будущего, в котором ИИ станет ключевой технологией для увеличения человеческого потенциала.
Чему бы вы хотели научиться?
🔥5⚡2
This media is not supported in your browser
VIEW IN TELEGRAM
Домашний AI-кластер из любого барахла
Exo - интересная разработка для автоматического создания AI-кластера из повседневных устройств.
Объединяет iPhone, iPad, Android, Mac, Linux в единый мощный GPU кластер.
Поддерживает LLaMA и другие популярные модели.
Оптимально распределяет задачи на основе топологии сети и ресурсов.
Автоматически обнаруживает устройства без ручной настройки.
Предоставляет API, совместимый с ChatGPT, для запуска моделей.
Использует peer-to-peer архитектуру вместо master-worker.
Доступ к моделям через библиотеку exo с использованием peer handles.
Запускает endpoint на https://localhost:8000.
Поддерживает различные движки вывода и стратегии разделения модели по слоям между устройствами.
В примере на видео кластер из:
- iPhone 15 Pro Max
- iPad Pro M4
- Galaxy S24 Ultra
- MacBook Pro M2 and M3 Pro
- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIM
Старое железо теперь не выкидываем.
#Exo #DIY #AICluster
-------
@tsingular
Exo - интересная разработка для автоматического создания AI-кластера из повседневных устройств.
Объединяет iPhone, iPad, Android, Mac, Linux в единый мощный GPU кластер.
Поддерживает LLaMA и другие популярные модели.
Оптимально распределяет задачи на основе топологии сети и ресурсов.
Автоматически обнаруживает устройства без ручной настройки.
Предоставляет API, совместимый с ChatGPT, для запуска моделей.
Использует peer-to-peer архитектуру вместо master-worker.
Доступ к моделям через библиотеку exo с использованием peer handles.
Запускает endpoint на https://localhost:8000.
Поддерживает различные движки вывода и стратегии разделения модели по слоям между устройствами.
В примере на видео кластер из:
- iPhone 15 Pro Max
- iPad Pro M4
- Galaxy S24 Ultra
- MacBook Pro M2 and M3 Pro
- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIM
Старое железо теперь не выкидываем.
#Exo #DIY #AICluster
-------
@tsingular
🔥5
OpenAI представляет GPT-4o mini: компактный и экономичный ИИ
OpenAI анонсировала GPT-4o mini - новую компактную и доступную модель ИИ.
Решение превосходит ведущие малые модели в задачах с текстом и изображениями.
Ключевые преимущества: скорость, экономичность и высокая производительность.
GPT-4o mini на 60% дешевле GPT-3.5 Turbo и заменит ее в линейке OpenAI.
Модель доступна разработчикам и через ChatGPT, поддерживает контекст до 128 000 токенов.
Планируется добавление поддержки видео и аудио в будущем.
Интересная деталь,- 4о мини может генерить до 16К токенов в ответе!
В первую очередь это конкуренция Haiku, на мой взгляд. (в 2 раза дешевле и на 10% "умнее"!)
При этом Anthropic уже анонсировал Haiku 3.5, которая точно будет умнее себя 3.0, но вот будет ли дешевле, - не факт.
И теперь даже интересно как она с 4о мини будет по "уму". В общем, тут прям интрига.
Опять же все эти "лёгкие" модельки, - снижают желание закупать локальное железо.
#OpenAI #GPT4oMini #CompactAI
-------
@tsingular
OpenAI анонсировала GPT-4o mini - новую компактную и доступную модель ИИ.
Решение превосходит ведущие малые модели в задачах с текстом и изображениями.
Ключевые преимущества: скорость, экономичность и высокая производительность.
GPT-4o mini на 60% дешевле GPT-3.5 Turbo и заменит ее в линейке OpenAI.
Модель доступна разработчикам и через ChatGPT, поддерживает контекст до 128 000 токенов.
Планируется добавление поддержки видео и аудио в будущем.
Интересная деталь,- 4о мини может генерить до 16К токенов в ответе!
В первую очередь это конкуренция Haiku, на мой взгляд. (в 2 раза дешевле и на 10% "умнее"!)
При этом Anthropic уже анонсировал Haiku 3.5, которая точно будет умнее себя 3.0, но вот будет ли дешевле, - не факт.
И теперь даже интересно как она с 4о мини будет по "уму". В общем, тут прям интрига.
Опять же все эти "лёгкие" модельки, - снижают желание закупать локальное железо.
#OpenAI #GPT4oMini #CompactAI
-------
@tsingular
❤3
Перевёл бота https://t.iss.one/Cloud_GPT_bot на 4o-mini по умолчанию для бесплатных сообщений.
#GPT #bot
———
@tsingular
#GPT #bot
———
@tsingular
🆒2❤1
Сбой CrowdStrike Falcon парализует Windows-ПК
Обновление CrowdStrike Falcon Sensor вызвало масштабный коллапс Windows систем.
Множество компьютеров получили 'синий экран смерти' и невозможность перезагрузки.
Проблема связана с компонентом csagent.sys и затрагивает критические службы.
Инженеры компании активно работают над устранением неполадок.
Ironically, агент, призванный защищать от угроз, сам стал источником проблемы.
Ждём когда сбой ИИ парализует так же пол-мира. Вероятность 100%, вопрос времени.
—-
UPD: Сейчас на OpenAI 1млн вопросов - ОК GPT, как починить Crowdstrike
Лекарство:
1. Boot Windows in safe mode;
2. Go to the directory C:\Windows\System32\drivers\CrowdStrike
3. Rename the file named “C-000000291*.sys” to any other, for example, “1C-0000002.sys”;
4. Restart your computer.
#CrowdStrike #WindowsCrash #CyberSecurity
-------
@tsingular
Обновление CrowdStrike Falcon Sensor вызвало масштабный коллапс Windows систем.
Множество компьютеров получили 'синий экран смерти' и невозможность перезагрузки.
Проблема связана с компонентом csagent.sys и затрагивает критические службы.
Инженеры компании активно работают над устранением неполадок.
Ironically, агент, призванный защищать от угроз, сам стал источником проблемы.
Ждём когда сбой ИИ парализует так же пол-мира. Вероятность 100%, вопрос времени.
—-
UPD: Сейчас на OpenAI 1млн вопросов - ОК GPT, как починить Crowdstrike
Лекарство:
1. Boot Windows in safe mode;
2. Go to the directory C:\Windows\System32\drivers\CrowdStrike
3. Rename the file named “C-000000291*.sys” to any other, for example, “1C-0000002.sys”;
4. Restart your computer.
#CrowdStrike #WindowsCrash #CyberSecurity
-------
@tsingular
❤🔥3👍2
Mistral AI и NVIDIA запустили NeMo модель на 12B
Компании представили 12B модель с контекстом до 128 000 токенов.
NeMo демонстрирует неплохие результаты в ответах, коде и прочих тестах.
Поддерживает квантизацию FP8 без потери эффективности.
Заточена на мультиязычные приложения с новым токенизатором Tekken.
Доступна по лицензии Apache 2.0 на HuggingFace и как микросервис NVIDIA NIM.
HF: https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 (25GB)
https://huggingface.co/nvidia/Mistral-NeMo-12B-Instruct/
Уже появилась Q5_K_M версия под ollama (https://ollama.com/akuldatta/mistral-nemo-instruct-12b), но хотелось бы полную увидеть.
#Mistral #NVIDIA #NeMo
-------
@tsingular
Компании представили 12B модель с контекстом до 128 000 токенов.
NeMo демонстрирует неплохие результаты в ответах, коде и прочих тестах.
Поддерживает квантизацию FP8 без потери эффективности.
Заточена на мультиязычные приложения с новым токенизатором Tekken.
Доступна по лицензии Apache 2.0 на HuggingFace и как микросервис NVIDIA NIM.
HF: https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 (25GB)
https://huggingface.co/nvidia/Mistral-NeMo-12B-Instruct/
Уже появилась Q5_K_M версия под ollama (https://ollama.com/akuldatta/mistral-nemo-instruct-12b), но хотелось бы полную увидеть.
#Mistral #NVIDIA #NeMo
-------
@tsingular
OpenAI: защита от обхода инструкций в новой модели
OpenAI представила технологию "иерархии инструкций" для GPT-4o Mini.
Метод приоритизирует системные команды над пользовательскими запросами.
Цель - блокировка уловки "игнорировать предыдущие инструкции".
Модель обучена распознавать некорректные запросы.
Это шаг к безопасному запуску автономных ИИ-агентов.
Планируется разработка более сложных механизмов защиты.
Баста, карапузики! Кончилися танцы! 😉
—-
UPD: нет. танцуем дальше:
https://x.com/elder_plinius/status/1814023961535295918
#OpenAI #GPT4oMini #PromptInjection
-------
@tsingular
OpenAI представила технологию "иерархии инструкций" для GPT-4o Mini.
Метод приоритизирует системные команды над пользовательскими запросами.
Цель - блокировка уловки "игнорировать предыдущие инструкции".
Модель обучена распознавать некорректные запросы.
Это шаг к безопасному запуску автономных ИИ-агентов.
Планируется разработка более сложных механизмов защиты.
Баста, карапузики! Кончилися танцы! 😉
—-
UPD: нет. танцуем дальше:
https://x.com/elder_plinius/status/1814023961535295918
#OpenAI #GPT4oMini #PromptInjection
-------
@tsingular
😭1
А как все пропустили тот факт, что у OpenAI вышла новая модель и тут же компьютеры по всему миру поразил сбой?
Эти новости прекрасно смотрятся вместе :)
#humor
—-
@tsingular
Эти новости прекрасно смотрятся вместе :)
#humor
—-
@tsingular
👨💻1