Сохраним:)

#humor
------
@tsingular

Домашний AI-кластер из любого барахла

Exo - интересная разработка для автоматического создания AI-кластера из повседневных устройств.
Объединяет iPhone, iPad, Android, Mac, Linux в единый мощный GPU кластер.
Поддерживает LLaMA и другие популярные модели.
Оптимально распределяет задачи на основе топологии сети и ресурсов.
Автоматически обнаруживает устройства без ручной настройки.
Предоставляет API, совместимый с ChatGPT, для запуска моделей.
Использует peer-to-peer архитектуру вместо master-worker.
Доступ к моделям через библиотеку exo с использованием peer handles.
Запускает endpoint на https://localhost:8000.

Поддерживает различные движки вывода и стратегии разделения модели по слоям между устройствами.

В примере на видео кластер из:
- iPhone 15 Pro Max
- iPad Pro M4
- Galaxy S24 Ultra
- MacBook Pro M2 and M3 Pro
- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIM

Старое железо теперь не выкидываем.

#Exo #DIY #AICluster
-------
@tsingular

OpenAI представляет GPT-4o mini: компактный и экономичный ИИ

OpenAI анонсировала GPT-4o mini - новую компактную и доступную модель ИИ.
Решение превосходит ведущие малые модели в задачах с текстом и изображениями.
Ключевые преимущества: скорость, экономичность и высокая производительность.
GPT-4o mini на 60% дешевле GPT-3.5 Turbo и заменит ее в линейке OpenAI.
Модель доступна разработчикам и через ChatGPT, поддерживает контекст до 128 000 токенов.
Планируется добавление поддержки видео и аудио в будущем.

Интересная деталь,- 4о мини может генерить до 16К токенов в ответе!

В первую очередь это конкуренция Haiku, на мой взгляд. (в 2 раза дешевле и на 10% "умнее"!)

При этом Anthropic уже анонсировал Haiku 3.5, которая точно будет умнее себя 3.0, но вот будет ли дешевле, - не факт.
И теперь даже интересно как она с 4о мини будет по "уму". В общем, тут прям интрига.

Опять же все эти "лёгкие" модельки, - снижают желание закупать локальное железо.

#OpenAI #GPT4oMini #CompactAI
-------
@tsingular

Перевёл бота https://t.iss.one/Cloud_GPT_bot на 4o-mini по умолчанию для бесплатных сообщений.

#GPT #bot
———
@tsingular

Сбой CrowdStrike Falcon парализует Windows-ПК

Обновление CrowdStrike Falcon Sensor вызвало масштабный коллапс Windows систем.

Множество компьютеров получили 'синий экран смерти' и невозможность перезагрузки.

Проблема связана с компонентом csagent.sys и затрагивает критические службы.

Инженеры компании активно работают над устранением неполадок.

Ironically, агент, призванный защищать от угроз, сам стал источником проблемы.

Ждём когда сбой ИИ парализует так же пол-мира. Вероятность 100%, вопрос времени.

—-
UPD: Сейчас на OpenAI 1млн вопросов - ОК GPT, как починить Crowdstrike

Лекарство:
1. Boot Windows in safe mode;
2. Go to the directory C:\Windows\System32\drivers\CrowdStrike
3. Rename the file named “C-000000291*.sys” to any other, for example, “1C-0000002.sys”;
4. Restart your computer.

#CrowdStrike #WindowsCrash #CyberSecurity
-------
@tsingular

Офис Crowdstrike сегодня :)

https://www.youtube.com/watch?v=vvDK8tMyCic

#CrowdStrikeFriday
———
@tsingular

Mistral AI и NVIDIA запустили NeMo модель на 12B

Компании представили 12B модель с контекстом до 128 000 токенов.
NeMo демонстрирует неплохие результаты в ответах, коде и прочих тестах.

Поддерживает квантизацию FP8 без потери эффективности.

Заточена на мультиязычные приложения с новым токенизатором Tekken.

Доступна по лицензии Apache 2.0 на HuggingFace и как микросервис NVIDIA NIM.

HF: https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 (25GB)
https://huggingface.co/nvidia/Mistral-NeMo-12B-Instruct/

Уже появилась Q5_K_M версия под ollama (https://ollama.com/akuldatta/mistral-nemo-instruct-12b), но хотелось бы полную увидеть.

#Mistral #NVIDIA #NeMo
-------
@tsingular

OpenAI: защита от обхода инструкций в новой модели

OpenAI представила технологию "иерархии инструкций" для GPT-4o Mini.
Метод приоритизирует системные команды над пользовательскими запросами.
Цель - блокировка уловки "игнорировать предыдущие инструкции".
Модель обучена распознавать некорректные запросы.
Это шаг к безопасному запуску автономных ИИ-агентов.
Планируется разработка более сложных механизмов защиты.

Баста, карапузики! Кончилися танцы! 😉
—-
UPD: нет. танцуем дальше:
https://x.com/elder_plinius/status/1814023961535295918

#OpenAI #GPT4oMini #PromptInjection
-------
@tsingular

А как все пропустили тот факт, что у OpenAI вышла новая модель и тут же компьютеры по всему миру поразил сбой?

Эти новости прекрасно смотрятся вместе :)

#humor
—-
@tsingular

Microsoft прокачивает Excel с помощью ИИ

Компания представила SpreadsheetLLM - инновационную технологию для улучшения работы с электронными таблицами.

Ключевые особенности:
• Использование LLM для анализа таблиц
• Метод SheetCompressor для эффективного кодирования данных
• 96% сжатие представления таблиц с сохранением ключевой информации
• Работа с несколькими таблицами в одном документе
• Распознавание типов данных по форматированию ячеек!

Технология превосходит существующие методы в задачах обнаружения таблиц и системах вопрос-ответ (синтетические наборы для обучения текстовых моделей по табличным данным), открывая новые возможности для интеллектуальной работы с данными.

Метод может быть полезен не только для Excel, а в принципе и для разработки своих решений. 📊🤖

#Microsoft #Excel #SpreadsheetLLM
—-
@tsingular

Технологические гиганты объединяются для создания безопасного ИИ

Google анонсировала создание Коалиции за безопасный ИИ (CoSAI), объединив ключевых игроков индустрии.
Участники: Google, OpenAI, Microsoft, Amazon, Nvidia, Intel, IBM и другие.
Цели: разработка стандартов безопасности, инструментов оценки и обмен информацией об угрозах.
CoSAI будет функционировать под эгидой OASIS Open, сотрудничая с Frontier Model Forum и Partnership on AI.
Инициатива основана на Secure AI Framework (SAIF) от Google.
Задача: создание эволюционирующих стратегий управления рисками в сфере ИИ.

Безопасный ИИ или ИИ в безопасности от кожаных... Барьер в обе стороны может работать.
Надо еще несколько международных коалиций подобного масштаба и потом пусть воюют договариваются между собой.

#CoSAI #AISecurityStandards #TechCollaboration
-------
@tsingular

Что будет, если использовать MIDI-контроллер и SDXL Turbo? Немного волшебства.

Поиски изображений в латентном пространстве в реальном времени на тулките для интерактивных выставок Lunar Tools

Музыканты, задумайтесь. А может подключить синтезатор?

ПодписывайТЕСТО

Haiper: революция в создании видеоконтента с помощью ИИ

Лондонский стартап Haiper, основанный бывшими сотрудниками Google DeepMind и TikTok, представил мощную ИИ-платформу для креатива.

Ключевые инструменты:
• Text-to-Video: преобразование текста в видео
• Image-to-Video: анимация статичных изображений
• AI Repaint: трансформация существующих видео

Про Haiper.ai еще не было. Интересная перспективная платформа c API и без VPN.
Пока в бете.

#Haiper #видео #VideoAI
-------
@tsingular

Новые бенчи Llama выглядят интересно.
Особенно 3.1 версии на 70b и 8b
С 405b все понятно. Но не у каждого найдётся терабайт видеооперативки.

https://llama.meta.com/

#llama3
------
@tsingular

на ollama появилась mistral-nemo 12B нормальная:
https://ollama.com/library/mistral-nemo:12b

и nuextract - классификатор на базе Phi-3:
https://ollama.com/library/nuextract

и llama 3.1
https://ollama.com/library/llama3.1

#ollama
———
@tsingular