Microsoft прокачивает Excel с помощью ИИ

Компания представила SpreadsheetLLM - инновационную технологию для улучшения работы с электронными таблицами.

Ключевые особенности:
• Использование LLM для анализа таблиц
• Метод SheetCompressor для эффективного кодирования данных
• 96% сжатие представления таблиц с сохранением ключевой информации
• Работа с несколькими таблицами в одном документе
• Распознавание типов данных по форматированию ячеек!

Технология превосходит существующие методы в задачах обнаружения таблиц и системах вопрос-ответ (синтетические наборы для обучения текстовых моделей по табличным данным), открывая новые возможности для интеллектуальной работы с данными.

Метод может быть полезен не только для Excel, а в принципе и для разработки своих решений. 📊🤖

#Microsoft #Excel #SpreadsheetLLM
—-
@tsingular

Технологические гиганты объединяются для создания безопасного ИИ

Google анонсировала создание Коалиции за безопасный ИИ (CoSAI), объединив ключевых игроков индустрии.
Участники: Google, OpenAI, Microsoft, Amazon, Nvidia, Intel, IBM и другие.
Цели: разработка стандартов безопасности, инструментов оценки и обмен информацией об угрозах.
CoSAI будет функционировать под эгидой OASIS Open, сотрудничая с Frontier Model Forum и Partnership on AI.
Инициатива основана на Secure AI Framework (SAIF) от Google.
Задача: создание эволюционирующих стратегий управления рисками в сфере ИИ.

Безопасный ИИ или ИИ в безопасности от кожаных... Барьер в обе стороны может работать.
Надо еще несколько международных коалиций подобного масштаба и потом пусть воюют договариваются между собой.

#CoSAI #AISecurityStandards #TechCollaboration
-------
@tsingular

Что будет, если использовать MIDI-контроллер и SDXL Turbo? Немного волшебства.

Поиски изображений в латентном пространстве в реальном времени на тулките для интерактивных выставок Lunar Tools

Музыканты, задумайтесь. А может подключить синтезатор?

ПодписывайТЕСТО

Haiper: революция в создании видеоконтента с помощью ИИ

Лондонский стартап Haiper, основанный бывшими сотрудниками Google DeepMind и TikTok, представил мощную ИИ-платформу для креатива.

Ключевые инструменты:
• Text-to-Video: преобразование текста в видео
• Image-to-Video: анимация статичных изображений
• AI Repaint: трансформация существующих видео

Про Haiper.ai еще не было. Интересная перспективная платформа c API и без VPN.
Пока в бете.

#Haiper #видео #VideoAI
-------
@tsingular

Новые бенчи Llama выглядят интересно.
Особенно 3.1 версии на 70b и 8b
С 405b все понятно. Но не у каждого найдётся терабайт видеооперативки.

https://llama.meta.com/

#llama3
------
@tsingular

на ollama появилась mistral-nemo 12B нормальная:
https://ollama.com/library/mistral-nemo:12b

и nuextract - классификатор на базе Phi-3:
https://ollama.com/library/nuextract

и llama 3.1
https://ollama.com/library/llama3.1

#ollama
———
@tsingular

А вот сравнение моделей с конкурентами. У нас теперь есть модель уровня GPT-4o, которую могут скачать простые смертные. Ждём результаты с арены и вайбчеки от обычных юзеров.

@ai_newz

Первые API провайдеры начали предлагать Llama 3.1 405B в своих сервисах. И это теперь самая дешёвая фронтирная модель!

fireworks.ai продаёт токены по цене в $3 за миллион и input и output токенов (у 3.5 Sonnet - $3 input/$15 output, 4o - $5 input/$15 output). При этом цена может упасть ещё больше, по мере того как провайдеры конкурируют друг с другом.

Ждём чтобы context caching и batch API предоставляло больше провайдеров

@ai_newz

ну поехали
ollama run llama3.1:8b-instruct-fp16

#ollama #llama3.1
———
@tsingular

AWS запускает Llama 3.1 на новых чипах Trainium и Inferentia

AWS анонсировала поддержку моделей Llama 3.1 на своих специализированных AI-чипах.
Семейство включает многоязычные модели размером 8B, 70B и 405B с контекстом до 128k токенов.
Llama 3.1 405B - крупнейшая публично доступная открытая LLM.
Доступна в Amazon Bedrock, EC2, SageMaker и Hugging Face.
Для файн-тюнинга предлагается библиотека NeuronX Distributed.
Развертывание возможно с использованием vLLM на Trainium/Inferentia.

Одновременно о поддержке Llama 3.1 объявил и Google:

Google Cloud добавляет семейство моделей Llama 3.1 от Meta в Vertex AI Model Garden.
Пользователи могут дообучать модели на собственных данных.
Платформа обеспечивает автоматическое масштабирование и оплату по мере использования.
Поддерживаются Llama Guard и встроенные меры безопасности Google Cloud.

#AWS #Google #Llama
-------
@tsingular

День за днём новости все жарче!

Kling раскатили на весь мир. Регистрация просто по почте. Ожидаются кратковременные лежащие сервера. Хотя интересно как китайцы подготовились к наплыву.

Бегом тестить на klingai.com

@ai_newz

Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсов. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.

Запустить ламу на домашнем кластере

@ai_newz

Прогресс открытых и проприетарных моделей от Maxime Labonne
обновление для наглядности по итогам запуска Llama 3.1
Тут прям напрашивается туз в рукаве у проприетарщиков в виде 100К видеокарт под жидким охлаждением как у Маска, например.
Иначе в скором времени открытки сравняются, догонят и перегонят, потому, что их будут гонять на распределённых сетях.

#trends #maximlabonne
———
@tsingular

И еще в копилку разбора Llama 3.1 иллюстрация от Daniel Han из unsloth.ai:

1. 15.6T tokens, Tools & Multilingual
2. Llama arch + new RoPE
3. fp16 & static fp8 quant for 405b
4. Dedicated pad token
5. <|python_tag|><|eom_id|> for tools?
6. Roberta to classify good quality data
7. 6 staged 800B tokens long context expansion


1. Новый метод расширения RoPE.
Использует интересный низкий и высокий коэффициент масштабирования и масштабирует вектор inv_freq — его можно вычислить за 1 проход, поэтому нет необходимости в динамических повторных вычислениях. Использовался 6-этапный подход к увеличению количества токенов с 8 000 до 128 000 с использованием токенов 800B.

2. Обучение
От 38% до 43% MFU с использованием bfloat16. Используется конвейерный параллелизм + FSDP. Усреднение модели для этапов RM, SFT и DPO.

3. Смесь данных
50% общие знания
25% математика и рассуждения
17% кодируют данные и задачи
8% многоязычных данных

4. Этапы предварительной обработки
Использует Roberta, DistilRoberta, fasttext для фильтрации данных хорошего качества. Множество средств дедупликации и эвристики для удаления неверных данных.

5. Квантование с fp8
Квантует веса до fp8 и ввод до fp8, затем умножает на коэффициенты масштабирования. fp8 x fp8, тогда выход будет bf16. Быстрее для вывода и меньше использования VRAM.

6. Эксперименты со зрением и речью
Команда Llama 3.1 также обучила адаптеры зрения и речи — правда, не выпущенные, но очень крутые!

#llama #unsloth
———
@tsingular