Технозаметки Малышева
9.32K subscribers
4.02K photos
1.47K videos
41 files
4.16K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Гонка гигантов: миллионы GPU для суперкомпьютеров к 2027

Broadcom раскрывает амбициозные планы: три клиента готовятся развернуть суперкластеры с миллионом XPU каждый.
Среди заказчиков - xAI Илона Маска, планирующая расширить Colossus со 100 тысяч до миллиона графических процессоров.
По слухам, ByteDance и OpenAI также сотрудничают с производителем для создания специализированных чипов.
Прогнозируемый объём рынка AI XPU и сетевого оборудования к 2027 достигнет $60-90 млрд.
Разработка включает проектирование архитектуры и производство на мощностях TSMC.

Миллион.. миллион.. миллион... GPU
xAI, OpenAI и ТикТок
еще Google миллион своих и Китай пару полей покройт GPU фермами, допустим.
10 миллионов GPU глобально к 2027.
Должно хватить, что бы посчитать сколько r в strawberry наконец-то.

#Broadcom #xAI #ByteDance #million #GPU
-------
@tsingular
👍7😁3🗿1
Бенчмарк o1 pro - золотой стандарт

Итак, настало время протестировать o1 pro.

Но сначала disclaimer. Есть 4 разные версии o1. Не путайте их!

- o1-mini - самая маленькая и недорогая из Reasoning моделей. Она есть в ChatGPT и по API
- o1-preview - мощная версия, которая раньше была доступна в ChatGPT интерфейсе. Теперь ее оттуда убрали и заменили на pro. По API она еще доступна
- o1 - это то, что теперь заменяет o1-preview в чат интерфейсе. У этой модели ограничено время на размышления, так что она заметно глупее preview. По API эта модель не доступна.
- o1 pro - самая мощная модель, которой разрешили думать много и долго. Она есть в чат интерфейсе по Pro подписке за $200. По API ее пока нет.

Этот пост - исключительно про o1 pro. Модель я в порядке исключения тестировал вручную.

Я взял результаты бенчмарка o1-mini, и выбрал те задачи, в которых она ошибалась. o1 pro на голову выше mini, поэтому я допустил, что если mini не ошиблась, то и pro не ошибется. Таким образом мне нужно было прогнать не пару сотен задач, а в десять раз меньше.

Еще я отключил custom instructions по своевременному совету Игоря. Память у меня и так была отключена. Сконвертировал запросы к API в текстовый запрос и запустил вречную.

Тут я столкнулся с двумя граблями.

Во-первых, o1 pro сейчас встроена в Chat. Поэтому задачки, которые по API возвращали нормальный plain-text YAML, теперь стали возвращать красиво отформатированный markdown. Тут я исправлял формат вручную.

Во-вторых, я при задачах в API я few-shots всегда форматировал так:


System: Task explanation

User: sample request
Assistant: sample response

User: sample request
Assistant: sample response

User: real request


Но с чатом такое не прокатит, нужно формировать все в один текст. Более того, системный промпт нам не доступен в o1 моделях в принципе, чтобы случайно не утекло содержимое reasoning (ибо оно генерируется моделями без alignment). И вообще модель накручена защищать системный промпт и работать с пользователем в диалоге.

В итоге, o1 pro понижала приоритет инструкций, которые были помечены как System и начинала искать паттерны в запросах пользователя. Она их находила и приходила к неверным выводам, спотыкаясь на integrate. Поэтому задачу в текстовый UI я стал форматировать так:


# Task
Task explanation

## Example
User:
Assistant:

## Example
User:
Assistant:

# Request


Ну а что в итоге?

o1 pro подобралась вплотную к потолку моего продуктового бенчмарка, набрав 97. Причем нехватающие 3 балла можно даже было бы оспорить. В рамках бенчмарка она как золотой стандарт - дорога и идеальна.

Это очень хорошо. В разработке второй версии бенчмарка я смогу отталкиваться от этого потолка и формулировать задачи так, чтобы на самых сложных засыпалась даже o1 pro. Это позволит выстроить более плавную кривую оценок и сделать бенчмарк более репрезентативным для сложных кейсов LLM в бизнесе и продуктах.

Ваш, @llm_under_hood 🤗

PS: Для тех, кто видит бенчмарки впервые, подробнее про них написано тут.
👍10
Forwarded from Нецифровая экономика (Илья Склюев)
🤖 Сбер выложил под лицензией MIT весь код и веса моделей GigaChat Lite и GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.

Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.

✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.

Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12
Media is too big
VIEW IN TELEGRAM
📼 Видеогенератор Pika научился соединять несколько изображений в одно видео.

В Pika 2.0 появилась функция Scene Ingredients, благодаря которой можно:

⚫️Загрузить до 6 изображений;
⚫️Добавить к ним текстовую подсказку;
⚫️Объединить всё это в одну сцену.

Усовершенствованная система распознавания изображений определит роль каждого элемента и логично их скомбинирует.

👀Доступно только платным подписчикам.

🎞YouTube | 😔Канал | 😡VK | 😏Instagram
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Китайские учёные создали лазерных дронов разрезающих металл в полёте

Команда под руководством "Сумасшедшего Ли" ( Crazy li ) разработала революционную технологию для беспилотников.

Дроны не генерируют луч, а получают его с земли через систему телескопических зеркал с сервоприводами.

Мощность излучения до 30 кВт способна прожигать металл и выводить из строя военную технику.

Основная проблема, над которой сейчас работают, - стабилизация луча при вибрациях во время полёта.

Несколько аппаратов могут работать синхронно, огибая препятствия и атакуя цели в уязвимых точках.

Дроны с лазерами под управлением ИИ для стабилизации. Очень нужно, очень хочется! 🤖

#CrazyLi #drones #laser #Китай
-------
@tsingular
🔥9👍21🕊1
Forwarded from Denis Sexy IT 🤖
Я решил, что продолжу отдавать OpenAI $200 в месяц (пока не вышли конкуренты у Google / Anthropic) — потому, что o1 Pro фантастический компаньон в жизни/работе

— Наверное, стоит сказать пару слов, что LLM-бенчмарки часто критикуют за их неспособность объективно оценить качество модели — и с Pro O1 такая же ситуация:
Я видел результаты, где какая-то новая модель, якобы, пишет код также и даже лучше, чем Sonnet 3.6 — а по факту, альтернатива может и хорошо пишет код, но не способна в то, что Anthropic делает лучше всего — Sonnet эстетически лучше, чем конкуренты, не только в коде, но и в дизайне, в UX, в чувстве прекрасного у решений которые он предлагает

— Такая же ситуация с o1 Pro — очень сложно выразить в числах, почему эта модель хорошая; я уже писал выше, что мне нравится o1 Pro потому что она для узких специалистов (место для дилятор-шутки), но я чуть дополню свой тогдашний отзыв — o1 Pro модель ответам которой можно доверять и это полностью меняет мой подход к работе с LLM. Если раньше, за ответами Sonnet / Gemeni / 4o — мне приходилось ходить и пруфчекать факты, пытаясь понять придумала она их или нет, то внутренние рассуждения o1 Pro практически полностью лечат модель от галлюцинаций (в разумных пределах, время на циферблате она все еще распознает). То есть: я готов платить за гарантии того, что модель с очень высокой вероятностью не ошибется в ответе, потому что если она не уверена — она откажется давать ответ в целом и мне кажется это самой ценной фичей этих моделей

— o1 Pro сложнее поддается инструкциям — и не потому, что она им плохо следует, а наоборот, потому что она слишком хорошо им следует и любая ошибка в инструкциях может привести к неправильным результатам (например, если приложить непродуманный пример решения задачи, в таком же формате все и придет и тп)

— Самое клевое: помните я с вами делился кастомными инструкциями для ChatGPT которые доказательно улучшали качество ответов gpt4o на 7%? Так вот, во-первых — я их выложил на GitHub, можно подписаться и получить уведомление когда будет новая версия; во-вторых — o1 Pro полностью раскрывается с такой инструкцией: модель, перед тем как начать цепочку внутренних рассуждений, сначала назначает себе профессиональную роль и уже потом, от имени этой роли «думает» и пишет промежуточные ответы. Я попробовал пару дней пожить без инструкций этих и не смог — o1 модели по настоящему раскрываются с такой инструкцией, потому что вешают на себя роли каких-то выдающихся специалистов в области

— Я перевел в o1 Pro вообще все, что делаю или потребляю: она пишет для меня вики-лайк статьи (они совпадают с реальными в фактах, я проверял), книги-истории, помогает в учебе, бизнесе и творчестве, и сейчас мой день больше всего напоминает какой-то SciFi фильм 60х, где коммуникатор героя решает для него все вопросы и задачи. У меня однажды уже было похожее чувство — когда мне было 12 лет и я попал в интернет по карточкам, и ощутил что теперь можно узнать что угодно и не мог выбрать с чего начать, куда пойти, потому что интернет уже тогда был большим, и все было интересным

Я понимаю, что $200 заградительная цена для многих — и не призываю вас тратить на нее деньги; я просто рассказываю свою мотивацию, почему я продолжу платить — потому что люди часто спрашивают в личке

Если вы хотите похожие на o1 модели дома, вы можете рассмотреть эти: QwQ 32B, Phi 14B и Deepthought 8b, но все они будут всегда ограничены знаниями которые поместились в их размеры, ну и не забывайте их просить решать задачи шаг-за-шагом и проверять свои ответы по пути

tl;dr Денис поехавший — отдает ClosedAI 200 баксов в месяц
4👍4
Завтра тут.
если вдруг кто-то хотел пересечься

#gigachat #сбер
———
@tsingular
👍6
Текущий статус близости к AGI

https://lifearchitect.ai/agi/

#AGI #Alan
———
@tsingular
🤔62👍1🍓1
Media is too big
VIEW IN TELEGRAM
Тем временем Китай тренирует армию роботов-рабочих.
https://www.agibot.com/

https://t.iss.one/klubniy_servis/25224

ну вот куда им ещё-то ? :)

#роботы #Китай
———
@tsingular
👍5
Forwarded from эйай ньюз
В ChatGPT улучшили поиск

Парад трансляций продолжается, 8 позади, 4 осталось.

🔎 Теперь поиск доступен бесплатным пользователям

🔎 В Advanced Voice Mode теперь есть поиск

🔎 Качество поиска в целом апгрейднули

Стоит ли дальше писать про такие минорные апдейты, или только про что-то важное?

@ai_newz
👍9
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Google Veo 2

Вы будете смеяться, но у нас новый видео-генератор.

Ну то есть генератор старый, версия новая.

Заявленные фичи:

Generates 4K resolution clips.
Understands camera controls like wide shots & angles.
Recreates real-world physics & emotions.

Дальше идет жоский маркетинг:

Create cinematic-quality videos without a camera.
Perfect for filmmakers, creators, & brands.
Human raters prefer Veo 2 over top competitors.

Последнее меня просто обескураживает.

"Говорят, что наш генератор лучше!"

Тетенька с микроскопом выглядит действительно здорово. А вот фигуристка, конечно, оборотень.

Картинка довольно сочная, как у Соры, но меня не оставляет ощущение, что это апскейл.

VideoFX isn't available in your country yet. Пойду расчехлять впн.

Кто-то уже попробовал?

Ну и зная пугливость и диверситикацию Гугла, остается только гадать о размерах цензуры.

https://deepmind.google/technologies/veo/veo-2/

@cgevent
🔥5
Корпоративные ИИ-услуги OpenAI подорожают до $2000 в месяц

Финансовый директор OpenAI Сара Фриар анонсировала радикальное изменение тарифной политики компании.
Стоимость бизнес-подписки увеличится в 10 раз - до $2000 ежемесячно.
Новая ценовая стратегия базируется на реальной ценности продукта для корпоративного сектора.
Функционал расширится: автоматизация сложных процессов, бронирование, исследования, замена параюристов.
Базовые тарифы останутся прежними: $20 для частных лиц, $200 за доступ к передовым моделям.

Идея в том, что стоимость месячной подписки должна быть эквивалентом найма человека с образованием уровня доктора наук.

Похоже, эра дешёвого ИИ подходит к концу. Готовьте кошельки, господа бизнесмены! 💰

#OpenAI #enterprise #pricing
-------
@tsingular
🤨5
Очень сложно оторваться от Pika2.
Практически невозможно.
Нейрорендер это тяжёлый наркотик.

Когда миры создаются из картинок, которые ты кидаешь как в миксер, это непередаваемое ощущение.

Когда это будет чуть более качественно и быстро доступно на локальных машинах, - нас ждёт переосмысление реальности.

Можно будет переснимать любые фильмы с любыми героями.

Создавать фильмы по книгам, как по промптам.

#pika2 #нейрорендер
———
@tsingular
1👍18🔥4💯1