Devaka Talk

Forwarded from Mike Blazer (Mike Blazer)

Microsoft пытается снизить маржу Google на поисковые запросы, что затруднит для Google дальнейшее убыточное ведение облачного и других конкурентных бизнесов.

Google обрабатывает ~8,5 млрд поисковых запросов в день. Шум вокруг Bing/AI заставит Google выпустить функцию чата с ИИ в рамках поиска. Текущие затраты на умозаключения для LLM значительно выше, чем для поиска - вероятно, в 10 раз или более. Кроме того, модель монетизации чата ИИ неясна, но, скорее всего, она отличается от модели, основанной на рекламе, которую освоил Google.

Поисковый бизнес Google является высокоприбыльным и финансирует другие убыточные направления бизнеса. Исторически сложилось так, что для более агрессивной конкуренции компания работает в облаке в убыток (-$480 млн в 4 квартале 22 финансового года). Снижение маржи поискового бизнеса оказывает давление на все остальные направления деятельности Alphabet... многие из которых конкурируют с Microsoft.

-
По оценкам, отрицательная маржа поискового бизнеса Google составляет 30 миллиардов долларов (по приблизительным оценкам). Bing также нарушает свою операционную рентабельность, добавляя Sydney (как они называли это изначально), но на каждый пункт, который они получают на рынке поиска, приходится 2 миллиарда долларов прибыли от рекламы.

Для окружающей среды это, вероятно, катастрофа беспрецедентного масштаба, кроме того, можно ожидать сильного разрыва между богатыми и бедными странами (бедные не получат передовые функции ИИ, пока они остаются такими дорогими).

-
Google выполняет ~320 000 поисковых запросов в секунду. Сравните это с выручкой поискового сегмента Google, которая в 2022 году составила 162,45 млрд долларов, и вы получите средний доход от одного запроса в 1,61 цента.

Отсюда следует, что Google приходится оплачивать огромное количество накладных расходов, связанных с вычислениями и сетями для поиска, рекламой, просмотром веб-страниц, разработкой моделей, сотрудниками и т. д.

Примечательной статьей в структуре затрат Google является то, что они заплатили около 20 миллиардов долларов за то, чтобы быть поисковой системой по умолчанию на продуктах Apple.

Операционная маржа подразделения Google Services составляет 34,15%. Если мы распределим стоимость проданных товаров / операционные расходы на один запрос, то получим стоимость 1,06 цента на поисковый запрос, приносящий 1,61 цента дохода.

Это означает, что стоимость поискового запроса с LLM (большими языковыми моделями) должна быть значительно меньше, чем <0,5 цента на запрос, иначе поисковый бизнес станет крайне убыточным для Google.

Дилан Патель и Афзал Ахмад построили модель затрат, согласно которой ChatGPT обходится в $694 444 доллара в день на вычислительное оборудование. OpenAI требуется ~3 617 серверов HGX A100 (28 936 GPU) для обслуживания Chat GPT. По их оценкам, стоимость одного запроса составляет 0,36 цента.

Если бы модель ChatGPT была внедрена в существующий поисковый бизнес Google, последствия были бы катастрофическими. Операционный доход сократился бы на 36 миллиардов долларов. Это 36 миллиардов долларов затрат на применение LLM.

https://www.semianalysis.com/p/the-inference-cost-of-search-disruption

-
Факап гугла с презентацией Барда обошелся им в крупную сумму денег, из за спада акций.

Если Google может сжечь 100 миллиардов в день за фактические неточности (наряду с плохой коммуникацией), то сколько мы все можем потерять при неправильном использовании ИИ? Влияние на репутацию и доверие к брендам (как крупным, так и мелким) будет огромным.

@MikeBlazerX

👍28🌭4😱1

3.84K views07:43