Inside Google’s big AI shuffle — and how it plans to stay competitive, with Google DeepMind CEO Demis Hassabis

Интересное интервью Демиса Хассабиса, CEO Google DeepMind, с Nilay Patel в рамках подкаста Decoder от Verge, которое было дано 3 недели назад в начале июля.

В рамках интервью обсуждались вопросы:
- про объединения Deepmind и Google Brain в одну компанию Google Deepmind, которая внутри Google будет заниматься больше продуктовыми историями, чем абстрактными штуками типа Alpha Go (игра в го) или Alpha Fold, которыми был знаменит Deepmind (вот интересная документалка насчет Alpha Go)
- про причину объединения - гипотеза интервьюера была в том, что OpenAI совершила прорыв с LLM и что Google теперь надо сфокусироваться и ускориться будучи в роли догоняющего
- про причину хайпа около LLM - гипотеза в том, что LLM решают задачи, понятные большинству обывателей и решают их неплохо, а предыдущие вещи от Deepmind слишком сложны для понимания обывателей и понятны только специалистам в узких сферах
- про культурные коллизии между двумя подразделениями (Brain и Deepmind), что стали теперь одним целым
- про подход к решению задач, который использует сам Демис - здесь Демис рассказывает про шахматы, которыми он долго занимается, про визуализацию итогового результата и backcasting от целевого решения назад к текущемуу (аля working backwards от Amazon)
- про микс глубоких новых исследований (условно, что придет на смену LLM) и масштабирования текущих решений (больше параметров, больше примеров для обучения, больше мощности)
- про продукты Google в формате Bard и SGE (Search Generative Experience) - эта история про текущие продуктовые вещи с использованием LLM в Google и опыт их использования
- про знаменитую заметку "Google 'We Have No Moat, And Neither Does OpenAI'" - Демис сказал, что думает, что заметка была реальной, но с выводами в этой заметке он не согласен
- про сроки наступления AGI - оценка Демиса ~ 10 лет
- про дообучение моделей при помощи людей, которые рейтингуют ответы LLM как правильные или нет и так далее
- про риски и регуляцию AI, так как Демис подписал письмо от Center for AI Safety
- про комбинацию моделей аля LLM + специфичные модели для решения задач из предметной области - приблизительно об этом же рассказывал Стивен Вольфрам в книге "What Is ChatGPT Doing ... and Why Does It Work?" (подробнее здесь)
- про исследование "Stochastic Parrots" внутри Google, что привело к замедлению LLM в Google и дальнейшему увольнению авторов после буста ChatGPT от OpenAI
- про то, как не попасть в цикл обучения нейросетей на материале, сгенерированным нейросетями, что может привести к ухудшению моделей - тут предлагается создать специальные watermarks, что встроены в сгенерированные материалы, что позволит их распознать при обучении новых моделей

#AI #ML #Engineering #Software #DataScience #SoftwareDevelopment

Четвертый выпуск Code of Architecture по книге "Kubernetes Patterns (2 edition)"

Сегодня в 18:00 по Москве мы закончим обсуждать книгу про паттерны K8s и сфокусируемся на паттернах безопасности и продвинутых паттернах, которые не подошли ни к одной из предыдущих категорий, описанных в книге.

Например, мы обсудим
— какие есть средства в k8s по ограничению сетевого трафика и доступов;
— как безопасно хранить и использовать конфиденциальные данные в конфигурациях;
— каким образом можно настроить аутентификацию с k8s API;
— как k8s справляется с динамическими нагрузками за счет масштабирования;
— почему имеет смысл создавать образы контейнеров внутри кластера;
— какие еще фичи есть в k8s для того, чтобы гибко настраивать его под свои нужды.

Гость эфира — мой коллега Станислав Сычев, руководитель команды Runtime Platform. Его команда строит крупные K8s-кластеры и продумывают, как в них жить множественным потребителям.

P.S.
Если вам интересны эти выпуски, то подписывайтесь на канал Code of Architecture в Youtube и канал Code of Architecture в telegram.

#Kubernetes #Architecture #Software #SoftwareArchitecture #SystemDesign #DistributedSystems