Google Bard обновился: теперь он умеет создавать картинки и понимает больше языков

Google Bard представил функцию генерации изображений.

Gemini Pro доступен на 40+ языках и в 230 странах.

Добавлена возможность проверки информации на разных языках.

Генерация изображений основана на модели Imagen 2.

#GoogleBard #GeminiPro #Imagen2

KVQuant: контекстное окно в 10 млн. токенов

KVQuant - новый метод квантования активаций кеша ключевых значений, сокращающий потребление памяти при выводе.

Цель - сохранить точность при уменьшении потребления памяти, позволяя работать с большими моделями на слабом оборудовании.
Например: сервис LLaMA-7B на одном GPU A100-80GB позволяет работать с 1 миллионом токенов, и до 10 миллионов токенов на системе с 8 GPU.

#KVQuant #LLM #CUDA

GenAI на хайпе, но основная работа всё еще лежит на Predictive AI

GenAI становится главным приоритетом для руководителей крупных компаний.
По отчету PwC, 84% руководителей ИТ планируют использовать GenAI для поддержки новых бизнес-моделей в 2024 году.
Технология GenAI имеет трансформационный потенциал, но подходит не для каждого кейса.
Predictive AI остается рабочей лошадкой в бизнесе, занимая около 15% всех применений и моделей.
Ожидается слияние предиктивных и генеративных технологий в будущем.
Уже существуют примеры совместного использования обоих типов ИИ, например, в анализе радиологических изображений.
Разработка и развертывание ИИ должны рассматривать различные типы технологий как единую платформу.
Построение новой инфраструктуры с нуля обычно не требуется, кроме случаев крупномасштабного развертывания GenAI.
Процессы управления, тестирования и оценки рисков схожи для обеих технологий.

Гибриды - наше всё.

#GenAI #PredictiveAI

Reuters: Более трети европейских компаний внедряют ИИ

– Более 30% компаний из ЕС внедрили технологии ИИ за 2023
– По итогам 2022 доля таких компаний составила около 25%
– Прошедший год был переломным моментом для рынка ЕС
– Ускорение внедрения ИИ помогает ЕС достичь свои цели
– Strand Partners провел опрос среди 14 тыс. компаний ЕС
– Из них пытаются использовать генеративный ИИ уже 38%
– Использование ИИ даст экономике доп. выгодны €600 млрд

@ftsec

Это Ангилья, остров в Карибском море, бывшая британская колония, а теперь британская заморская территория.

Существенную часть ВВП Ангильи составляют продажи домена .ai, которые выросли в несколько раз за последние годы.

Возможно, вы тоже приложили к этому руку? Если так, то я просто уверен, что большинство из ~18 000 ангильских граждан с удовольствием готовы ее пожать 🤝

Если еще нет, то у вас есть много шансов помочь простым ангильским фермерам

. Oh, 2024, crazy you.

@ppprompt / inspired by @prompt_design

HuggingFace разрешил создавать чат-ботов по аналогии с GPTs от OpenAI

Для создания можно использовать модели с открытым кодом, например, Llama 2 и Mixtral.

https://huggingface.co/chat/assistants

—
RoundBook — обзор мировых инвестиций в стартапы

Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.

Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]

Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])

И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.

И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.

N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf

Классная новая лекция Саши Раша про историю языковых моделей.

Включает в себя:
- Очень понятный вывод перплексии и её влияния на остальные метрики
- Сравнение с древними n-граммными моделями
- Вывод механизма внимания как аппроксимацию key-value памяти
- Понятные переходы “n-граммная модель -> word2vec -> трансформеры”
- Объяснение важности иерархии памяти в GPU при матричном умножении
- Scaling law Шиншиллы
- RASP, довольно забавный язык программирования, основанный на механизме внимания. Язык этот используется для того, чтобы показать, как трансформеры могут делать те или иные операции.

Что я узнал нового? Только часть про RASP, которую я как-то пропустил года 2 назад.
Но всё равно лекция довольно интересная.

Видео: https://www.youtube.com/watch?v=KCXDr-UOb9A
Презентация: https://link.excalidraw.com/p/readonly/aBWlNjEckdUlrszwwo6V

Gab AI: ИИ без цензуры

Gab AI заявляют, что их миссия - предоставление нецензурированных, открытых моделей, которые помогают самовыражению человека, а не подавляют его.
Модели языка разработаны с учетом законодательной рамки Первой поправки США, гарантирующей свободу выражения мнений и мысли.
В арсенале Gab AI - набор инструментов, предназначенных для совершенствования личной и профессиональной жизни, включая творческое исследование, анализ данных и сложное решение проблем.
Компания стремится поддерживать среду, где идеи могут расцветать без страха перед цензурой.
Габ АИ верит в силу открытого диалога и коллективного интеллекта сообщества, свободного от ограничений на их мысли и высказывания.

А вот и ИИ анархисты подтянулись.
Модель не очень умеет в русский, но на английском - вполне интересна.
Есть большой каталог преднастроенных ИИ-личностей, со скромной глубиной предуобучения, но все- же.
Работает без VPN и оплаты.

#GabAI #свободаслова #ИИ