🌟 Код чат-бота Grok от выложат в open-source

Илон Маск пообещал, что ИИ-стартап xAI откроет исходный код чат-бота Grok на этой неделе.

Маск сделал это заявление через несколько суток после того, как подал в суд на OpenAI и пожаловался, что поддерживаемый Microsoft стартап отклонился от своих корней и не выложил в открытом доступе исходный код ChatGPT.

🔘Немного предыстории: в июле прошлого года Маск объявил о начале работы xAI. Главная цель проекта — «понять истинную природу Вселенной». Одним из продуктов xAI как раз является Grok.
4 ноября 2023 года xAI запустила своего чат-бота Grok с генеративным искусственным интеллектом для ограниченной аудитории. В компании планировали сделать языковую модель xAI доступной для всех платных подписчиков соцсети X.

@ai_machinelearning_big_data

🔥 Код отладчика Transformer Debugger для работы с моделями от OpenAI опубликован на GitHub

OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.

Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенами и почему выводит их в качестве ответа на запрос.

Выпуск включает в себя следующие компоненты:
⏩Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.
⏩Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.
⏩Models — простая библиотека выводов для моделей GPT-2.
⏩Примеры наборов данных для нейронов MLP и фокусов внимания.

🖥 Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.

@ai_machinelearning_big_data

🔥 Генеративные нейросети Яндекса попали в первый международный рейтинг Global Generative AI Landscape 2024 от AIPort

В списке самых перспективных ИИ-разработок оказались текстовая YandexGPT и мультимодальная YandexART 🎉

Рейтинг охватил все ключевые категории генеративных нейросетей: текстовые, картиночные, видео, аудио, мультимодальные, чат-боты, игровые и другие. Его опубликовало сообщество дата-сайентистов, ML-экспертов и энтузиастов в сфере ИИ.

Помимо этого, Яндекс стал одной из 11 компаний со всего мира, разрабатывающих более одного типа GenAI-моделей наряду со Open AI, Microsoft и Google.

@ai_machinelearning_big_data

❓Возможно, совсем скоро мы увидим GPT-4.5 Turbo от OpenAI❓

⏩ Согласно новым данным из «утечки» от OpenAI, одним из существенных обновлений в GPT-4.5 Turbo является окно длины контекста в 256k токенов, что вдвое превышает текущие 128k GPT-4 Turbo. Этот шаг, похоже, является ответом OpenAI на конкурентов, запускающих модели со все более большими контекстными окнами, включая Google Gemini. Вероятно, что новая модель GPT изменит ситуацию для OpenAI или даже продвинет её впереди чат-бота Google.

OpenAI пока официально не раскрыла информацию об утечке, поэтому статус GPT-4.5 Turbo и дата выпуска в июне 2024 года окутаны тайной.

⏩Немного предыстории
12 марта 2024 года исследователи обнаружили в кэше Bing, что OpenAI готовится представить нейросеть GPT-4.5 Turbo. Но ссылка на эту страницу на сайте OpenAI выдаёт ошибку 404. Также из поисковой выдачи пропало упоминание о новом чат-боте.

⏩Ожидается, что с помощью чат‑бота GPT-4.5 OpenAI стремится устранить некоторые ограничения и проблемы, с которыми столкнулись его предшественники. Это включает в себя уменьшение предвзятости в сгенерированном тексте, улучшение понимания моделью неоднозначных запросов и значительное улучшение её способности решать задачи, специфичные для определённой предметной области.

@ai_machinelearning_big_data

🔥 Российский AI GigaChat занял 4-е место среди самых передовых моделей искусственного интеллекта, обогнав GPT-3.5 и гугловский Gemini по результатам бенчмарка AI Benchmarking Guide 2024. Также GigaChat показал лучшие результаты по запросам на русском языке.

Исследование проводилось методом side-by-side. Для определения потенциала модели эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке и наивысшую оценку реакции модели на любом другом языке. Кроме того проводились слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.

@ai_machinelearning_big_data

🖥 pyvene: A Library for Understanding and Improving PyTorch Models via Interventions

Стэнфордская библиотека NLP для понимания и улучшения моделей на основе PyTorch.

Воздействие на внутренние состояния модели являются важной операцией во многих областях работы с ИИ, включая редактирование модели, управление, ее надежность и интерпретируемость.

Для облегчения таких задач исследователи Стэнфорда создали библиотеку Python с открытым исходным кодом, которая поддерживает сложные схемы взаимодействия с моделями в интуитивно понятном формате.

pip install pyvene

Например, вы можете использовать любую модель hf:

import torch
import pyvene as pv
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "meta-llama/Llama-2-7b-hf" # your HF model name.
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

def zeroout_intervention_fn(b, s): 
    b[:,3] = 0. # 3rd position
    return b

pv_model = pv.IntervenableModel({
    "component": "model.layers[15].mlp.output", # string access
    "intervention": zeroout_intervention_fn}, model=model)

# run the intervened forward pass
orig_outputs, intervened_outputs = pv_model(
    tokenizer("The capital of Spain is", return_tensors="pt").to('cuda'),
    output_original_output=True
)
print(intervened_outputs.logits - orig_outputs.logits)

Вернет:

tensor([[[ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.4375,  1.0625,  0.3750,  ..., -0.1562,  0.4844,  0.2969],
         [ 0.0938,  0.1250,  0.1875,  ...,  0.2031,  0.0625,  0.2188],
         [ 0.0000, -0.0625, -0.0312,  ...,  0.0000,  0.0000, -0.0156]]],
       device='cuda:0')

▪Github
▪Paper
▪Colab

@ai_machinelearning_big_data

Могут ли нейросети понимать человеческие эмоции?

Да, могут!

В Yandex Cloud разработали нейросеть-эмпата на базе технологии распознавания речи Yandex SpeechKit, которая поможет бизнесу понимать эмоции клиентов по голосу. Новая ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику.

Расшифровка и анализ эмоций происходят сразу во время разговора. Это позволит лучше адаптировать коммуникации компании под каждого клиента и оперативно реагировать на инциденты в диалоге, если что-то пошло не так.

Вскоре нейросеть-эмпат будет работать в связке с YandexGPT в сервисе речевой аналитики SpeechSense — после этого она сможет понимать неуверенность, сарказм и другие сложные эмоции.

➡️ Узнайте обо всех возможностях нейросети по ссылке

@ai_machinelearning_big_data

📌Microsoft рассказала, какие у Google преимущества в сфере генеративного ИИ

Microsoft заявила, что доступ к огромным объёмам данных и наличие оптимизированных под искусственный интеллект чипов дают Google преимущество в сфере генеративных нейросетей. Таким образом софтверный гигант попытался подчеркнуть наличие конкуренции в сегменте генеративных нейросетей. В январе этого года Еврокомиссия, основной отраслевой регулятор Евросоюза, начала проверку с целью выявления нарушений антимонопольного законодательства в этой сфере.

Сегмент генеративных нейросетей развивается быстрыми темпами. Появление чат-ботов на основе искусственного интеллекта, таких как ChatGPT от OpenAI и Gemini от Google, вызывает опасения по поводу того, что подобные технологии могут использоваться для создания фейковых новостей и распространения дезинформации. На этом фоне Еврокомиссия начала изучать сегмент, чтобы убедиться в том, что все игроки находятся в одинаковых условиях.

«Сегодня только одна компания — Google — вертикально интегрирована таким образом, что обеспечивает ей силу и независимость на всех уровнях ИИ — от чипов до процветающего магазина мобильных приложений. Все остальные вынуждены полагаться на партнёрские отношения, чтобы внедрять инновации и конкурировать», — говорится в докладе Microsoft, который был направлен в Еврокомиссию.

В Microsoft считают, что способность Google самообеспечивать себя оптимизированными под ИИ чипами даст ей конкурентные преимущества на ближайшие несколько лет. В это же время огромные массивы данных из поискового индекса Google и YouTube позволят компании обучать свою языковую модель Gemini. «YouTube предоставляет беспрецедентный набор видеоконтента: на платформе размещено около 14 млрд видеороликов. У Google есть доступ к этому контенту, а у других разработчиков в сфере ИИ — нет», — заявила Microsoft.

📎 Читать подробнее

@ai_machinelearning_big_data