А вот и оно.

https://youtu.be/3ra-zgi-dIM

Возвращаясь снова к вопросу демократизации и инволюции архитектур моделей.

https://t.iss.one/zheltyi_ai/408

Что же за таинственные 7б и 32б, не qwen ли like?🤔

Ах да. Там ж так и написано.

МТС ИИ катанул тоже топ. ПОШЛА ЖАРА.
Видимо, к AIJ Сбера, МТС и ТБанк хотят драйвануть конкурентов.

Уже баян, но как же смешно...

Upd. Особенно, когда по 200 баксов.

Кому интересно, как такое может быть, за исключением "fit on the test".

Читаем тут про дистилляцию знаний и рассуждений. И тут про Orca , и тоже, как модели ученики учатся на рассуждениях учителя.

Рад, что удалось приложить руку к проекту GigaEmbs. Замеры на ruMTEB ребята обещали докатить,по их замерам скор 67.45👇

UPD. Если есть вопросы по архитектуре, датке и тп пишите в комментариях.

Второй важный нюанс, который не был затронут в публикации и о котором не упомянул ни один блогер на которого я подписан, это модель Giga Embeddings, которая вышла синхронно с LLM'ками.

Если кратко то это эмбеддинговая модель которая позволяет из инструкций извлекать эмбеддинги. Использует класс GigarEmbedModel, там как я понял взят только энкодер из GigaChat (мне в чатике подсказали, что это не совсем так), то есть на вход принимается последовательность токенов созданная токенизатором, а на выходе эмбеддинг, но похоже из-за того что это кастомный эмбеддер сделать из неё GGUF тоже скорее всего не получится (тут тоже казалось, что эта модель очень похожа на nv embed, которая в llama.cpp поддерживается).

Как я понял из карточки модели, надо использовать именно инструкции, так эмбеддинг будет точнее. Полагаю это можно будет задействовать в моём проекте роутера, попробую в общем её тоже.

https://postnauka.org/video/51371 если уж про эмбеддеры говорить, то куда уж без экскурса в историю.

Данные, эволюция и роботы.

Недавно Илья Суцкевер выступил со своим видением настоящего и будущего обучения моделей AI.

1. Приятно,что вспомнили про то,что Москва датка не резиновая(а Дядя писал об этом аж в мае 2023). Даже интернет конечен, а синтой сыт не будешь. Это дает новые вызовы L0 этапам предобучения и возможно более не будет новых претрейнов. Да можно иметь вариации архитектуры, токенизации и пр.
В остальном мы будем различны только в своих данных, полученных или синтетически или проприетарных. Однако даже синта будет получена с помощью моделек имеющих общие претрейн сеты.

2. Агенты, агенты, агенты. Илья утверждает,что в скором будущем они будут везде. А также, в отличии от текущего "шаблонного" мышления моделей ИИ, они действительно будут хорошо рассуждать. Пока, по словам Суцкевера, модели в бОльшей степени опираются на шаблоны задач решение которых они видели в предобучении или тюне. Вместе с тем,чем лучше модели смогут рассуждать самостоятельно,тем менее предсказуемы они станут для нас. В пример приводятся стратегии которые находит ИИ играя в шахматы или Го против чемпионов-людей. Да, это все еще, может быть, местами метод грубой силы, а не четких рассуждений (быстрый поиск стратегий в глубину и ширину), но это уже будоражит. При этом, четких рецептов, как это произойдет, Илья не дал.

3. Эволюция и эволюционное развитие. Также, были затронуты темы эволюции интеллекта у животных в тч в сравнении с предками человека. Была представлена взаимосвязь массы тела и мозга для особей разных биологических видов. Утверждается,что именно в этом может лежать секрет масштабирования систем ИИ. Подобно тому,как у гоминидов (предки людей) зависимость массы тела и мозга отличны от других млекопитающих в логарифмической шкале.

Но Дядя бы еще затронул один момент с эволюционным развитием. А именно, применение и к агентным системам и к улучшению архитектур методов из природы. Вспомним генетический алгоритм. Он уже стал давно рабочей лошадкой в задачах дискретной оптимизации. Также, его сейчас стали применять для создания улучшенных архитектур моделей. Например, делаю над весами моделей и их структурой мутацию и скрещивание - порождают новые модели, потенциально улучшенные к функции цели. Выше я привел кейс команды sakana.ai, по генетическому/эволюционному мерджингу моделей. Но подобным образом мы можем менять не только архитектуру и веса модели,но и переписывать код. Представьте себе ИИ, который сам "рассуждает", как говорил Илья, и эволюционно может мутировать свои веса и программное обеспечение в месте с кодовой базой для улучшения своих способностей к обучению и инференсу.
А причем тут агенты? Сами методы инспирированные природой являются роевыми, т.е. в т.ч. легко ложатся на систему агентов. Алгоритмы колоний пчел,муравьев,рыб и т.п. уже давно используются для навигации и управления группой роботов. Но ранее эти алгоритмы прописывались вручную, с умением ИИ моделей рассуждать, они сами могут придумывать алгоритмы коллективного рассуждения и поведения,чтобы действовать эффективно сообща.
Вот где Саре Коннор становится страшно.

На этом воскресные мысли Дяди всё. В интересное время живем.

Внимание.

Стратегия работы без pad tokens

Метрики из коробки

Тайны Марлизонского двора, разборки с дата-канальями от CDS Д'артаньяна одной из компаний нашего рынка. Канал моего старого друга о хаках в нашей индустрии, неприкрытые фейлы и интересные заметки про разные ML кейсы.

Заходите, читайте.👇