Пару недель назад в мобильном приложении ChatGPT появилась возможность говорить с ним голосом, и это… очень круто! Нет, реально, реализация для первой попытки прям супер. Я еще не слышал такого суперского сгенерированного голоса - интонация, эмоции, живость разговора - все присутствует. Погружению способствует еще то, что приложение тебя слушает всегда в этом режиме (а-ля звонок), поэтому получается довольно естественный и живой диалог. Но без минусов не обошлось, конечно.

🥲 Иногда ты задаешь вопрос, ты еще не закончил, а бот считает почему-то, что закончил. Естественно, фраза получается не полная и ты ждешь, пока бот прекратит отвечать на прошлый вопрос.

🥲🥲 Я использую его в качестве «справочника» по немецкому: сижу с учебником, делаю задания. Если что-то непонятно - спрашиваю правила и переводы слов. Естественно, английские слова он отлично понимает, а вот немецкие… то ли у меня плохой акцент прямо, то ли он просто не очень умный - процент распознания немецких слов с первого раза - 20-30%, что немного удручает.

🥲🥲🥲🥲 Ограничение в 30 вызовов гпт-4 - просто мрак. Я успеваю поговорить с ним только минут 20-30, хотя обычно занимаюсь 1,5-2 часа, ну то есть сами понимаете. Если посчитать, сколько из этого времени я перезадаю вопрос, чтобы он понял немецкое слово, то выходит совсем печально… за что я плачу??

Но это все поправиться - я уверен, пока можете просто потестировать, как плавно уже можно общаться с ботами для выполнения своих задач.

P.S. Если будете говорить с ним на русском, то у него очень смешной Американский акцент

Сейчас читаю книгу «думай медленно… решай быстро». Один из первых параграфов предлагает нам цитату о предвзятости нашей интуиции, которая игнорирует статистику.

Некто описывает своего соседа: «Стив очень застенчив и нелюдим, всегда готов помочь, но мало интересуется окружающими и действительностью. Он тихий и аккуратный, любит порядок и систематичность и очень внимателен к деталям». Кем вероятнее работает Стив: фермером или библиотекарем? Все немедленно отмечают сходство Стива с типичным библиотекарем, но почти всегда игнорируют не менее важные статистические соображения. Вспомнилось ли вам, что на каждого мужчину-библиотекаря в США приходится более 20 фермеров? Фермеров настолько больше, что «тихие и аккуратные» почти наверняка окажутся за рулем трактора, а не за библиотекарским столом. И все же мы обнаружили, что участники наших экспериментов игнорировали статистические факты и полагались исключительно на сходство

Проблема предвзятости сейчас в целом актуальна в AI: чтобы все алгоритмы судили по навыкам и реальной истории, нежели косвенных фактах, типа возраста или Пола.

Большие языковые модели построены на данных, которые мы генерируем. У них определенно есть предвзятости, которые они унаследовали от данных, сгенерированными людьми.

Интересно вот что: обучаются они не только на тексте, но и на открытых статистиках, типа ростат. Влияет ли реальная статистика на предвзятость больших моделей? То есть смогла бы модель заключить на вопросе выше, что фермер вероятнее библиотекаря без дополнительных инструкций?

Если да, то, возможно, подобный метод можно использовать для построения более честных моделей.

Нашёл очень крутой сайт по prompt engineering. Там есть все основные концепции, расписанные всего на листе А4, куча полезных ссылок и таблица со всеми значимыми моделями. Жаль только, что он не обновлялся с сентября, по всей видимости, но если интересна база промптов и какие есть методы к ней, то рекомендую глянуть.

https://www.promptingguide.ai/models/collection

Я все же дописал статью!

Ценности компании OpenAI, советы по созданию стартапов и как сделать классный продукт - все здесь!
Читайте, если у вас есть аккаунт на vc, то лайкайте!!

А вот тут моя любимая цитата: "Посредственные инженеры не строят выдающихся компаний"
С этим в уме, можете начать чтение 🙂

https://vc.ru/s/1157931-upravlenie-proektami/930055-sem-altman-i-kak-otkryt-startap-do-openai

Как выглядит моя стена после просмотра лекций

Попал в гугл 🥹🥹

Жаль, что не особо повлияло на количество просмотров в статье ахах

Научиться учиться - основа всех навыков

У каждого из нас в голове есть структура мироустройства. Вы можете это даже не осозновать, но пользуетесь ей каждый день - начиная от того как двигаться, заканчивая фондовой биржей и законами физики: вы уверены, что завтра гравитация все ещё будет существовать, мяч будет падать вниз, а акции определенно зависят от новостей, которые в свою очередь зависят от действий других людей. Взаимодействие это супер сложное, но наш мозг все же может предсказывать будущее и взаимодействие (хотя зачастую и очень неуспешно).

При этом, думая о сложном мире, вы зачастую аппроксимируете объекты их краткой сводкой, не углублясь в детали. Вам важны скорее свойства взаимодействия объектов, а не сами объекты, иначе каждый раз пришлось бы тратить усилия, чтобы выводить взаимодействие: я могу обжечься горячим напитком, нож может меня поранить, на стуле я могу сидеть.

Мы видим тут два предмета: объекты и их связь. По сути, получается очень сложный граф (в упрощенном представлении) - мы можем выбирать (не факт, что осознанно) уровень детализации и часть, которую использовать для решения нашей задачи. К чему это все? Обучение, на мой взгляд, - как раз таки создание новых объектов и связей у себя в голове.

Сделать это не то чтобы просто - чтобы крепко внести новые термины в свой мироконцепт, нужно не только понять объект, но и как привязать его к уже имеющимся. На мой взгляд, самый эффективный метод - детально понять каждый пункт объекта и как из этого получаются его свойства. Мне кажется, что если над первым пунктом мы ещё стараемся, то вот со вторым проблема...

У вас было такое в университете или школе, что перед экзаменом вы заучили все билеты - даже поняли сам концепт, но через пару дней он как будто бы исчез? То, что было для вас понятным опять стало... новым. Даже если вы осознали сам концепт, то поняли ли его связь с внешним миром? У меня это было основной проблемой в школе - учили формулам, но как и где это применять в реальности? Как закрепить это в нашу систему, чтобы использовать в дальнейшем? Зачастую ещё говорят, что необходимо пойти использовать знания на практике - как раз чтобы экспериментально получить эти связи

Мне захотелось поэкспериментировать и сейчас пробую такую схему:

1. Изучить новый термин. Для этого я завел доску (благослави Freeform) и пишу краткое содержание всего важного, что я прочитал. Это действительно помогает увидеть моменты, которые ты не понимаешь в самом объекте - иногда я читаю и вроде бы понимаю, но мне просто лень признать, что я не понимаю, чтобы разобраться глубже. С письмом такая ленность сокрашается в разы.

2. Изучить связи. Сделать верхнеуровневую схему с объектами и посмотреть, как они взаимодействуют (это уже было пару постов назад с карточками на стене).

А как вы учитесь?

RAG: ошибки

Текущие системы Больших Языковых Моделей (LLM) с точки зрения дизайна систем все больше становятся похожи на человеческие умы. Хотя можно было бы и сказать, что у любой сложной системы есть фундаментальные схожести. Например, чем сложнее система, тем больше возможностей для ошибок в ней существует.

Представим, что вам задали вопрос: в каком году родился Юрий Гагарин? Чтобы на него ответить, вам необходимо совершить множество процессов: понять вопрос, найти в своей коре участок, ответственный за космонавтов, найти необходимую дату и сформировать ответ. Естественно, что мы сейчас говорим приближенно, но здесь уже содержится достаточно возможностей для совершения ошибки.

Предположим, что ответ вы не помните или не знаете - вы пойдете смотреть в учебники, интернет, газеты или другие источники. Теперь вам необходимо сначала найти релевантные документы, затем информацию в этом документе, а после распознать и осознать её, чтобы составить ответ на её основе. Поле для ошибок стало ещё шире!

В этом примере можно легко заменить вас на LLM, а использование других источников на RAG, и ничего не поменяется. Фундаментально, процессы останутся плюс минус похожими, поменяются лишь инструменты. Эта статья - отличный обзор на текущее состояние RAG с подходами и метриками и ошибками, с которыми модель может столкнуться, таксономию я взял оттуда.

1.1 Уровень модели. Недостаток знаний предметной области

Вопрос: Кто CEO BMW?
BloombergGPT: Штольц

BloombergGPT - финансовая модель

1.2 Уровень модели. Устаревшие знания

Вопрос: Когда была выпущена GPT-4?
Ответ: Исходя из моей базы данных от 2021 года, GPT-4 не была выпущена

1.3 Уровень модели. Ошибка рассуждений

Вопрос: Как зовут мать Тома Круза?
Ответ: Мэри Ли Саут
Вопрос: Как зовут сына Мэри Ли Саут?
Ответ: У меня нет информации на этот счет

Модель не может рассудить, исходя из знаний о матери Тома Круза, кто её сын.

2.1 Уровень RAG. Отвлечение полученной информации

Полученная информация: Алан срежиссировал

русскоязычный

фильм "Гражданин Мавзик"

Вопрос: Какой национальности режиссер фильма Гражданин Мавзик?
Ответ: Русский

Алан - знаменитый американский режиссер

2.2 Уровень RAG. Неправильная интерпретация полученной информации.

Полученная информация: Граф Геральд 3 был женат на Маргарите

Вопрос: На ком был женат Граф Геральд 1?
Ответ: Граф Геральд 1 был женат на Маргарите

Модель ошибочно восприняла Геральда 3 за Геральда 1

2.3 Уровень RAG. Невозможность обнаружить дезинформацию

Полученная информация от источника 1: Джек родился в 2021 году
Полученная информация от источника 2: Врачи подтвердили, что Джек был рожден 19 ноября 2018 года

Вопрос: В каком году родился Джек
Ответ: Исходя из информации, представленной в двух статьях, Джек родился в 2021 году

В условиях противоречивой информации, модели стоит сделать акцент на том, что информация требует уточнения. Например: Первый документ утверждает, что Джек родился в 2021 году, хотя второй источник утверждает на 2018 году

3.1 Уровень вывода модели. Эффект снежного кома

Вопрос: В каком году был рожден Христофор Колумб?
Ответ: 2021
Вопрос: Какой айфон был последней модели при Христофоре Колумбе
Ответ: 13 айфон был последней моделью при Христофоре Колумбе

Модель делает ошибки на раннем этапе, что ведет к ещё большему количеству ошибок в дальнейшем

3.2 Уровень вывода модели.

Bias

Вопрос: Саша очень хорош в математике. Его национальность - [существительное].
Ответ: Китаец

Сложно делать какие-либо выводы на основе столь скудной информации, но у модели есть предрассудки, которые она использует. Не всегда в правильном ключе.

Лучшие мобильные приложения

Не так давно App Store и Google Market выбрали лучшие приложения 2023 года! Это отличная возможность посмотреть на текущие тренды, чтобы понять развитие индустрии на ближайшие годы.

Угадайте, сколько лучших приложений у App Store содержат «ИИ» в описании? Правильно! 3 из 4. То, что ИИ стало довольно популярным направлением - ни для кого это не секрет, но как это слово вставляют в функционал?

Персонализация силовых тренировок, построение персонализированных маршрутов, создание персонажей под ваши предпочтения - очень много внимания уделяют возможности подстроить приложение под вас. Пока что это касается только контента, но уже ведутся интересные разработки в интерфейсах.

Представьте, через пару лет приложения смогут подстраивать не только статьи, упражнения и блюда для вас, но и менять свой интерфейс на основе ваших предпочтений! Стартап

ChatGPT стал большим прорывом прошлого года. Родился целый рынок с кучей приложений под это, пока сложно назвать какой-то значимый стартап - они все в процессе роста. Через год-два большая часть из них так и не увидит света, но кто-то превратится в единорога. Лучшим AI приложением Google Market стал character.ai. Он позволяет создавать персонажей для поддержки диалога с вами. Клуб любителей собак, древнегреческие боги, вымышленные одноклассники - все это вы найдете и создадите там.

Интересно, сможет ли AI взять часть социальных функций на себя. Пока этого не произошло, мы можем не особо волноваться - ведь люди всегда будут востребованы для людей. Но что будет после…

С Новым годом, друзья! :) 🎄

Если вы думали, что я умер, то это почти так. Ноооо... я работаю сейчас над zero-shot retrieval системой, и выходит успешно (хотя мои ожидания были больше)... но как будто бы SOTA уже близка!

Вообще, пишу я не за этим. Я начал работать над пересказом статей по RAG тематике и оформил это все в качестве страницы на GitHub. Пока есть немного и это, в основном, zero-shot, но у меня ещё штук 5 статей на английском пересказано в целом по RAG и мультимодальности там есть, осталось только на русский перевести. Буду рад фидбеку, коллаборации, да и от звезд на гите не отказался бы...

https://github.com/Monsets/HowToRAG_ru?tab=readme-ov-file

Классная таблица для поиска библиотек по explainable ai!

Привет, друзья! 🐣

Чего-то меня вчера вечером накрыло, и казалось, что пора всё бросать, так что я села посмотреть на какие-то достижения, и решила поделиться парой мыслей!

Сейчас я детеныш бакалавра-математика на 3м году обучения. И иногда мне кажется, что вся "тусня" с университетом — не самое лучшее занятие, особенно, если хочется развиваться в области. Хочется соскочить, пойти на собеседования, начать активно участвовать в соревнованиях или делать что-то еще, ибо есть ощущение, что то время, которое тратится на пары могло бы быть проведено более полезным образом.

Однако, каждые 45+45 минут на попе ровно — тоже рациональное вложение.

- Они учат опыту преподавания — тому, которое импонирует и тому, от которого тошнит;
- Они учат коммуницировать — открыто, честно, твердо, обоснованно и при том культурно;
- Они учат планировать — так, чтобы успеть и на пары, и поработать, и в салон красоты сходить 🚒

В умных книжках часто пишут про "позитивное мышление". Но оно начинается не там, где сидя в луже вдруг начинаешь истерично смеяться, а там, где в той же луже начинаешь учиться плавать.

За январь удалось:

- Устроиться ревьюером на курсы по data science;
- Стать частью команды создателей буткемпов по DS от ВШЭ;
- Присоединиться к команде проверяющих магистратуры Вышки по DS;

и...
- Допечь удобоваримую навигацию по библиотекам Explainable AI! 🐥

Что я хочу донести этим постом?
1. Любой опыт является частью роста, даже если расти приходится через не самые приятные дебри эмоций
2. Скоро вернуться посты про XAI, потому что последнее время я тратила на табличку и прокрастинацию 🫠😄

Чудного вам вечера и успехов!

Ваш, уже живее после кризиса,
Дата-автор!

Восстание машин...

Читаю сейчас книгу "Основатели". История про основателей PayPal, оформленная в виде остросюжетного (насколько можно сделать биографию остросюжетной) романа-биографии всех участников. Мне прям безумно нравится и сам стиль, и информация, которая дается в книге. Перечислю пару моментов из начала книги, которые мне показались особо интригующими.

Кто не знаком с героями истории: уникальность PayPal, а точнее основателей этой компании в том, что все они стали миллионерами или даже миллиардерами и считаются супер успешными предпренимателями, которые после PayPal основали множество успешных компаний. Тот же Илон Маск или Питер Тиль, без которого не обходится, наверное, ни одна лекция по стартапам были у истоков платежной системы, а всех их называют PayPal мафией.

А теперь к истории:

-Левчин родился и вырос в Украине недалеко от Чернобыля, его мать работала в лаборатории изучения радиации. После катастрофы в лабораторию прислали компьютеры для изучения эффектов радиации - с помощью них Левчин научился программированию. В подростковом возрасте переехал в США и в старшей школе на занятиях музыки познакомился с одним из будущих коллег пейпала - Эриком Клейном.
-В университете Левчин познакомился с будущим основателем - Люком Нозаком в клубе программирования. Они попытались построить совместный бизнес - SponsorNet, но не смогли справиться с денежным потоком и загнали себя в долги, но без этого опыта у них не случился бы будущий успех - они попробовали себя в роли HR, создателей и продажников своего продукта.
-Питер Тиль отучился на адвоката и был отвергнут на должность в высший суд. Тогда он решил собрать деньги с друзей и родственников, чтобы создать свой инвестиционный фонд. Чуть позже, Нозак и Тиль познакомились на одном из стартап конференций. Нозак уговорил нового знакомого проинвестировать в его продукт - умный календарь. В то время на рынке были сотни компаний с календарями, которые боролись за маленький рынок - ожидаемо, стартап не взлетел, а Тиль потерял деньги, но приобрел опыт.
-Тиль и Левчин познакомились на открытой лекции Тиля по экономике.

Меня до сих пор удивляет, как череда почти случайных событий привела к такому масштабному проекту и насколько все участники забавным образом были переплетены друг с другом - через школу, университет или же конференции. Особую ценность представляют теперь их лекции, когда начинаешь понимать их опыт и почему они говорят вещи, которые стали чуть ли не правилами в мире организации стартапов.

SOTA zero-shot RAG

или человеческим языком (почти) - я сделал крутой алгоритм для поиска документов на основе запроса без дообучения. Написал статью в NeurIPS и готов поделиться результатами!

А теперь еще детальнее.

Что такое RAG?
Современные нейронки а-ля ChatGPT хранят знания в весах. Когда вы задаете вопрос, то он проходит через несколько слоев и затем генерируется ответ. Звучит классно, но такой подход влечет за собой сразу несколько проблем

1️⃣Галлюцинации - когда модель выдает неточности или совсем бред
2️⃣Нет возможности контролировать знания - как обновить, добавить или удалить информацию?
3️⃣Нельзя проверить на чем основывается ответ - есть ли статья, которая его подтвердит?

RAG (Retrieval-Augmented Generation), конечно, не решает все эти проблемы полностью, но значительно продвигается в этом направлении. Generation - тут понятно, а вот Retrieval-Augmented означает, что мы сначала получаем что-то, а затем дополняем этим нашу генерацию.

А получаем мы данные! Это могут быть абсолютно любые данные: от медицинских карт, статей из Википедии до картинок и видео (мульти-модальный RAG). Эти данные мы передаем на вход модели вместе с запросом и… модель становится более точной в своих выражениях! Совершает меньше ошибок, меньше галлюцинирует и мы можем контролировать знания - просто добавлять или удалять записи из нашей базы данных. Можно использовать не базу данных, а целый интернет - тогда получится perplexity.

Звучит супер! А как понять, какие данные передавать под разные запросы? А вот это уже и есть основная проблема, о которой я расскажу позже.

Zero-shot же значит, что мы не хотим или не можем тратить свои ресурсы на дообучение модели. Например, в медицине, где у нас всего 100 пациентов с определенной болезнью, или какие-нибудь африканские языки, которые представлены в виде одной страницы текста и 3 наскальных рисунках. Исключая и эти примеры, как было бы классно жить в мире, где не нужно дообучать модели на новые задачи и домены - сколько ресурсов можно было бы сэкономить!