OpenAI впервые заключили партнёрство с образовательным учреждением для внедрения AI в процессы обучения

Счастливчиками стали студенты Arizona State University. Согласно плану, планируется создать персонализированного ИИ-наставника для студентов. Тот будет помогать как с конкретными курсами с известной программой, так и консультировать по любым необходимым топикам.

Основной упор будет сделан на предметы STEM (Science, Technology, Engineering, Mathematics), но и про гуманитарные науки не забудут. В США на первых курсах есть обязательный предмет «Freshman Composition», где студенты изучают основы эссе, аргументации и развивают критическое мышление — и вот тут ChatGPT тоже поможет.

Студентам, преподавателям и сотрудником спец. группы, разрабатывающим решение, будет оформлен пакет ChatGPT Enterprise, включающий расширенный доступ к полноценной модели GPT-4 (без ограничения в 40 сообщений в 3 часа — чтобы ничего не отвлекало от учебного процесса). А помните как в самом начале в школах и университетах банили ChatGPT? Как быстро обернулся мир, и как хорошо, что нашлись умные люди, готовые к переменам!

Я уже несколько раз писал, что образование — один из основных топиков, который мне интересен в контексте AI. Рекомендую прочитать хотя бы вот эти 3 поста: раз, два и три. В первом можно увидеть, как AI-учитель помогает генерировать решения и объясняет тему, что впоследствии увеличивает оценку тестируемого.

Нашел классную статью (огромную статью) про AI, бигтех и опенсорс.

Не статья, а золото. Много матчасти, многое разбирается детально и рассказывается доступным языком.

Легко читается, восполняются пробелы в знаниях по AI и в целом много рассказывается о всей AI «движухе» в мире.

⏺Ссылка на статью.

Доброе утро 😃

🤔Что не так с GPT Store?

С момента запуска GPT Store прошло более 10 дней. Помню, как в день анонса, который прошёл в декабре, я был полон ожиданий. Мне казалось, что этот магазин станет кладезем полезных инструментов для различных задач, вероятно, из-за привычки использовать множество приложений на смартфонах, которые решают повседневные проблемы. Отсюда возникают сравнения между GPT Store и App Store.

Спустя время (ха-ха, прошло то всего 13 дней) у меня сформировались мысли о том, что можно улучшить в GPT Store, чтобы он был интересен и пользователям, и разработчикам GPTs. Важно стимулировать создание полезных и качественных продуктов, а не спешных и недоработанных в погоне за «легким» заработком (хотя до сих пор неясно, сколько и кто будет зарабатывать).

Погнали:

- Категории в GPT Store. Сейчас здесь 10 категорий, что вроде как достаточно. Но на главной странице в каждой категории видно только 6 GPTs и кнопку "Show more", раскрывающую ещё 6. Но что делать, если нужно углубиться дальше? Многие полезные GPTs остаются незаметными. Разработчикам GPTs ниже 12-й позиции лучи поддержки!
- Ранжирование GPTs. Как определяется лидер в категории? В GPT Store каждый GPTs имеет метрику «количество диалогов», что, возможно, указывает на его популярность. Но иногда GPTs на первом месте имеет меньше диалогов, чем на втором или третьем. Почему он тогда первый? Может быть, это результат искусственной поддержки со стороны OpenAI?
- Top Chart. Введение общего рейтинга, по аналогии с Top Free или Top Paid в App Store, упростило бы поиск и мотивировало разработчиков (ачивки любят все).
- Галлюцинации GPTs. Это ожидаемо, но мы рассчитываем на точную информацию. Например, популярный GPTs под названием Books не должен выдавать несуществующие факты или книги, а он легко это может сделать. Упс!
- Отзывы пользователей. Хотелось бы видеть отзывы пользователей о конкретных GPTs, чтобы понять их полезность, ведь количество диалогов может быть не показательным.
- Валидация новых GPTs. GPT Store уже переполнен некачественными поделками (тяп-ляп и в продакшн). Нужна тщательная валидация новых GPTs со стороны OpenAI.
- Монетизация. Вопрос вознаграждения остаётся неясным, особенно вне рынка США. Это точно влияет на мотивация со стороны разработчиков GPTs. В App Store разработчики получают 85% доходов, но в GPT Store, возможно, им достанется только 10-15% от использования их GPTs другими пользователями, а то и меньше.

Используя ChatGPT ежедневно, я понимаю его пользу. Но GPT Store пока не нашёл своего места в моём пользовательском опыте. Я предпочитаю получать все ответы в одном месте, и пока это место — ChatGPT.

А как у вас сложилось отношение к GPT Store? Какими GPTs успели воспользоваться и пользуетесь ли GPT Store регулярно?

AI осваивает новые профессии 😀

Мой любимый Arc браузер интегрировал Perplexity AI в список поисковиков. Такой кайф 😋

“4-х летний ребенок за свою жизнь увидит в 50 раз больше информации/данных чем самая большая LLM” – Ян Лекун.

В Twitter начали всплывать спекуляции по поводу тренировки GPT-5. Всё дело в том, что два важных сотрудника OpenAI написали твиты с намёками.

Greg Brockman — ко-фаундер и ex-CTO OpenAI, до недавнего времени президент компании и член совета директоров. Он пишет про разные аспекты работы в OpenAI, и заканчивает сообщение на фразе «scaling beyond precedent». Scaling — это масштабирование моделей, увеличение количества параметров, что, насколько мы сейчас знаем, приводит к гарантированному улучшению. И это масштабирование будет беспрецедентным (как и каждый раз с момента выхода GPT-2).

Jason Wei — топовый исследователь, ранее работавший в Google, но перешедший в OpenAI. Является первым автором статьи, представившей Chain-of-Thought промптинг, когда мы просим модель перед ответом продумать решение step-by-step (шаг за шагом). Это, как оказалось, существенно повышает качество ответов. Он пишет — дословно — «Не бывает такого прилива адреналина, как при запуске массивной тренировки на GPU» (видеоускорителях, используемых для обучения GPT-like моделек).

Ранее в канале писал, что на момент середины января 2024го не думаю, что началась тренировка GPT-5 — так как OpenAI бегают по провайдерам данных в духе новостных сайтов, и занимаются лицензированием датасетов (что логично делать до тренировки, когда закопирайченные материалы ещё можно вычистить). Но сейчас вполне возможно, что бОльшая часть этой работы окончена.

Но радоваться рано — даже если вдруг тренировка началась — ждать нам не менее 8, а скорее 12 месяцев (из расчёта 4 месяца на тренировку вместо 3 у GPT-4, и 8 месяцев на Ai Alignment + Safety Evaluation). И анонсов ранее выборов в США в начале ноября точно ждать не стоит.

На стриминге найден нейротрек Металлики с вокалом Хэтфилда, но на русском языке😀

Встречали уже такие нейротворения?

Интересно то, что дальше такого контента станет всё больше (аудио, фото, видео) и он будет всё менее отличим от реального контента (по крайней мере глазамии ушами рядового потребителя).

Как вы к этому относитесь? 👀

Дайджест новостей в мире LLM

1. Помните Google Gemini Pro (Bard)? Эта модель внезапно обогнала GPT-4 (0613/0314) на lmsys leaderboard.

Под капотом там Gemini Pro с поиском по интернету, в lmsys она идет под именем bard-jan-24-gemini-pro.

Ждем Gemini Ultra?

2. Слышали про потенциальную утечку весов от модели Mistral Medium? Скорее всего это просто тюн Llama 70B на данных Mistral. Пока можно игнорировать это мутное дело.

3. Meta продолжает тактику "выложим модель в открытый доступ, чтобы конкурентам было несладко". Они выложили новую модель для генерации кода Code Llama 70B. Говорят, что работает сильно лучше остальных.

70B версия на практике мало интересна (больно тяжело заводить), но они выложили еще и младшие версии в 7B, 13B и 34B. Это уже интереснее.

Они работают стабильно с контекстом до 100000 tokens. Хотя комфортнее всего им в пределах 16000 tokens, что тоже очень немало. Можно заливать прямо проекты целиком.

Ваш, @llm_under_hood 🤗