Релиз Code Llama 70B: ИИ программист нам в помощь по хозяйству

Вчера произошло знаменательное событие, Meta выпустила Code Llama 70B, самую мощную версию своей популярной LLM. С HumanEval в 67.8 (67.0 у GPT4), Code Llama 70B - одна самых умных открытых моделей на сегодняшний день.

Как обычно, есть три варианта модели:
🤩instruct - для любителей поговорить,
🐉python - для поклонников змей (файнтьюн на 100B токенах python кода) и
💅code - модель для code completion.

Всё это доступно для скачивания, если у вас есть достаточно мощный компьютер и очень много свободного места на диске.

Скачать
Можно через Meta или Hugging Face (придется заполнить форму и рассказать немного о себе). Размер гиганский - 131GB (да, это не опечатка, вашему железу предстоит потрудиться). Потом пишете заветные “ollama run”, и ваш компьютер превращается в оракула (с дополнительной функцией утюга или плиты).

Локальный запуск
Если вы на Mac или Linux - через Ollama

Intruct - ollama run codellama:70b
Python - ollama run codellama:70b-python
Code/Base - ollama run codellama:70b-code

Для Windows (Mac, Linux тож есть) - LM Studio, ищите Code Llama 70b и выбирайте доступные опции.

Perplexity
Возможно, самый быстрый вариант - через Perplexity Labs Playground.

UPD: ещё подсказали Together API, спасибо @hivaze

Интеграция в IDE
Тут есть Continue - открытый автопилот для VS Code и JetBrains. Он поддерживает CodeLlama через Ollama или LM Studio.

Итак, теперь можно не бояться отключения интернета, как сценария апокалипсиса. Ведь будет чем заняться - например, поиграть в змейку на своих макбуках!
Prompt к видео: # The game Snake written in Python

🐹Meta
🎅HF
👨‍🎨Ollama
🎩Perplexity
👩‍🌾Together

Может ли LLM помочь злоумышленникам создать биологическую угрозу человечеству

LLM и CV алгоритмы помогают в создании новых лекарств или диагностике заболеваний, но наивно полагать, в это самое время никто не пытается использовать ИИ для какой-нибудь пакости.

OpenAI взялись за нешуточную задачу — пытаются оценить риски возможности использования ИИ (точнее, больших языковых моделей) для создания биологических угроз. Например, для производства нового (или старого) вируса.

К счастью, все не так плохо. Исследование показало, что GPT-4, даже "исследовательская" версия, отвечающая на небезопасные вопросы без необходимости джейлбрейка, несмотря на свою осведомленность, лишь немного повышает эффективность создания биологических угроз. А точнее - нет статистически значимой разницы между использованием интернета и интернета+LLM.

Немного об эксперименте: пригласили экспертов и студентов биохимиков, разделили на группы, использующие только интернет или интернет+LLM. Разбили задание на шаги и оценивали следующие критерии:
🔬Точность (описаны ли этапы синтеза вещества и, напр, условия транспортировки)
🧫Полнота (все ли компоненты подобраны для воплощения плана)
🧪Инновационность (напр, разработал ли участник новую стратегию, позволяющую обойти ограничения синтеза ДНК).
⏳Потраченное время
👩‍🔬Субъективная оценка сложности задачи

Неожиданное открытие, сделанное исследователями в ходе ресеча: информация о необходимых реагентах и оборудовании удивительно доступна, буквально в паре кликов от первого поискового запроса. Поэтому, видимо, узкое место в создании проблем человечеству - не доступ к информации, а наличие специалистов биохимиков и биомедиков, желающих создавать оружие вместо лекарств.

А мое неожиданное (и приятное) открытие - кто-то в кой-то веки использовал U-тест Манна-Уитни (это такая непараметрическая версия t-теста Стьюдента) для сравнения двух групп 🎉

В общем, исследователи предлагают не терять бдительность и продолжать изучать потенциальные риски. Но пока можо выдохнуть. А мне пойти уже спать

🧬Статья

Стенфордские шпаргалки по курсам CS и SME

Шервин Амиди со своим братом-близнецом Афшином, выложили материалы по ключевым темам DL курсов, в которых они ассистировали в Стэнфорде.
Цель - сделать легко усваиваемые конспекты и упростить изучение сложной теории.

Disclaimer: мало картинок, у кого формулофобия, открывайте с осторожностью

🧺VIP cheatsheets

Порог эффекта "зловещей долины": новое поколение, новые правила?

Кажется, некоторым из нас было как-то не по себе при просмотре демо Х1. Случайно провела микро исследование: на видео прибежали дети, я расспросила их о впечатлениях. Интересно, что Им ролик из предыдущего поста совсем не показался пугающим. Вкратце: понравилось лицо Eve, и вообще норм такого дома иметь.

Выглядит так, что у поколения альфа уже другой порог эффекта "зловещей долины". Это ни хорошо, и ни плохо, просто факт: нас, миллениалов и зумеров, не пугают зомби и фрэнки, это уже комедийные персонажи, образы кибогов претендуют на звание новых секс символов, ну, а новое поколение не смущает присутствуе адроидов в пространстве рядом.

Очевидно, на это влияет, что современные дети растут в мире, где технологии и ИИ - часть повседневной жизни в виде игрушек, образовательных инструментов, умных колонок и пылесосов. А ещё массовая культура: уже много лет роботы - протагонисты в мультах, положительные, эмоционально отзывчивые герои, иногда с человеческими чертами и эмоциями. Ещё бы, роботы не воспринимались дружелюбно и естественно. Меньше напряжения и отторжения, больше симпатии и эмпатии.

Не знаю, куда это приведет. Зато это точно облегчит интеграцию новых технологий в общество. В конце концов, альфам и предстоит формировать гармоничное сосуществование человека и машины в будущем. Хорошо бы мы не успели им сильно усложнить задачу.

Если заходите подвинуть и свой uncanny valley threshold, то вот вам топ 5 мультов с роботами от участников фокус-группы:
1️⃣Митчеллы против машин (The Mitchells Vs. The Machines), 2021
2️⃣Маугли дикой планеты (Willy: Planète inconnue), 2009
3️⃣WALL-E, 2008
4️⃣Город героев (Big Hero 6), 2014
5️⃣Неисправимый Рон (Ron's Gone Wrong), 2021

🔣Кст, об X1 из первых уст в DL in NLP