Апдейт по SB 1047 - Калифорнийскому законопроекту для регуляции ИИ
TLDR: прямую угрозу маленьким разработчикам пока убрали, но большой опенсорс это не спасёт. И всё ещё законопроект возлагает ответственность на автора модели, а не на пользователя.
Авторы SB-1047, о котором я писал в мае внесли ряд правок. Тогда законопроект был настолько плохо написан, что против него протестовали даже Anthropic. Я прочитал поправки, вот суть:
➖ Убрали пункт, где под ограничения подпадали модели "схожие по возможностям к моделям подпадающим под закон". Это был самый адовый пункт, который в лучшем случае заморозил бы опенсорс на уровне 2024 года, а в худшем мог бы запретить практически любую тренировку.
➖ Регулировать собираются модели, которые тренировались на 1e26 flops и более чем ста миллионах долларов компьюта. То есть сейчас, когда 1e26 стоит $150-300m, под ограничение подпадают модели с 1e26 flops. Через год-два, когда компьют подешевеет, будут подпадать только модели которые стоят дороже ста миллионов долларов.
➖ Улучшили ситуацию с ответственностью разрабов моделей за файнтюны - теперь модели, которые тюнили на более чем 3e25 flops считаются новыми моделями, и создатели оригинала не ответственны за их действия.
➖ Все суммы в законопроекте теперь указаны в долларах 2025 года и будут поправляться на инфляцию.
➖ Добавили кучу возможных штрафных санкций, например штраф на сумму до 10% стоимости компьюта, использованного для тренировки модели.
➖ Созданный орган контроля сможет менять определения моделей, подпадающих под контроль, каждый год без необходимости проводить новый закон. То есть, теоретически, 1 января 2027 года регулятор имеет право запретить всё что ему вздумается. Ни разу не пространство для regulatory capture, да-да.
➖ Разработчики моделей теперь будут должны каждый год, начиная с 2028, проходить независимый аудит на соответствие регуляциям.
Стало местами лучше, но законопроект всё ещё лажа:
🟥 Идея ответственности разработчиков моделей за использование моделей крайне плохая и опасная. По такой логике можно заявить что Боинг ответственен за события 11 сентября 2001 года.
🟥 Определение "Critical harm", которое в законе даёт право регулятору накладывать штрафные санкции, вплоть до удаления модели, очень жёсткое: хакерская атака на 500 миллионов долларов это не такой редкий случай, а в законе не указано насколько сильно модель должна ей поспособствовать.
🟥 Давать регулятору право решать, что всё таки является его зоной контроля – это очень плохая идея.
Самое смешное тут то, что авторы законопроекта проводили ряд публичных встреч, где говорили, что хотят сделать менее драконовский закон чем European AI Act. Такое ощущение, что даже не пытались.
@ai_newz
TLDR: прямую угрозу маленьким разработчикам пока убрали, но большой опенсорс это не спасёт. И всё ещё законопроект возлагает ответственность на автора модели, а не на пользователя.
Авторы SB-1047, о котором я писал в мае внесли ряд правок. Тогда законопроект был настолько плохо написан, что против него протестовали даже Anthropic. Я прочитал поправки, вот суть:
➖ Убрали пункт, где под ограничения подпадали модели "схожие по возможностям к моделям подпадающим под закон". Это был самый адовый пункт, который в лучшем случае заморозил бы опенсорс на уровне 2024 года, а в худшем мог бы запретить практически любую тренировку.
➖ Регулировать собираются модели, которые тренировались на 1e26 flops и более чем ста миллионах долларов компьюта. То есть сейчас, когда 1e26 стоит $150-300m, под ограничение подпадают модели с 1e26 flops. Через год-два, когда компьют подешевеет, будут подпадать только модели которые стоят дороже ста миллионов долларов.
➖ Улучшили ситуацию с ответственностью разрабов моделей за файнтюны - теперь модели, которые тюнили на более чем 3e25 flops считаются новыми моделями, и создатели оригинала не ответственны за их действия.
➖ Все суммы в законопроекте теперь указаны в долларах 2025 года и будут поправляться на инфляцию.
➖ Добавили кучу возможных штрафных санкций, например штраф на сумму до 10% стоимости компьюта, использованного для тренировки модели.
➖ Созданный орган контроля сможет менять определения моделей, подпадающих под контроль, каждый год без необходимости проводить новый закон. То есть, теоретически, 1 января 2027 года регулятор имеет право запретить всё что ему вздумается. Ни разу не пространство для regulatory capture, да-да.
➖ Разработчики моделей теперь будут должны каждый год, начиная с 2028, проходить независимый аудит на соответствие регуляциям.
Стало местами лучше, но законопроект всё ещё лажа:
🟥 Идея ответственности разработчиков моделей за использование моделей крайне плохая и опасная. По такой логике можно заявить что Боинг ответственен за события 11 сентября 2001 года.
🟥 Определение "Critical harm", которое в законе даёт право регулятору накладывать штрафные санкции, вплоть до удаления модели, очень жёсткое: хакерская атака на 500 миллионов долларов это не такой редкий случай, а в законе не указано насколько сильно модель должна ей поспособствовать.
🟥 Давать регулятору право решать, что всё таки является его зоной контроля – это очень плохая идея.
Самое смешное тут то, что авторы законопроекта проводили ряд публичных встреч, где говорили, что хотят сделать менее драконовский закон чем European AI Act. Такое ощущение, что даже не пытались.
@ai_newz
😱87👍22❤19🫡9🤯3😍3❤🔥1🔥1🙏1🦄1
Принёс вам системный промпт для оптимального кодинга с Claude Sonnet 3.5 – на замену джуну. На реддите и в твиттере его очень хвалят.
Нужен доступ через API, чтобы попробовать его, либо через web с Pro подпиской (в настройках нового проекта, см скрин в комментах), либо через кастомного бота в Poe.
@ai_newz
Нужен доступ через API, чтобы попробовать его, либо через web с Pro подпиской (в настройках нового проекта, см скрин в комментах), либо через кастомного бота в Poe.
@ai_newz
❤114🔥22😁12👍7❤🔥1
Нейродайджест за неделю (#26)
LLM
- Context Caching в массы. Новая фича от Google зашла и другим провайдерам, теперь адаптируют.
- Grok 2 на подходе. Маск, как всегда, тизеритзолотые горы gpu, ну а тем временем вторая версия LLM уже тюнится.
- Flash Attention 3! Всякие ускоряшки и улучшалки.
- Доходы OpenAI. Они, конечно, хайпуют, но денег, как оказалось, не так уж и много...
- Варим GPT-2 🗿. Гайд от Карпатыча о том, как натренировать свою LLM за 500 баксов.
- Системный промпт для Claude Sonnet 3.5. Работает лучше, чем джун в 90% случаев. Сори, пацаны, я с вами.
GPU
- Nvidia все также поставляет ГПУ в Китай, несмотря на запреты. Как кожанка умудрился это провернуть и подробности про новую линейку.
- Набор инструкций для H100 и 4090. Теперь проще оптимизироваться код под конкретные архитектуры нейронок.
Генеративки
- Новый геймдев от PhysDreamer. Или как создавать миры в риалтайме.
- Видеогенерация от нового стартапа Odyssey. Обещают супер контроль над картинкой для Голливуда, благодаря 4-м отдельным моделям для света, текстур, моушена и геометрии.
- Как контролировать стиль в MJ, как это реализовано (IP-Adapter) и небольшой ликбез по волшебным кнопкам MidJourney.
Прочее
- Задачки по ML. Готовимся к собесу AI Coding с этими сайтами.
- Правки в законе, регулирующем большие модели в США или о страшном сне опенсорса. Движемся в верном (нет) направлении, и все еще есть вопросики.
> Читать дайджест #25
#дайджест
@ai_newz
LLM
- Context Caching в массы. Новая фича от Google зашла и другим провайдерам, теперь адаптируют.
- Grok 2 на подходе. Маск, как всегда, тизерит
- Flash Attention 3! Всякие ускоряшки и улучшалки.
- Доходы OpenAI. Они, конечно, хайпуют, но денег, как оказалось, не так уж и много...
- Варим GPT-2 🗿. Гайд от Карпатыча о том, как натренировать свою LLM за 500 баксов.
- Системный промпт для Claude Sonnet 3.5. Работает лучше, чем джун в 90% случаев. Сори, пацаны, я с вами.
GPU
- Nvidia все также поставляет ГПУ в Китай, несмотря на запреты. Как кожанка умудрился это провернуть и подробности про новую линейку.
- Набор инструкций для H100 и 4090. Теперь проще оптимизироваться код под конкретные архитектуры нейронок.
Генеративки
- Новый геймдев от PhysDreamer. Или как создавать миры в риалтайме.
- Видеогенерация от нового стартапа Odyssey. Обещают супер контроль над картинкой для Голливуда, благодаря 4-м отдельным моделям для света, текстур, моушена и геометрии.
- Как контролировать стиль в MJ, как это реализовано (IP-Adapter) и небольшой ликбез по волшебным кнопкам MidJourney.
Прочее
- Задачки по ML. Готовимся к собесу AI Coding с этими сайтами.
- Правки в законе, регулирующем большие модели в США или о страшном сне опенсорса. Движемся в верном (нет) направлении, и все еще есть вопросики.
> Читать дайджест #25
#дайджест
@ai_newz
❤🔥37👍17❤11⚡9
Media is too big
VIEW IN TELEGRAM
Кто там хотел прикрутить LLM к NPC?
Продолжаю серию постов про AI в играх.
Вот новый экземпляр на вечер — Suck Up!
Суть:
Вы вампир, ваша цель — вломиться в дом NPC и съесть их. Правда, теперь они не такие тупые, ведь к ним по API прикручена ЛЛМ, так что кого попало они домой не пускают. Для убедительности можно использовать найденные на улице предметы и одежду прошлых жертв. Например, доставщика пиццы.
У каждого NPC свой костюм, характер и манера речи. К каждому нужен свой подход. Текст вводится голосом! Правда, отвечают пока просто текстом, генерацию речи еще не завезли.
Видео от разработчиков прилагается. Если нечем заняться, вот еще можно глянуть https://youtu.be/V-6M6lm3mTY?si=KFJqU0ruKlbO-VwA
Стоит 16 баксов. Интересная модель монетизации. Получаешь игру полностью и к ней 10 000 токенов. Когда они закончатся, придется платить снова. В целом, неплохой вариант, + авторы уверяют, что этого должно хватить на 40-50 часов геймплея. Кстати, игры в Steam нет, потому что они хз, что делать с AI. А точнее, как его регулировать.
Подробности здесь.
@ai_newz
Продолжаю серию постов про AI в играх.
Вот новый экземпляр на вечер — Suck Up!
Суть:
Вы вампир, ваша цель — вломиться в дом NPC и съесть их. Правда, теперь они не такие тупые, ведь к ним по API прикручена ЛЛМ, так что кого попало они домой не пускают. Для убедительности можно использовать найденные на улице предметы и одежду прошлых жертв. Например, доставщика пиццы.
У каждого NPC свой костюм, характер и манера речи. К каждому нужен свой подход. Текст вводится голосом! Правда, отвечают пока просто текстом, генерацию речи еще не завезли.
Видео от разработчиков прилагается. Если нечем заняться, вот еще можно глянуть https://youtu.be/V-6M6lm3mTY?si=KFJqU0ruKlbO-VwA
Стоит 16 баксов. Интересная модель монетизации. Получаешь игру полностью и к ней 10 000 токенов. Когда они закончатся, придется платить снова. В целом, неплохой вариант, + авторы уверяют, что этого должно хватить на 40-50 часов геймплея. Кстати, игры в Steam нет, потому что они хз, что делать с AI. А точнее, как его регулировать.
Подробности здесь.
@ai_newz
🔥132👍28❤🔥13❤8🤯4🦄3
MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
Юзать LLM хотят все, но инференс в облаке стоит конских денег. Но есть простое решение - давайте юзеры будут запускать LLM у себя, а не в облаке. Однако не стоит забывать – большинство пользователей интернета владеют лишь телефоном. Оперативной памяти там не так уж и много - у iPhone это 6 гигов, у большинства андроид флагманов до 12, так что нужно оптимизировать параметры, но и не забывать про перформанс. Авторам пейпера удалось заметно улучшить качество инференса на телефонах, без потерь в перформансе.
Как это вышло?
➖ Авторы выяснили, что масштабирование модели вглубь при таком же количестве параметров работает лучше чем при масштабировании модели вширь. Таким образом модель на 125 миллионов параметров имеет 30 слоёв (у GPT-2, Bert и вообще всего в такой весовой категории обычно 12).
➖ Традиционный для "эффективных" моделей шеринг входного и выходного слоя эмбеддингов.
➖ Завезли Group Query Attention, который раньше в таких моделях не использовался.
➖ Убедились что все слои влезают в кэш телефонов, потому что оперативка значительно медленнее.
Самая интересная часть - layer sharing, так что её разберём поподробнее. Идея в том, чтобы использовать один и тот же слой несколько раз, и таким образом улучшить перформанс. Попробовали несколько стратегий:
➖ Повторять слои незамедлительно - то есть слой компьютит что-то, а потом его вывод кормится в него же.
➖ Повторять все слои в том же порядке - по сути моделька запускается два раза на одном и том же инпуте.
➖ Сначала считать слои в обычном порядке, а потом задом наперёд.
Лучше всех показал себя второй способ, но выбрали первый, потому что он заметно быстрее работает (не нужно грузить слой в кэш несколько раз).
В итоге вышло хорошо так улучшить результаты, без раздутия количества параметров или времени выполнения модели. Итоговая модель выдаёт более чем 50 токенов в секунду на обычном телефоне. Статья февральская, но код выложили только сейчас. Весов нет.
Пейпер
Код
@ai_newz
Юзать LLM хотят все, но инференс в облаке стоит конских денег. Но есть простое решение - давайте юзеры будут запускать LLM у себя, а не в облаке. Однако не стоит забывать – большинство пользователей интернета владеют лишь телефоном. Оперативной памяти там не так уж и много - у iPhone это 6 гигов, у большинства андроид флагманов до 12, так что нужно оптимизировать параметры, но и не забывать про перформанс. Авторам пейпера удалось заметно улучшить качество инференса на телефонах, без потерь в перформансе.
Как это вышло?
➖ Авторы выяснили, что масштабирование модели вглубь при таком же количестве параметров работает лучше чем при масштабировании модели вширь. Таким образом модель на 125 миллионов параметров имеет 30 слоёв (у GPT-2, Bert и вообще всего в такой весовой категории обычно 12).
➖ Традиционный для "эффективных" моделей шеринг входного и выходного слоя эмбеддингов.
➖ Завезли Group Query Attention, который раньше в таких моделях не использовался.
➖ Убедились что все слои влезают в кэш телефонов, потому что оперативка значительно медленнее.
Самая интересная часть - layer sharing, так что её разберём поподробнее. Идея в том, чтобы использовать один и тот же слой несколько раз, и таким образом улучшить перформанс. Попробовали несколько стратегий:
➖ Повторять слои незамедлительно - то есть слой компьютит что-то, а потом его вывод кормится в него же.
➖ Повторять все слои в том же порядке - по сути моделька запускается два раза на одном и том же инпуте.
➖ Сначала считать слои в обычном порядке, а потом задом наперёд.
Лучше всех показал себя второй способ, но выбрали первый, потому что он заметно быстрее работает (не нужно грузить слой в кэш несколько раз).
В итоге вышло хорошо так улучшить результаты, без раздутия количества параметров или времени выполнения модели. Итоговая модель выдаёт более чем 50 токенов в секунду на обычном телефоне. Статья февральская, но код выложили только сейчас. Весов нет.
Пейпер
Код
@ai_newz
🔥114👍26❤16❤🔥6🤯3⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
Зацените детище CloneRobotics!
Ребята из Вроцлава не спят и пилят своих адройдов. Выглядит крипово и прекрасно одновременно. Каждая мышца выполнена так, чтобы в точности повторять анатомию человека. Там даже учебник на одном из видосов мелькает.
Двигается пока не очень человечно, но ребята в конце 23-го года захантили к себе ML-щиков всех мастей и верят, что путь к AGI идет через полное клонирование человека, сначала анатомически, а сейчас вот учат повторять за человеком механически.
Правда, гляньте видос внизу, какая там бандура управляет одной рукой. В гуманоида такого не засунешь, но чуваки работают. Выглядит многообещающе, а то надоели эти бесполезные клешни. Все-таки оттопыренный пятый палец поставил человека на вершину пищевой цепи 🤙
ещё про роботов, андройдов и агентов
@ai_newz
Ребята из Вроцлава не спят и пилят своих адройдов. Выглядит крипово и прекрасно одновременно. Каждая мышца выполнена так, чтобы в точности повторять анатомию человека. Там даже учебник на одном из видосов мелькает.
Двигается пока не очень человечно, но ребята в конце 23-го года захантили к себе ML-щиков всех мастей и верят, что путь к AGI идет через полное клонирование человека, сначала анатомически, а сейчас вот учат повторять за человеком механически.
Правда, гляньте видос внизу, какая там бандура управляет одной рукой. В гуманоида такого не засунешь, но чуваки работают. Выглядит многообещающе, а то надоели эти бесполезные клешни. Все-таки оттопыренный пятый палец поставил человека на вершину пищевой цепи 🤙
ещё про роботов, андройдов и агентов
@ai_newz
👍95❤🔥30🤯18🔥13❤6😁3
This media is not supported in your browser
VIEW IN TELEGRAM
А вот такая бандурина управляет механической рукой. Я считаю, есть пространство для оптимизации!
@ai_newz
@ai_newz
🔥131😁30👍18❤10❤🔥7
Андрей Карпатый основал компанию, которая занимается ИИ образованием
Eureka Labs будет школой, созданной с учётом ИИ. Преподаватели всё ещё будут создавать курсы, но помогать ученикам продвигаться по ним будет специализированный AI Teaching Assistant. Первый продукт компании - LLM101n, курс про тренировку ИИ моделей, я о нём уже писал.
Иллюстрированный букварь для благородных девиц становится всё ближе и ближе. Сложно представить человека, лучше подходящего для его создания, чем Карпатый.
Сайт компании
@ai_newz
Eureka Labs будет школой, созданной с учётом ИИ. Преподаватели всё ещё будут создавать курсы, но помогать ученикам продвигаться по ним будет специализированный AI Teaching Assistant. Первый продукт компании - LLM101n, курс про тренировку ИИ моделей, я о нём уже писал.
Иллюстрированный букварь для благородных девиц становится всё ближе и ближе. Сложно представить человека, лучше подходящего для его создания, чем Карпатый.
Сайт компании
@ai_newz
🔥276❤54👍32🤯4😁1
Mistral выпустили две новые 7B модели
MathΣtral - тюн Mistral 7B, ориентированный на математику и технические дисциплины. На бенчах заметно лучше конкурентов среди открытых математических LLM, но до закрытых моделей всё ещё далеко - специализированные на математике варианты Gemini 1.5 Pro на MATH выдают за 90%.
Создали модель в коллаборации с Project Numina, победителями недавнего AIMO Progress Prize, где модели соревновались в решении задач с международной математической олимпиады (IMO). На том соревновании первые 4 места заняли тюны DeepSeek Math 7B, видимо, Mistral захотели своего конкурента.
Codestral Mamba - модель для кода, основанная на архитектуре Mamba V2, первый не трансформер который натренили в Mistral.
Результаты неплохие, но результатами бенчей слегка манипулируют - сравнивают с довольно старыми моделями, а с сильными конкурентами, вроде Llama 3 8B и DeepSeek Coder V2 Lite - нет. Результат Llama 3 8B на HumanEval выше чем у других моделей с которыми сравнивают Codestral. А DeepSeek Coder V2 Lite на HumanEval обгоняет не только Codestral Mamba, но и Codestral 22B.
Mamba, в теории, обещает "линейный" инференс с "бесконечным контекстом. Конкурентов трансформерам всегда интересно видеть, но я пока что не видел нормальных тестов контекста более чем 16к токенов, так что отношусь к архитектуре скептически. Если хотите, могу написать про неё поподробнее.
@ai_newz
MathΣtral - тюн Mistral 7B, ориентированный на математику и технические дисциплины. На бенчах заметно лучше конкурентов среди открытых математических LLM, но до закрытых моделей всё ещё далеко - специализированные на математике варианты Gemini 1.5 Pro на MATH выдают за 90%.
Создали модель в коллаборации с Project Numina, победителями недавнего AIMO Progress Prize, где модели соревновались в решении задач с международной математической олимпиады (IMO). На том соревновании первые 4 места заняли тюны DeepSeek Math 7B, видимо, Mistral захотели своего конкурента.
Codestral Mamba - модель для кода, основанная на архитектуре Mamba V2, первый не трансформер который натренили в Mistral.
Результаты неплохие, но результатами бенчей слегка манипулируют - сравнивают с довольно старыми моделями, а с сильными конкурентами, вроде Llama 3 8B и DeepSeek Coder V2 Lite - нет. Результат Llama 3 8B на HumanEval выше чем у других моделей с которыми сравнивают Codestral. А DeepSeek Coder V2 Lite на HumanEval обгоняет не только Codestral Mamba, но и Codestral 22B.
Mamba, в теории, обещает "линейный" инференс с "бесконечным контекстом. Конкурентов трансформерам всегда интересно видеть, но я пока что не видел нормальных тестов контекста более чем 16к токенов, так что отношусь к архитектуре скептически. Если хотите, могу написать про неё поподробнее.
@ai_newz
❤89👍50🔥23❤🔥1
Пока OpenAI всё тянет с релизом обещанной модельки, гугл потихоньку разворачивает киллер-фичи от Gemini, в том числе Vids.
Vids — это новая тулза от гугл, которая должна помось создавать видосы на скорую руку. Из функционала:
- Генерация скрипта
- Текста для видео
- Подбор стоковых видео
- Генерация видео (наверное через Veo)
- Подбор фоновой музыки
- Генерация текста для озвучки
- Генерация самой озвучки
И всё это в один шаблон.
Короче, полноценный агент для создания дешёвых промо роликов. (Ну а что, Спилберг тоже не с Голливуда начинал)
Я в гугл доках у себя вижу значок "Ask Gemini", а вы? Но Vids у меня пока не доступно, пишут что раскатили это только на маленькую группу «доверенных юзеров».
Подробности
Про Vids
@ai_newz
Vids — это новая тулза от гугл, которая должна помось создавать видосы на скорую руку. Из функционала:
- Генерация скрипта
- Текста для видео
- Подбор стоковых видео
- Генерация видео (наверное через Veo)
- Подбор фоновой музыки
- Генерация текста для озвучки
- Генерация самой озвучки
И всё это в один шаблон.
Короче, полноценный агент для создания дешёвых промо роликов. (Ну а что, Спилберг тоже не с Голливуда начинал)
Чтобы проверить, есть ли у вас доступ к функциям Workspace Labs, откройте документ в Google Docs. Слева [у меня была справа] найдите раздел "Help me write".
Я в гугл доках у себя вижу значок "Ask Gemini", а вы? Но Vids у меня пока не доступно, пишут что раскатили это только на маленькую группу «доверенных юзеров».
Подробности
Про Vids
@ai_newz
❤56👍25🔥19😍3🤯2😁1
Кстати, для тех кто не знал, NVIDIA регулярно проводит платные воркшопы онлайн.
Вот, например, скоро будет 7-часовой воркшоп "Model Parallelism: Building and Deploying Large Neural Networks".
Цена вопроса - $500.
Звучит интересно, я бы послушал инсайты от NVIDIA, как они юзают всякие параллелизма для тренировки очень больших моделей (например Хуанг хвалился, что они натренили LLM с 1.8 триллионами параметров). Но ценник, конечно, почти как регистрация на ECCV. Наверное, лучше посмотрю леции на ютубе и съезжу в Милан.😁
Хотя, если кто-то начинает изучать эти темы с нуля, то такие воркшопы могли бы хорошо зайти, ведь там дадут структурированную информацию и можно позадавать вопросы. Есть очень много тонкостей, которые нигде не написаны и их можно узнать только из личной беседы.
Вот тут есть расписание всех воркшопов.
#ликбез
@ai_newz
Вот, например, скоро будет 7-часовой воркшоп "Model Parallelism: Building and Deploying Large Neural Networks".
Цена вопроса - $500.
Звучит интересно, я бы послушал инсайты от NVIDIA, как они юзают всякие параллелизма для тренировки очень больших моделей (например Хуанг хвалился, что они натренили LLM с 1.8 триллионами параметров). Но ценник, конечно, почти как регистрация на ECCV. Наверное, лучше посмотрю леции на ютубе и съезжу в Милан.😁
Хотя, если кто-то начинает изучать эти темы с нуля, то такие воркшопы могли бы хорошо зайти, ведь там дадут структурированную информацию и можно позадавать вопросы. Есть очень много тонкостей, которые нигде не написаны и их можно узнать только из личной беседы.
Вот тут есть расписание всех воркшопов.
#ликбез
@ai_newz
5👍63😁19❤13🔥3
эйай ньюз
Мои опасения по поводу Codestral Mamba пока подтверждаются - похоже, моделька начинает сыпаться уже через пару тысяч токенов контекста. Тест простейший - в файле с кучей функций, нужно вызвать функции с фруктом в названии (apple, banana, etc.). @ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
🔥95😁32❤🔥11🦄7❤4👍3
Forwarded from ML — это ОК
📄В интернете можно, условно говоря, заниматься двумя вещами:
1. развиваться, читая научные статьи о рекомендательных системах;
2. орать с угарнейших мемасиков про котиков.
И, хотя официально интернет существует для первого, рекомендательные системы толкают пользователей скорее ко второму. Так происходит потому, что мемасики получают больше лайков, чем статьи по рекомендательным системам (даже в нашем канале). На ридинг-группе 25 июля будем разбираться, как это поправить. Обсудим статью, которая предлагает способ отделить сиюминутное желание покекать от долгосрочной полезности и балансировать эти факторы при построении рекомендательной системы. Рассказывать будет Коля Анохин, ведущий специалист ОК по ML. Начало встречи в 16:00.
Зум: ссылка
Meeting ID: 875 8500 6307
Passcode: okdsrg
1. развиваться, читая научные статьи о рекомендательных системах;
2. орать с угарнейших мемасиков про котиков.
И, хотя официально интернет существует для первого, рекомендательные системы толкают пользователей скорее ко второму. Так происходит потому, что мемасики получают больше лайков, чем статьи по рекомендательным системам (даже в нашем канале). На ридинг-группе 25 июля будем разбираться, как это поправить. Обсудим статью, которая предлагает способ отделить сиюминутное желание покекать от долгосрочной полезности и балансировать эти факторы при построении рекомендательной системы. Рассказывать будет Коля Анохин, ведущий специалист ОК по ML. Начало встречи в 16:00.
Зум: ссылка
Meeting ID: 875 8500 6307
Passcode: okdsrg
❤75🔥36👍22😁10😱7🙏5❤🔥2
Курс по промпт-инжинирингу для моделей семейства LLaMa
Мета заколлабилась с командой Эндрю Ына и выпустили короткий курс (1ч), который разбирает best-практики по промтингу LLaMa 2,3 и CodeLLaMa, включая few-shot, chain-of-thought, и другое.
Курс подойдёт именно для начинающих. И нет, 300к/сек после него вы поднимать не станете.
Ссылочка на курс
#ликбез
@ai_newz
Мета заколлабилась с командой Эндрю Ына и выпустили короткий курс (1ч), который разбирает best-практики по промтингу LLaMa 2,3 и CodeLLaMa, включая few-shot, chain-of-thought, и другое.
Курс подойдёт именно для начинающих. И нет, 300к/сек после него вы поднимать не станете.
What you’ll do:
1. Learn best practices for prompting and selecting among the Llama 2 & 3 models by using them as a personal assistant to help you complete day-to-day tasks.
2. Experiment with advanced prompt engineering techniques, like few-shot prompting to get Llama 2 to classify the sentiment of text messages, and chain-of-thought prompting to solve logic problems.
3. Treat Code Llama as a pair programming partner to both learn to write and improve code.
4. Promote safe and responsible use of LLMs by having Llama Guard check user prompts and model responses for harmful content.
Ссылочка на курс
#ликбез
@ai_newz
🔥58❤17👍14😁12❤🔥3🙏1
Не прошло и недели, а у Mistral новый релиз!
Новую "малую" модель NeMo тренировали совместно с Nvidia. У неё 12 миллиардов параметров, 128k контекста, инференс в fp8 без потери в качестве. Модель сделана так, чтобы влезала в 4090.
NeMo - нативно мультиязычная модель, тренировали в том числе на русском, немецком, японском, китайском. И тут она конкурентов и в хвост, и в гриву. Обновили и токенизатор - он теперь на 36% эффективнее для русского, на 11% для английского, а на некоторых языках прирост по эффективности в 3-4 раза. Интересно, в токенах найдутся пасхалки?
С бенчами опять шалят: сравнивают только базовые модели, а бенчи для Instruct версий публикуют только специализированные, не общие.
Заметьте, как "малые" модельки растут в размере: 7B превратилось в 8, потом в 9, а сейчас уже 12
Веса
Блог
@ai_newz
Новую "малую" модель NeMo тренировали совместно с Nvidia. У неё 12 миллиардов параметров, 128k контекста, инференс в fp8 без потери в качестве. Модель сделана так, чтобы влезала в 4090.
NeMo - нативно мультиязычная модель, тренировали в том числе на русском, немецком, японском, китайском. И тут она конкурентов и в хвост, и в гриву. Обновили и токенизатор - он теперь на 36% эффективнее для русского, на 11% для английского, а на некоторых языках прирост по эффективности в 3-4 раза. Интересно, в токенах найдутся пасхалки?
С бенчами опять шалят: сравнивают только базовые модели, а бенчи для Instruct версий публикуют только специализированные, не общие.
Заметьте, как "малые" модельки растут в размере: 7B превратилось в 8, потом в 9, а сейчас уже 12
Веса
Блог
@ai_newz
❤59🔥23👍16
GPT-4o mini
Наконец-то замена GPT-3.5, которой давно пора на пенсию. Новая модель заметно дешевле - всего 15 центов за лям токенов на вход и 60 на выход (по batch API в два раза дешевле). При этом обходит всех современных конкурентов (Gemini 1.5 Flash, Claude 3 Haiku). Но конкуренты тоже не сидят на месте - Anthropic уже пообещали выпустить 3.5 Haiku, плюс на днях были следы готовящегося релиза Gemini 2.0.
У большинства юзеров ChatGPT доступ должен быть уже сегодня, у энтерпрайз клиентов - на следующей неделе.
За пару часов до релиза анонс утёк вообще во все СМИ, но я решил подождать официального анонса
Блог
@ai_newz
Наконец-то замена GPT-3.5, которой давно пора на пенсию. Новая модель заметно дешевле - всего 15 центов за лям токенов на вход и 60 на выход (по batch API в два раза дешевле). При этом обходит всех современных конкурентов (Gemini 1.5 Flash, Claude 3 Haiku). Но конкуренты тоже не сидят на месте - Anthropic уже пообещали выпустить 3.5 Haiku, плюс на днях были следы готовящегося релиза Gemini 2.0.
У большинства юзеров ChatGPT доступ должен быть уже сегодня, у энтерпрайз клиентов - на следующей неделе.
За пару часов до релиза анонс утёк вообще во все СМИ, но я решил подождать официального анонса
Блог
@ai_newz
❤108🔥16👍11❤🔥3