This media is not supported in your browser
VIEW IN TELEGRAM
Как LLM хранят факты?
Принес вам на вечер субботы отличный ролик от 3blue1brown. На этот раз гений интуитивного обучения расскажет про то, как LLM запоминает факты.
Это видео для полных новичков, объясняющее роль многоуровневого перцептрона (MLP/FFN) в LLM. Это третье и последний эпизод в серии о работе LLM. D первых двух объяснялось как работают эмбеддинги и как работает механизм внимания. Эта серия - лучшее объяснение для непрограммистов о том, как работают LLM, с кучей хороших визуализаций.
https://www.youtube.com/watch?v=9-Jl0dxWQs8
Смотрим здесь. Клип сверху — просто отрывок.
@ai_newz
Принес вам на вечер субботы отличный ролик от 3blue1brown. На этот раз гений интуитивного обучения расскажет про то, как LLM запоминает факты.
Это видео для полных новичков, объясняющее роль многоуровневого перцептрона (MLP/FFN) в LLM. Это третье и последний эпизод в серии о работе LLM. D первых двух объяснялось как работают эмбеддинги и как работает механизм внимания. Эта серия - лучшее объяснение для непрограммистов о том, как работают LLM, с кучей хороших визуализаций.
https://www.youtube.com/watch?v=9-Jl0dxWQs8
Смотрим здесь. Клип сверху — просто отрывок.
@ai_newz
Media is too big
VIEW IN TELEGRAM
Подъехала новая text2video халява от китайцев – Minimax video-01
Еще до выхода всяких Лум, Alibaba периодически скидывала статьи по видео генерации. И вот стартап Minimax, за спиной у которого Alibaba, показал свою видео модельку video-01. Еще в инвесторах, конечно же, Tencent — они, кажется, имеют долю вообще во всех китайских ИИ-стартапах. Трудолюбивые продолжают пытаться скопировать SORA и занять рынок до того, как OpenAI релизнет свою модель.
Релиз мощный, еще никто не делал фильм, лол. Помимо черрипика выше, есть еще твитерские примеры, и складывается ощущение, что эта моделька наиболее продвинутая в плане мувмента — чекните руки в первом видосе внизу. Максимальная длина генерации видо – 6 сек.
Кроме этого у них есть полный набор продуктов - генерация изображений, музыки, копирование голоса, свои LLM, клон Perplexity. Всё ориентировано на китайский рынок, поэтому компания не особо заметна за пределами Китая. За 250 миллионов долларов, которые поднял стартап, это очень достойные результаты.
Пробуем годноту здесь, если есть китайский номер: hailuoai.com
Официально работает только с ПК, но можно и в десктоп-режиме на мобилках.
@ai_newz
Еще до выхода всяких Лум, Alibaba периодически скидывала статьи по видео генерации. И вот стартап Minimax, за спиной у которого Alibaba, показал свою видео модельку video-01. Еще в инвесторах, конечно же, Tencent — они, кажется, имеют долю вообще во всех китайских ИИ-стартапах. Трудолюбивые продолжают пытаться скопировать SORA и занять рынок до того, как OpenAI релизнет свою модель.
Релиз мощный, еще никто не делал фильм, лол. Помимо черрипика выше, есть еще твитерские примеры, и складывается ощущение, что эта моделька наиболее продвинутая в плане мувмента — чекните руки в первом видосе внизу. Максимальная длина генерации видо – 6 сек.
Кроме этого у них есть полный набор продуктов - генерация изображений, музыки, копирование голоса, свои LLM, клон Perplexity. Всё ориентировано на китайский рынок, поэтому компания не особо заметна за пределами Китая. За 250 миллионов долларов, которые поднял стартап, это очень достойные результаты.
Пробуем годноту здесь, если есть китайский номер: hailuoai.com
Официально работает только с ПК, но можно и в десктоп-режиме на мобилках.
@ai_newz
Нейродайджест за неделю (#33)
LLM
- Арена для русскоязычных LLM. Попробуйте предсказать результаты.
- Cerebras бьёт рекорд по токенам/сек. Огромная пропускная способность памяти чипа позволяет достичь сверхзвуковых скоростей.
- Claude в Alexa. Вот и «мозги» для колоночки подъехали, но поможет ли это спасти проект?
- Как LLM хранит факты. Самый понятный гайд по многослойному персептрону.
Роботы
- Комплект для самостоятельной сборки. Инструкция прилагается и стоит не так уж дорого.
- NEO Beta от 1x. Скайнет всё ближе, ботов уже не отличить от людей в костюме.
Другое
- Маск за регуляции или он уже нашёл лазейку?
- VGGHeads. Восстанавливаем 3D-шейпы голов в неограниченном количестве с новым датасетом в 1М картинок. Всё ради фильтров в инсту.
- MLPerf. Олимпиада чипов для нейросеток. Вот как понять, кто реально быстрее.
- Minimax video-01. Ещё один китайский игрок на рынке видеомоделей. Очень достойный перформанс.
> Читать дайджест #32
#дайджест
@ai_newz
LLM
- Арена для русскоязычных LLM. Попробуйте предсказать результаты.
- Cerebras бьёт рекорд по токенам/сек. Огромная пропускная способность памяти чипа позволяет достичь сверхзвуковых скоростей.
- Claude в Alexa. Вот и «мозги» для колоночки подъехали, но поможет ли это спасти проект?
- Как LLM хранит факты. Самый понятный гайд по многослойному персептрону.
Роботы
- Комплект для самостоятельной сборки. Инструкция прилагается и стоит не так уж дорого.
- NEO Beta от 1x. Скайнет всё ближе, ботов уже не отличить от людей в костюме.
Другое
- Маск за регуляции или он уже нашёл лазейку?
- VGGHeads. Восстанавливаем 3D-шейпы голов в неограниченном количестве с новым датасетом в 1М картинок. Всё ради фильтров в инсту.
- MLPerf. Олимпиада чипов для нейросеток. Вот как понять, кто реально быстрее.
- Minimax video-01. Ещё один китайский игрок на рынке видеомоделей. Очень достойный перформанс.
> Читать дайджест #32
#дайджест
@ai_newz
Media is too big
VIEW IN TELEGRAM
Совсем уже зашугали роботов в Китае. Боятся всего и всех, отскакивая в ужасе. Как бы нам обраточка не пришла через пару лет.
А если серьезно, то это робопёсик X30 от китайской компании DEEP Robotics. И они научили его избегать контакта с людьми и другими объектами ради безопасности, конечно.
Цена такого четвероногого друга начинается от $65000. И это не мало. У Boston Dynamics робопес стоил $75к, когда они их ещё продавали (сейчас, кажется, продажи делают только по индивидуальным договоренностям).
@ai_newz
А если серьезно, то это робопёсик X30 от китайской компании DEEP Robotics. И они научили его избегать контакта с людьми и другими объектами ради безопасности, конечно.
Цена такого четвероногого друга начинается от $65000. И это не мало. У Boston Dynamics робопес стоил $75к, когда они их ещё продавали (сейчас, кажется, продажи делают только по индивидуальным договоренностям).
@ai_newz
эйай ньюз
XAI построили крупнейший тренировочный кластер в мире Но самый большой построенный не значит самый большой работающий. Питаться кластеру пока что не от чего: из рассчитанных 200 мегаватт, в датацентр поступает всего лишь 8. То есть из ста тысяч GPU энергии…
Маск продолжает удивлять - XAI уже запустили Colossus, крупнейший в мире кластер для тренировки. Там сейчас 100k H100, а в течение пары месяцев его мощности удвоят - добавят по 50k H100 и H200. Построили кластер всего за четыре месяца, что крайне быстро для суперкомпьютеров.
@ai_newz
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
В тизере ничего особо интересного не показали, кроме шикарных картинок, но думаю, релиз будет любопытный.
Теперь ждем презентации свежих видеомоделей, как новенький айфон.
UPD: Это оказался тизер короткометражки, сделанной при помощи Runway Gen-3, которую обещали скоро показать.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
TLDR: SB 1047 фактически запрещает публикацию передовых моделей в опенсорс. Несмотря на сильную оппозицию (см скрин) со стороны индустрии и не только, закон удалось провести сквозь ассамблею. На него ещё может наложить вето губернатор.
Последний раз я писал о законе ещё в июле, с тех пор туда внесли ряд правок. Вот основные изменения в законопроекте с прошлого поста:
➖ Подпадают под закон модели, которые стоили бы более $100 млн по "средним ценам облачного компьюта". Файнтюны же таких моделей, на которые потрачено более $10 млн, считаются новыми моделями. До 1 января ограничение также даётся в флопсах - 1e26 и 3e25.
➖ Обновлять определение подпадающих под закон моделей теперь будет "Board of Frontier Models" (совет по делам фронтирных моделей). Пять из девяти мест в борде будут занимать: представитель опенсорс сообщества, представитель индустрии, эксперт по кибербезопасности, эксперт по оружию массового поражения и эксперт в ИИ. Их назначает губернатор, подтверждает назначение сенат. Ещё два места, которые назначает спикер ассамблеи – это академики, специализирующиеся в AI. Оставшиеся два места назначает комитет по правилам сената, требований к компетентности членов тут нет.
Главная проблема закона, напоминаю – это ответственность разработчиков модели за "критический вред", который нанесла не только сама модель, но и её файнтюны "дешевле $10 млн". По факту это запрещает публикацию в опенсорс моделей, подпадающих под закон. Даже если сама модель безобидная, доказать, что все возможные файнтюны в пределах ограничений по компьюту, будут тоже безобидными - невозможно.
Вторая большая проблема - определение денежной стоимости тренировки модели "средней ценой по рынку". Разброс в стоимости H100 в час на рынке сейчас более 4x (AWS - $12.25/hr, Lambda - $3/hr), так что со средним значением под закон будут подпадать модели в разы дешевле чем лимит на бумаге.
Сейчас закон отправился на рассмотрение к губернатору, у которого месяц на то, чтобы либо подписать закон либо наложить на него вето. Если он его подпишет - регуляции вступят в силу уже в 2026 году.
Кажется, если закон примут, то это может прибить AI стартапы в Силиконовой Долине – они будут делать ноги в другие штаты, где и налоги пониже и регуляции помягче. При условии, конечно, что не примут похожую регуляцию на федеральном уровне.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Минимум две компании собираются строить датацентры стоимостью более чем в $125 млрд
Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.
По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.
Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.
Использовать оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от AI должна вырасти ещё во много раз.
Сейчас пока работают на опережение - вбухивают бабло в AI, чтобы не отстать от конкурентов и застолбить лидерскую позицию. А монетизация и прибыль придут чуть позже.
@ai_newz
Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.
По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.
Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.
Использовать оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от AI должна вырасти ещё во много раз.
Сейчас пока работают на опережение - вбухивают бабло в AI, чтобы не отстать от конкурентов и застолбить лидерскую позицию. А монетизация и прибыль придут чуть позже.
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Уходим красиво💨 заливаем код в опенсорс
DeveloperHarris, довольно известный в узких кругах разработчик интересных инди-игрушек вокруг концепта использования ИИ для НПС и сторителлинга, закрыл свою "геймстудию" starlightlabsco. Но как же стильно он ушел:
Чел слил в опенсорс весь код своих проектов, так что теперь каждый может дать его детищу второй шанс или поучиться на его примере.
Внутри:
- Starlight: игрушка про деревню, в которой каждый житель имеет свою историю, свою жизнь и мозг. С НПС можно поболтать и простенько повзаимодействовать (собрать урожай вместе).
- Discord Dungeons & Dragons: когда-то писал про бота, который создает ролевую историю. Так вот, это то же самое, но для компании. LLM будет вашим персональным Данжен Мастером.
- Bonfire: LLM-рассказчик, который генерирует визуал.
- Прототип карточной игры, которая позволяет на лету создавать свою колоду.
- StarlightLabsDemo: болтай с 3D-аватарами голосом.
Здесь стоит оговориться, что проекты еще крайне сырые, но, возможно, кто-то из вас соберется да запустит что-то из этого у себя, а может, даже продолжит работу над этим или другим подобным проектом, коих скоро будет огромное количество. За интерактивным и уникальным геймплеем для каждого игрока — будущее!
Гитхаб
Твит, там еще прикольные размышления о том, как сделать игры интереснее и почему он решил закрыть проект. Надеюсь, он не пожалел о содеянном, респект.
@ai_newz
DeveloperHarris, довольно известный в узких кругах разработчик интересных инди-игрушек вокруг концепта использования ИИ для НПС и сторителлинга, закрыл свою "геймстудию" starlightlabsco. Но как же стильно он ушел:
Чел слил в опенсорс весь код своих проектов, так что теперь каждый может дать его детищу второй шанс или поучиться на его примере.
Внутри:
- Starlight: игрушка про деревню, в которой каждый житель имеет свою историю, свою жизнь и мозг. С НПС можно поболтать и простенько повзаимодействовать (собрать урожай вместе).
- Discord Dungeons & Dragons: когда-то писал про бота, который создает ролевую историю. Так вот, это то же самое, но для компании. LLM будет вашим персональным Данжен Мастером.
- Bonfire: LLM-рассказчик, который генерирует визуал.
- Прототип карточной игры, которая позволяет на лету создавать свою колоду.
- StarlightLabsDemo: болтай с 3D-аватарами голосом.
Здесь стоит оговориться, что проекты еще крайне сырые, но, возможно, кто-то из вас соберется да запустит что-то из этого у себя, а может, даже продолжит работу над этим или другим подобным проектом, коих скоро будет огромное количество. За интерактивным и уникальным геймплеем для каждого игрока — будущее!
Гитхаб
Твит, там еще прикольные размышления о том, как сделать игры интереснее и почему он решил закрыть проект. Надеюсь, он не пожалел о содеянном, респект.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
SSI Ильи Суцкевера привлёк $1 млрд 🙀
С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! Вот подняли $1млрд кеша.
Топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.
Топлю за Илью, он реально крут!
@ai_newz
С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! Вот подняли $1млрд кеша.
Топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.
Топлю за Илью, он реально крут!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Только что собеседовал чела по кодингу на SWE (Software Engineer) позицию в инфру. Таких сильных парней попадается меньше чем 1/10. Язык программирования для решения двух кодинг задачек он выбрал Java.
Это тот случай, когда, я как интервьюер, получаю удовольствие от общения с кандидатом. Чел на зубок тебе рассказывает, какая сложность итерации по map в Java, и как контейнер реализован на уровне примитивов, как происходит разбивка на бакеты, какого размера бакеты, как и с какой сложностью происходит поиск внутри бакета, если есть коллизии, что если бакеты маленького размера, что если большого, и т.д. То есть, даже не начав кодить, кандидат дал мне понять, что он очень хорошо сечет в том, что делает, внимателен к деталям, и что ему эти вещи интересны. После такого интро, даже небольшие помарки в коде (типа поставил <= вместо <) уже не имеют значения.
В итоге две задачи решены сильно раньше времени (то есть и код он писал быстро) и без багов, и мысли излагал структурированно. В конце интервью и у меня хорошее настроение, и у кандидата (т.к. я сказал, что он красавец, справился сильно раньше времени). Ну, это 100% зачет!
#interviews #personal
@ai_newz
Это тот случай, когда, я как интервьюер, получаю удовольствие от общения с кандидатом. Чел на зубок тебе рассказывает, какая сложность итерации по map в Java, и как контейнер реализован на уровне примитивов, как происходит разбивка на бакеты, какого размера бакеты, как и с какой сложностью происходит поиск внутри бакета, если есть коллизии, что если бакеты маленького размера, что если большого, и т.д. То есть, даже не начав кодить, кандидат дал мне понять, что он очень хорошо сечет в том, что делает, внимателен к деталям, и что ему эти вещи интересны. После такого интро, даже небольшие помарки в коде (типа поставил <= вместо <) уже не имеют значения.
В итоге две задачи решены сильно раньше времени (то есть и код он писал быстро) и без багов, и мысли излагал структурированно. В конце интервью и у меня хорошее настроение, и у кандидата (т.к. я сказал, что он красавец, справился сильно раньше времени). Ну, это 100% зачет!
#interviews #personal
@ai_newz
TIMES опубликовали список самых важных людей в ИИ. Вайбы от списка хорошо выражаются картинкой.
@ai_newz
@ai_newz
DeepSeek V2.5
Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz
Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz
Наш слоняра, Три Дао.
Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.
@ai_newz
Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.
@ai_newz