эйай ньюз
XAI построили крупнейший тренировочный кластер в мире Но самый большой построенный не значит самый большой работающий. Питаться кластеру пока что не от чего: из рассчитанных 200 мегаватт, в датацентр поступает всего лишь 8. То есть из ста тысяч GPU энергии…
Маск продолжает удивлять - XAI уже запустили Colossus, крупнейший в мире кластер для тренировки. Там сейчас 100k H100, а в течение пары месяцев его мощности удвоят - добавят по 50k H100 и H200. Построили кластер всего за четыре месяца, что крайне быстро для суперкомпьютеров.
@ai_newz
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
В тизере ничего особо интересного не показали, кроме шикарных картинок, но думаю, релиз будет любопытный.
Теперь ждем презентации свежих видеомоделей, как новенький айфон.
UPD: Это оказался тизер короткометражки, сделанной при помощи Runway Gen-3, которую обещали скоро показать.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
TLDR: SB 1047 фактически запрещает публикацию передовых моделей в опенсорс. Несмотря на сильную оппозицию (см скрин) со стороны индустрии и не только, закон удалось провести сквозь ассамблею. На него ещё может наложить вето губернатор.
Последний раз я писал о законе ещё в июле, с тех пор туда внесли ряд правок. Вот основные изменения в законопроекте с прошлого поста:
➖ Подпадают под закон модели, которые стоили бы более $100 млн по "средним ценам облачного компьюта". Файнтюны же таких моделей, на которые потрачено более $10 млн, считаются новыми моделями. До 1 января ограничение также даётся в флопсах - 1e26 и 3e25.
➖ Обновлять определение подпадающих под закон моделей теперь будет "Board of Frontier Models" (совет по делам фронтирных моделей). Пять из девяти мест в борде будут занимать: представитель опенсорс сообщества, представитель индустрии, эксперт по кибербезопасности, эксперт по оружию массового поражения и эксперт в ИИ. Их назначает губернатор, подтверждает назначение сенат. Ещё два места, которые назначает спикер ассамблеи – это академики, специализирующиеся в AI. Оставшиеся два места назначает комитет по правилам сената, требований к компетентности членов тут нет.
Главная проблема закона, напоминаю – это ответственность разработчиков модели за "критический вред", который нанесла не только сама модель, но и её файнтюны "дешевле $10 млн". По факту это запрещает публикацию в опенсорс моделей, подпадающих под закон. Даже если сама модель безобидная, доказать, что все возможные файнтюны в пределах ограничений по компьюту, будут тоже безобидными - невозможно.
Вторая большая проблема - определение денежной стоимости тренировки модели "средней ценой по рынку". Разброс в стоимости H100 в час на рынке сейчас более 4x (AWS - $12.25/hr, Lambda - $3/hr), так что со средним значением под закон будут подпадать модели в разы дешевле чем лимит на бумаге.
Сейчас закон отправился на рассмотрение к губернатору, у которого месяц на то, чтобы либо подписать закон либо наложить на него вето. Если он его подпишет - регуляции вступят в силу уже в 2026 году.
Кажется, если закон примут, то это может прибить AI стартапы в Силиконовой Долине – они будут делать ноги в другие штаты, где и налоги пониже и регуляции помягче. При условии, конечно, что не примут похожую регуляцию на федеральном уровне.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Минимум две компании собираются строить датацентры стоимостью более чем в $125 млрд
Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.
По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.
Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.
Использовать оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от AI должна вырасти ещё во много раз.
Сейчас пока работают на опережение - вбухивают бабло в AI, чтобы не отстать от конкурентов и застолбить лидерскую позицию. А монетизация и прибыль придут чуть позже.
@ai_newz
Комиссар по торговле Северной Дакоты заявил, что правительство штата проводит переговоры о постройке гигантских кластеров в штате - потребление каждого может доходить до 10 гигаватт. Это беспрецедентные масштабы - запущенный вчера Colossus, самый большой кластер в мире, потребляет менее 200 мегаватт, то есть разница более чем в 50 раз.
По словам комиссара, речь идёт о двух компаниях с капитализацией более триллиона. Компаний с такой капитализацией немного: Nvidia, Amazon, Google, Apple, Meta и Microsoft. Apple и Nvidia не столь активны в постройке датацентров, так что это, скорее всего, не они. А вот слухи о Stargate, гигантском датацентре Microsoft, ходят уже полгода.
Северную Дакоту, вероятно, рассматривают потому, что это один из немногих штатов с избытком электроэнергии. Обусловлено это огромными запасами нефти - штат добывает 1,3 миллиона баррелей в день - столько же, сколько добывает, например, Катар. А ведь побочный продукт сланцевой нефти - природный газ, который какое-то время настолько некуда было деть, что его просто сжигали, было видно из космоса.
Использовать оба датацентра точно планируют для ИИ - другие юзкейсы представить сложно. Для контекста: Azure, второе по популярности облако в мире, в сумме потребляло 5 гигаватт на конец предыдущего года. Для того чтобы такие затраты были оправданы, выручка от AI должна вырасти ещё во много раз.
Сейчас пока работают на опережение - вбухивают бабло в AI, чтобы не отстать от конкурентов и застолбить лидерскую позицию. А монетизация и прибыль придут чуть позже.
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Уходим красиво💨 заливаем код в опенсорс
DeveloperHarris, довольно известный в узких кругах разработчик интересных инди-игрушек вокруг концепта использования ИИ для НПС и сторителлинга, закрыл свою "геймстудию" starlightlabsco. Но как же стильно он ушел:
Чел слил в опенсорс весь код своих проектов, так что теперь каждый может дать его детищу второй шанс или поучиться на его примере.
Внутри:
- Starlight: игрушка про деревню, в которой каждый житель имеет свою историю, свою жизнь и мозг. С НПС можно поболтать и простенько повзаимодействовать (собрать урожай вместе).
- Discord Dungeons & Dragons: когда-то писал про бота, который создает ролевую историю. Так вот, это то же самое, но для компании. LLM будет вашим персональным Данжен Мастером.
- Bonfire: LLM-рассказчик, который генерирует визуал.
- Прототип карточной игры, которая позволяет на лету создавать свою колоду.
- StarlightLabsDemo: болтай с 3D-аватарами голосом.
Здесь стоит оговориться, что проекты еще крайне сырые, но, возможно, кто-то из вас соберется да запустит что-то из этого у себя, а может, даже продолжит работу над этим или другим подобным проектом, коих скоро будет огромное количество. За интерактивным и уникальным геймплеем для каждого игрока — будущее!
Гитхаб
Твит, там еще прикольные размышления о том, как сделать игры интереснее и почему он решил закрыть проект. Надеюсь, он не пожалел о содеянном, респект.
@ai_newz
DeveloperHarris, довольно известный в узких кругах разработчик интересных инди-игрушек вокруг концепта использования ИИ для НПС и сторителлинга, закрыл свою "геймстудию" starlightlabsco. Но как же стильно он ушел:
Чел слил в опенсорс весь код своих проектов, так что теперь каждый может дать его детищу второй шанс или поучиться на его примере.
Внутри:
- Starlight: игрушка про деревню, в которой каждый житель имеет свою историю, свою жизнь и мозг. С НПС можно поболтать и простенько повзаимодействовать (собрать урожай вместе).
- Discord Dungeons & Dragons: когда-то писал про бота, который создает ролевую историю. Так вот, это то же самое, но для компании. LLM будет вашим персональным Данжен Мастером.
- Bonfire: LLM-рассказчик, который генерирует визуал.
- Прототип карточной игры, которая позволяет на лету создавать свою колоду.
- StarlightLabsDemo: болтай с 3D-аватарами голосом.
Здесь стоит оговориться, что проекты еще крайне сырые, но, возможно, кто-то из вас соберется да запустит что-то из этого у себя, а может, даже продолжит работу над этим или другим подобным проектом, коих скоро будет огромное количество. За интерактивным и уникальным геймплеем для каждого игрока — будущее!
Гитхаб
Твит, там еще прикольные размышления о том, как сделать игры интереснее и почему он решил закрыть проект. Надеюсь, он не пожалел о содеянном, респект.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
SSI Ильи Суцкевера привлёк $1 млрд 🙀
С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! Вот подняли $1млрд кеша.
Топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.
Топлю за Илью, он реально крут!
@ai_newz
С момента основания Ильей Safe Superintelligence Inc не прошло и трёх месяцев, у неё всего 10 сотрудников, а оценка у неё уже 5 миллиардов! Вот подняли $1млрд кеша.
Топовые инвесторы, вроде a16z и Sequoia, не ожидают скорой прибыли — ведь первым продуктом компании будет сверхинтеллект.
Топлю за Илью, он реально крут!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Только что собеседовал чела по кодингу на SWE (Software Engineer) позицию в инфру. Таких сильных парней попадается меньше чем 1/10. Язык программирования для решения двух кодинг задачек он выбрал Java.
Это тот случай, когда, я как интервьюер, получаю удовольствие от общения с кандидатом. Чел на зубок тебе рассказывает, какая сложность итерации по map в Java, и как контейнер реализован на уровне примитивов, как происходит разбивка на бакеты, какого размера бакеты, как и с какой сложностью происходит поиск внутри бакета, если есть коллизии, что если бакеты маленького размера, что если большого, и т.д. То есть, даже не начав кодить, кандидат дал мне понять, что он очень хорошо сечет в том, что делает, внимателен к деталям, и что ему эти вещи интересны. После такого интро, даже небольшие помарки в коде (типа поставил <= вместо <) уже не имеют значения.
В итоге две задачи решены сильно раньше времени (то есть и код он писал быстро) и без багов, и мысли излагал структурированно. В конце интервью и у меня хорошее настроение, и у кандидата (т.к. я сказал, что он красавец, справился сильно раньше времени). Ну, это 100% зачет!
#interviews #personal
@ai_newz
Это тот случай, когда, я как интервьюер, получаю удовольствие от общения с кандидатом. Чел на зубок тебе рассказывает, какая сложность итерации по map в Java, и как контейнер реализован на уровне примитивов, как происходит разбивка на бакеты, какого размера бакеты, как и с какой сложностью происходит поиск внутри бакета, если есть коллизии, что если бакеты маленького размера, что если большого, и т.д. То есть, даже не начав кодить, кандидат дал мне понять, что он очень хорошо сечет в том, что делает, внимателен к деталям, и что ему эти вещи интересны. После такого интро, даже небольшие помарки в коде (типа поставил <= вместо <) уже не имеют значения.
В итоге две задачи решены сильно раньше времени (то есть и код он писал быстро) и без багов, и мысли излагал структурированно. В конце интервью и у меня хорошее настроение, и у кандидата (т.к. я сказал, что он красавец, справился сильно раньше времени). Ну, это 100% зачет!
#interviews #personal
@ai_newz
TIMES опубликовали список самых важных людей в ИИ. Вайбы от списка хорошо выражаются картинкой.
@ai_newz
@ai_newz
DeepSeek V2.5
Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz
Обновлённая модель, результат мержа DeepSeek V2 и DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz
Наш слоняра, Три Дао.
Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.
@ai_newz
Ну, а что, чел реально в одну харю затащил Flash Attention, на базе которого работают (быстро) все современные LLM. И, кстати, его в непредвзятый список Times не включили.
@ai_newz
Что будет, если дать 1000 ботам возможнось думать и запустить их в Minecraft?
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Они построят цивилизацию...
Только недавно писал про агента, который научился крафтить каменную кирку и кучу всего другого. И вот теперь пожалуйста, они, как муравьи, собрались и построили свой лучший мир без кожаных ублюдков.
Эксперимент был проведён небольшой группой Project Sid. Они не просто научили агентов выполнять команды, но и действовать по своей воле.
Авторы прикрутили агентам понятия о социальном мире. Они способны понимать своё место в этом мире и роль окружающих. Например, они знают, что агент Б — полицейский, его нужно слушаться, а вот агента В, Васяна из соседнего дома можно послать нахрен. Эти роли могут динамически обновляться в зависимости от ситуации.
Более того, они научили квадратных мечтать (см. видос). Там один из агентов-фермеров, услышав о странствиях одного путешественника (разработчики поощряют смолтоки ни о чём), захотел отправиться в путешествие, но потом оставил эту идею "на потом", узнав, что без него деревня голодает. Но самого интересного – технических подробностей нет и, кажется, не предвидится. Жаль, т.к. очень любопытно, что за LLM они гоняли и сколько им это стоило.
Еще у ботов был Google-документ с конституцией, и они голосовали за правки, лол. Говорят, боты универсальные, умеют пользоваться Google-доками и их можно адаптировать под другие игры.
Короче, ребята подготовили достойную высокоморальную замену человечеству (мы то без системы сдержек и противовесов ни о чем договориться не можем). В ролик вставили небольшую полит агитацию Камалы против Трампа, но просто игнорьте это.
И вишенка на торте! С агентами уже может поиграть каждый! Для этого создаём мир в Майнкрафте, открываем для подключения, копируем код порта и вставляем на сайте. Там же можно создать своего кастомного подручного. С ботом можно поболтать или дать ему какие-нибудь задания. За отдельный кэш можно запустить свою симуляцию, но это в личном порядке.
Тред
Дискорд
Реддит
Блог-пост
Сайт с плейтестом
@ai_newz
Нейродайджест за неделю (#34)
GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.
Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.
LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?
Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.
Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.
> Читать дайджест #33
#дайджест
@ai_newz
GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.
Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.
LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?
Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.
Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.
> Читать дайджест #33
#дайджест
@ai_newz
Forwarded from Denis Sexy IT 🤖
Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример ⬆︎
Что на самом деле происходит с этой новой моделью
1. Пару дней твиттерский показал свою новую языковую 70B-модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот
2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)
3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала
4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)
5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)
6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)
7. Пару часов назад автор публикует новую версию модели Reflection 70b e3 и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет
8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы
Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.
Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)
Что на самом деле происходит с этой новой моделью
Reflection-70B:1. Пару дней твиттерский показал свою новую языковую 70B-модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот
2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)
3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала
4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)
5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)
6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)
7. Пару часов назад автор публикует новую версию модели Reflection 70b e3 и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет
8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы
<играет цирковая музыка, вы находитесь здесь>
Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.
Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)
эйай ньюз
Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример ⬆︎ Что на самом деле происходит с этой новой моделью Reflection-70B: 1. Пару дней твиттерский показал свою новую языковую 70B-модель которая с рекордами прошла…
Ещё одно подтверждение, почему не стоит читать помойки от ноунеймов. В интернете много мусора и хайпующих персон без понимания.
Читайте людей у кого есть научные статьи в AI или тех, у кого есть проверенный солидный опыт. А лучше тех, у кого есть и то и то, типа как у вашего покорного слуги, автора этого канала.🙂
@ai_newz
Читайте людей у кого есть научные статьи в AI или тех, у кого есть проверенный солидный опыт. А лучше тех, у кого есть и то и то, типа как у вашего покорного слуги, автора этого канала.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Началась презентация Apple, го смотреть
Будут показывать айфоны, часы и новые ИИ фичи к ним. Кучу всего уже показали на WWDC, но на эту презентацию явно что-то приберегли.
➖ Показали A18 - новый SOC на трёх нанометрах. Neural Engine вплоть до двух раз быстре, добавили 17% пропускной способности памяти. GPU быстрее A16 на 40%.
➖ Apple Intelligence будет досутпен в следующем месяце. Пока только на английском, другие языки будут в следующем году.
https://www.youtube.com/watch?v=uarNiSl_uh4
Пост будет обновляться по ходу презентации
@ai_newz
Будут показывать айфоны, часы и новые ИИ фичи к ним. Кучу всего уже показали на WWDC, но на эту презентацию явно что-то приберегли.
➖ Показали A18 - новый SOC на трёх нанометрах. Neural Engine вплоть до двух раз быстре, добавили 17% пропускной способности памяти. GPU быстрее A16 на 40%.
➖ Apple Intelligence будет досутпен в следующем месяце. Пока только на английском, другие языки будут в следующем году.
https://www.youtube.com/watch?v=uarNiSl_uh4
Пост будет обновляться по ходу презентации
@ai_newz
эйай ньюз
Сверхзвуковые LLM Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости…
Гонка инференса продолжается - Groq вырывается вперёд!
Ускоренный инференс Llama 3.1 70B выдаёт более полутысячи токенов в секунду и скоро будет доступен всем пользователям. Правда, похоже с 8B моделью не получилось обогнать Cerebras - у них вся модель в один чип влезает, конкурировать сложно.
Кстати, CS-3 от Cerebras производят на 5нм техпроцессе, а вот чипы Groq произведены по 14нм техпроцессу 14LPP - ему в этом году стукнет 8 лет. Второе поколение чипов будет уже на 4нм и выпустится до конца следующего года.
Важный момент, который многие упускают - на картинке указана пропускная способность на одного пользователя, не общая пропускная способность системы. Одна H200 может выдать с Llama 2 70B более 4к токенов в секунду, но только при больших батчах, на одного пользователя там скорость сильно меньше сотни токенов в секунду.
@ai_newz
Ускоренный инференс Llama 3.1 70B выдаёт более полутысячи токенов в секунду и скоро будет доступен всем пользователям. Правда, похоже с 8B моделью не получилось обогнать Cerebras - у них вся модель в один чип влезает, конкурировать сложно.
Кстати, CS-3 от Cerebras производят на 5нм техпроцессе, а вот чипы Groq произведены по 14нм техпроцессу 14LPP - ему в этом году стукнет 8 лет. Второе поколение чипов будет уже на 4нм и выпустится до конца следующего года.
Важный момент, который многие упускают - на картинке указана пропускная способность на одного пользователя, не общая пропускная способность системы. Одна H200 может выдать с Llama 2 70B более 4к токенов в секунду, но только при больших батчах, на одного пользователя там скорость сильно меньше сотни токенов в секунду.
@ai_newz
Pixtral - 12B мультимодальная модель от Mistral
Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают. Вот только ещё добавили энкодер для картинок на 24 слоя.
Что модель делает вообще? Эта модель для того чтобы чатиться с картинками и задавать по ним вопросы. Обычный мистраль умеет только текст понимать.
Конфиг:
Веса на HF
@ai_newz
Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают. Вот только ещё добавили энкодер для картинок на 24 слоя.
Что модель делает вообще? Эта модель для того чтобы чатиться с картинками и задавать по ним вопросы. Обычный мистраль умеет только текст понимать.
Конфиг:
{
"dim": 5120,
"n_layers": 40,
"head_dim": 128,
"hidden_dim": 14336,
"n_heads": 32,
"n_kv_heads": 8,
"rope_theta": 1000000000.0,
"norm_eps": 1e-05,
"vocab_size": 131072,
"vision_encoder": {
"hidden_size": 1024,
"num_channels": 3,
"image_size": 1024,
"patch_size": 16,
"rope_theta": 10000.0,
"intermediate_size": 4096,
"num_hidden_layers": 24,
"num_attention_heads": 16,
"image_token_id": 10
}
}magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%https://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%https://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%https://2Ftracker.ipv6tracker.org%3A80%2FannounceВеса на HF
@ai_newz
После предыдущего стрима про карьеру и учебу в AI мне в личку написало очень много людей со своими вопросами. Так как в личке всем развернуто ответить сложно, я решил провести еще один стрим на тему учебы в Европе и того, что нужно для роли AI Scientist / AI Engineer в FAANG.
📌 Стрим будет завтра (12 сентября) с 16:00 до 17:00 CET.
На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.
Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.
Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.
Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.
Сохраняйте дату себе в календарь: инвайт.
Увидимся завтра!
@ai_newz
На этот раз я пригласил на стрим еще двух ребят (Настю и Никиту). Мы с ними обсудим учебу в Германии, Франции и Великобритании и наш опыт из первых рук.
Настя училась на бакалавриате и в магистратуре в Karlsruhe Institute of Technology (KIT) в Германии. Никита учился в магистратуре École Polytechnique во Франции, и на PhD в Лондоне на совместной программе между Meta и Oxford University. Ну, а про меня вы знаете.
Темы стрима:
- Поговорим про различные роли в AI: Research Scientist, Research Engineer, ML Engineer, Data Scientist. Чем они отличаются, и что для них нужно знать и уметь.
- Про PhD, магистратуру и бакалавриат в разных странах Европы и чем они отличаются.
- Про PhD программу внутри Meta в Лондоне и Париже, и как туда попасть студенту.
- Про собеседования и поиск работы в AI.
Как всегда, пишите в комментах свои вопросы, в конце стрима я отвечу на самые интересные.
Сохраняйте дату себе в календарь: инвайт.
Увидимся завтра!
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
В гонке быстрого инференса новый участник
SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.
Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.
Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.
API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.
Попробовать можно тут
Предыдущий пост из серии про быстрый инференс: тык.
@ai_newz
SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.
Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.
Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.
API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.
Попробовать можно тут
Предыдущий пост из серии про быстрый инференс: тык.
@ai_newz