Мишин Лернинг 🇺🇦🇮🇱
7.89K subscribers
1.17K photos
141 videos
4 files
635 links
Субъективный канал об искусстве машинного обучения, нейронных сетях и новостях из мира искусственного интеллекта.
Download Telegram
🤖🎓 Новая эра в ИИ: NVIDIA представила карту H100 и супер компьютер DGX H100 | Спойлер: все будет в 3-6 раз быстрее !

Новая карточка H100 базируется на 4-нм техпроцессе c 80GB памяти оказывается в 3х шустрее A100 на fp16 и fp32 и 6x в fp8:
▪️FP8 4,000 TFLOPS (6x A100)
▪️FP16 2,000 TFLOPS (3x A100)
▪️FP32 1,000 TFLOPS (3x A100)
▪️HBM3 3 TB/S (1.5x A100)

Новый
суперкомпьютер DGX H100 содержит в себе:
▪️8 H100 GPU
▪️32 PFLOPS of AI Performance
▪️640 GB of HBM3 memory
▪️24 TB/s
memory Bandwidth

Cамое интересное то, что NVIDIA уделили внимание трансформерам и представили в H100 Transformer Engine, который сочетает новую версию Tensor Core и software для fp8 и fp16 вычислений.

По заявлениям обучение гигантских трансформеров должно сократиться с недель до дней.

Напоминаю, что Nvidia объявила, что остановила продажу всей своей продукции на территории России.

🎥 p.s.: запись трансляции GTC 2022 Keynote with NVIDIA CEO Jensen Huang. (забавно, но пока всего 5К просмотров)
👍4813👎1
Forwarded from Denis Sexy IT 🤖
Уже почти месяц идет Российско-украинская война – месяц крови и разорванных снарядами сердец.

За 30 дней огонь войны сжевал десятки городов Украины, в этом огне окончательно выковалась нация – свободная, гордая, убившая риторику «Можем взять Киев за 2 дня» в головах имперцев.

Нет, не можете и не сможете.

За этот же месяц мы увидели много людей без сердец в России; 70 лет которые притворялись, что они помнят ту боль, что причинила ВОВ нашим народам – оказалось не помнят, оказалось что потенция у них только когда ракеты летят, стоит у них от запаха гуталина, слезы и кровь у них лубрикант.

За месяц окончательно стало ясно – где враг, а где друг. Кого нужно запомнить, кого нужно забыть.

Часть моих родных беженцы в ЕС. Часть просыпаются от взрывов над головой вместо «Вставай, пора на уроки». Но я везучий – многие люди в Украине уже не просыпаются.

Я выгрузил карты освещения местности по дням, с первого дня войны. Вы можете видеть как тьма наступает вместе с армией РФ.

Но свет не исчез. Свет есть в вас, кто сейчас там, кто спасает на границах, на фронтах, под обстрелами, или людям из России, Белоруссии, из ЕС, США, и остального мира, кто помогает, волонтерит, ищет способы, чувствует.

Спасибо вам, благодаря вам я знаю – что это, быть Человеком. Вы зажжете свет обратно – тьма отступит и это будет видно из космоса.

💛💙
166👎27👍16😢11
🔫 Nvidia выпустила GeForce RTX 3090 Ti | Рекомендованная цена: 2000$

Вкратце пробежимся по деталям:
10% средний буст в сравнении с 3090
VRAM остался 24gb
VRAM Speed вырос до 21 Gbps vs 19.5 Gbps (3090)
TFLOPS FP32: 40.0 vs 35.6 (3090)
TFLOPS FP16: 160 vs 142 (3090)
Рекомендованная цена: $1,999 vs $1,499 (3090)
Кастомные карточки будут доходить в цене до 3000$

🚀
RTX 3090 Family: 3090 & 3090TI
22😢8👍6👎3
🔥🥑 Прощай DALL•E и GLIDE, Да здравствует Text-to-Image Latent Diffusion

Наверное многие из вас помнят успех VQ-GAN, наследника VQ-VAE от CompVis.

Так вот, пару месяцев назад ребята сделали Latent Diffusion кодировщик-декодеровщик, а сегодня на его базе на свет появился лучший Text-to-Image!!

Идея Dall-E заключается в том, что GPT трансформер обучают переводу из текстовой последовательности токенов в последовательность VQ-VAE / VQ-GAN токенов. Кроме DALL-E недавно появился GLIDE, который показал, что classifier-free guidance диффузия может обгонять GPT подход, используемый в DALL-E.

Все это чудо стало возможным благодаря stability.ai, датасету laion 5b и ресерчерам, которые делают штуки круче OpenAI, и отдают их в open source!!

p.s.: посмотрите на эти примеры на картинке к посту, это действительно next gen! Даже текст выходит нормально.

🔮 Collab 🧿 kaggle
57👍25😢1
Отложенный труп Жириновского | Теперь уже официальный RuntimeError и согласованный CUDA Out Of Memory
47👍22👎13😢3
🤖🥑 Latent Diffusion LAION 400M Colab

Теперь работает на всех google аккаунтах и без pro / pro+ colab подписки.

p.s. Диффузия таки может не только в абстракцию, но и в текст!

🔮 latent diffusion laion 400M
👍216
🥑🎓 DALL•E 2 от OpenAI

Походу OpenAI выкатила действительно NextGen

https://openai.com/dall-e-2/
23👍3
Media is too big
VIEW IN TELEGRAM
🥑😈 DALL•E 2 от OpenAI: Hierarchical Text-Conditional Image Generation with CLIP Latents

2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.

Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!

🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!

p.s.: да, OpenAI все еще ClosedAI, так что надежда или на крутой клон от Stability.AI, ну или на waitlist 🙃

📰 Paper 🎓 Blog 🎥 Янык
19👍10
🥑 DALL•E 2 text-to-image examples from OpenAI researchers

▪️A rabbit detective sitting on a park bench and reading a newspaper in a victorian setting

▪️Rabbits attending a college seminar on human anatomy

▪️A vacuum listening to music on its headphones while cleaning the room

▪️A raccoon wearing a with a lightsaber

▪️A raccoon wearing a hoodie working on his
laptop late into the night in Los Angeles making a 'yes'

▪️A raccoon wearing a hoodie working on his
laptop late into the night

▪️A kid and a dog staring at the stars

▪️An elephant tea party on a grass lawn

▪️A panda wearing red bandana and sunglasses on the motorcycle in the desert
50👍19