AI переходит в фазу промышленного строительства: что нас ждет?
Друзья, уже несколько дней порываюсь написать про AI $600B Question, и тут как раз вышло продолжение серии.
Сегодня разберем интересную статью Дэвида Кана "AI is Now Shovel Ready". Автор рассматривает грядущий бум строительства дата-центров для ИИ и его влияние на энергетику и экономику. Давайте разберемся, что нас ждет в ближайшие годы.
Ключевые прогнозы
1. ИИ станет (если уже не стал) катализатором энергетической трансформации. Ожидается рост солнечной энергетики, инноваций в области аккумуляторов и возрождение ядерной энергетики (уже от 3х серьезных людей в долине слышал про ядерный реактор Майкрософта для AGI датацентра).
2. Некоторые крупные облачные провайдеры могут оказаться недостаточно гибкими для быстро меняющихся требований к дата-центрам. Это создаст возможности для новых промышленных игроков в сфере ИИ.
3. В ближайшие полгода появится много новостей о задержках в строительстве дата-центров из-за проблем с жидкостным охлаждением, размером кластеров и доступом к электроэнергии.
4. Строительство новых дата-центров для ИИ станет стимулом для экономики и создаст рабочие места в реальном секторе: сталелитейной промышленности, энергетике, грузоперевозках и строительстве.
5. Когда новые мощности дата-центров заработают, стоимость обучения и инференса на платформах AWS, Azure и GCP снизится, что будет выгодно для стартапов.
Масштабы строительства
Автор приводит впечатляющие цифры по планам крупнейших технологических компаний:
- Amazon: $50 млрд на новые проекты дата-центров только в первой половине 2024 года, всего $100-150 млрд за 15 лет.
- Microsoft: удваивает строительство новых дата-центров в 2024 году, с проектами по всему миру.
- Google: хотя и меньше по масштабам, но также активно расширяется.
- Meta: не имея облачного бизнеса, все равно наращивает мощности для внутренних нужд ИИ.
Ключевые вызовы
1. Энергетика: Потребуется значительное увеличение генерирующих мощностей, особенно в солнечной и ветровой энергетике.
2. Охлаждение: Новое поколение чипов Nvidia требует жидкостного охлаждения, что создает дефицит в цепочке поставок.
3. Инфраструктура: Двухлетний период ожидания дизельных генераторов, необходимость инноваций в области литий-ионных аккумуляторов.
4. Размер кластеров: Беспрецедентные масштабы (например, анонсированный Илоном Маском кластер на 300 тыс. GPU) создают новые технические вызовы.
Выводы
1. Мы находимся на пороге перехода от "цикла хайпа" к реальному промышленному циклу в сфере ИИ.
2. Этот переход создаст значительные возможности и вызовы для разных секторов экономики.
3. Успех будет зависеть от операционной эффективности и способности быстро адаптироваться к изменениям.
4. Возможно появление новых лидеров рынка, особенно на стыке энергетики, промышленности и ИИ.
Что это значит для нас?
1. Для инвесторов: Стоит обратить внимание на компании, работающие в сфере энергетики, промышленного строительства и инфраструктуры для дата-центров.
2. Для стартапов: Ожидается снижение стоимости использования ИИ-инфраструктуры, что может открыть новые возможности.
3. Для специалистов: Растет спрос на экспертов в области энергетики, промышленного строительства и эксплуатации дата-центров.
4. Для общества: Нас ждет значительная трансформация энергетического сектора и создание новых рабочих мест в традиционных отраслях.
Что вы думаете об этих прогнозах? Как, по вашему мнению, этот промышленный бум в сфере ИИ повлияет на нашу жизнь и экономику? Делитесь своими мыслями в комментариях!
📈 Статья
Друзья, уже несколько дней порываюсь написать про AI $600B Question, и тут как раз вышло продолжение серии.
Сегодня разберем интересную статью Дэвида Кана "AI is Now Shovel Ready". Автор рассматривает грядущий бум строительства дата-центров для ИИ и его влияние на энергетику и экономику. Давайте разберемся, что нас ждет в ближайшие годы.
Ключевые прогнозы
1. ИИ станет (если уже не стал) катализатором энергетической трансформации. Ожидается рост солнечной энергетики, инноваций в области аккумуляторов и возрождение ядерной энергетики (уже от 3х серьезных людей в долине слышал про ядерный реактор Майкрософта для AGI датацентра).
2. Некоторые крупные облачные провайдеры могут оказаться недостаточно гибкими для быстро меняющихся требований к дата-центрам. Это создаст возможности для новых промышленных игроков в сфере ИИ.
3. В ближайшие полгода появится много новостей о задержках в строительстве дата-центров из-за проблем с жидкостным охлаждением, размером кластеров и доступом к электроэнергии.
4. Строительство новых дата-центров для ИИ станет стимулом для экономики и создаст рабочие места в реальном секторе: сталелитейной промышленности, энергетике, грузоперевозках и строительстве.
5. Когда новые мощности дата-центров заработают, стоимость обучения и инференса на платформах AWS, Azure и GCP снизится, что будет выгодно для стартапов.
Масштабы строительства
Автор приводит впечатляющие цифры по планам крупнейших технологических компаний:
- Amazon: $50 млрд на новые проекты дата-центров только в первой половине 2024 года, всего $100-150 млрд за 15 лет.
- Microsoft: удваивает строительство новых дата-центров в 2024 году, с проектами по всему миру.
- Google: хотя и меньше по масштабам, но также активно расширяется.
- Meta: не имея облачного бизнеса, все равно наращивает мощности для внутренних нужд ИИ.
Ключевые вызовы
1. Энергетика: Потребуется значительное увеличение генерирующих мощностей, особенно в солнечной и ветровой энергетике.
2. Охлаждение: Новое поколение чипов Nvidia требует жидкостного охлаждения, что создает дефицит в цепочке поставок.
3. Инфраструктура: Двухлетний период ожидания дизельных генераторов, необходимость инноваций в области литий-ионных аккумуляторов.
4. Размер кластеров: Беспрецедентные масштабы (например, анонсированный Илоном Маском кластер на 300 тыс. GPU) создают новые технические вызовы.
Выводы
1. Мы находимся на пороге перехода от "цикла хайпа" к реальному промышленному циклу в сфере ИИ.
2. Этот переход создаст значительные возможности и вызовы для разных секторов экономики.
3. Успех будет зависеть от операционной эффективности и способности быстро адаптироваться к изменениям.
4. Возможно появление новых лидеров рынка, особенно на стыке энергетики, промышленности и ИИ.
Что это значит для нас?
1. Для инвесторов: Стоит обратить внимание на компании, работающие в сфере энергетики, промышленного строительства и инфраструктуры для дата-центров.
2. Для стартапов: Ожидается снижение стоимости использования ИИ-инфраструктуры, что может открыть новые возможности.
3. Для специалистов: Растет спрос на экспертов в области энергетики, промышленного строительства и эксплуатации дата-центров.
4. Для общества: Нас ждет значительная трансформация энергетического сектора и создание новых рабочих мест в традиционных отраслях.
Что вы думаете об этих прогнозах? Как, по вашему мнению, этот промышленный бум в сфере ИИ повлияет на нашу жизнь и экономику? Делитесь своими мыслями в комментариях!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32👍9❤1
TLDR: Wunder Fund, Data Detective, Data Infrastructure Engineer, Алготрейдинг, HFT, remote
💵 Вилка: $5-8k net (на руки)
🐶 Платим удобным способом, помогаем с релокацией много куда, удаленка.
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) уже 10 лет и наш дневной оборот больше $5 млрд. Каждый день мы аккуратно сохраняем большой объем биржевых данных и преобразуем их в специальный единый формат, чтобы наши кванты могли тестировать идеи и создавать торговые алгоритмы.
🕵🏻♂️ Задачи: Несмотря на предельную аккуратность, потери случаются. Поэтому сейчас у нас отрыта роль Data Infrastructure Engineer/Researcher, работа которого будет похожа на детективное расследование. Нам очень важно, чтобы полученные данные были пригодны для симуляции и на 100% совпадали с реальными событиями на бирже. Ты будешь создавать очень надежные дата-пайплайны, чекеры, расследовать загадочные инциденты.
💡Кому будет интересно:
Причины потерь и расхождений всегда нетривиальны, поэтому в этой роли важен именно интерес к исследованию и желание докопаться до сути вещей. Со временем у тебя появится развитая интуиция и ты сможешь расследовать не только уже случившиеся инциденты, но и предсказывать те, что еще не выстрелили в продакшне.
Что нужно:
— Python 3
— Быть опытным практиком в методе пристального вглядывания в данные;
— Мы ожидаем, что у тебя уже есть успешный опыт работы с дата-пайплайнами
— Будет плюсом: успехи в Kaggle-соревнованиях; ШАД, успехи в ICPC и других олимпиадах.
Подробнее: https://clck.ru/3BcVkD
Пишите в ТГ: @wunderfund
#реклама
💵 Вилка: $5-8k net (на руки)
🐶 Платим удобным способом, помогаем с релокацией много куда, удаленка.
👁 Инфа: Мы — Wunder Fund, занимаемся высокочастотной торговлей (HFT) уже 10 лет и наш дневной оборот больше $5 млрд. Каждый день мы аккуратно сохраняем большой объем биржевых данных и преобразуем их в специальный единый формат, чтобы наши кванты могли тестировать идеи и создавать торговые алгоритмы.
🕵🏻♂️ Задачи: Несмотря на предельную аккуратность, потери случаются. Поэтому сейчас у нас отрыта роль Data Infrastructure Engineer/Researcher, работа которого будет похожа на детективное расследование. Нам очень важно, чтобы полученные данные были пригодны для симуляции и на 100% совпадали с реальными событиями на бирже. Ты будешь создавать очень надежные дата-пайплайны, чекеры, расследовать загадочные инциденты.
💡Кому будет интересно:
Причины потерь и расхождений всегда нетривиальны, поэтому в этой роли важен именно интерес к исследованию и желание докопаться до сути вещей. Со временем у тебя появится развитая интуиция и ты сможешь расследовать не только уже случившиеся инциденты, но и предсказывать те, что еще не выстрелили в продакшне.
Что нужно:
— Python 3
— Быть опытным практиком в методе пристального вглядывания в данные;
— Мы ожидаем, что у тебя уже есть успешный опыт работы с дата-пайплайнами
— Будет плюсом: успехи в Kaggle-соревнованиях; ШАД, успехи в ICPC и других олимпиадах.
Подробнее: https://clck.ru/3BcVkD
Пишите в ТГ: @wunderfund
#реклама
😢13👍9😐5❤3
🍃 Тёмная сторона бума искусственного интеллекта: экологические последствия
Вчера мы обсуждали грандиозные планы по строительству дата-центров для искусственного интеллекта. Сегодня давайте взглянем на обратную сторону медали – влияние этого технологического бума на нашу планету.
Каждые три месяца мощность, используемая для работы ИИ, удваивается. Звучит впечатляюще, не так ли? Но за этими цифрами скрывается суровая реальность. Оказывается, один запрос к ИИ-помощнику может потреблять в десять раз больше энергии, чем обычный поиск в Google. А если говорить о сложных задачах, то разница может достигать тридцатикратного размера!
Что это значит на практике? Возьмём, к примеру, гигантов индустрии. Microsoft, Meta, Google – все они отчитываются о стремительном росте выбросов углекислого газа. За последние несколько лет эти показатели выросли на 40-65%. Согласитесь, цифры впечатляющие, и не в хорошем смысле.
Но проблема не ограничивается только выбросами. Дата-центры – настоящие водохлёбы. Только представьте: на каждый мегаватт-час энергии они потребляют около семи тысяч литров воды. Для охлаждения серверов Google в США ежегодно уходит почти 13 миллиардов литров пресной воды. Это в то время, когда многие регионы страдают от засухи!
Возникает закономерный вопрос: что же делать? Технологические компании не сидят сложа руки. Они запускают "водопозитивные" инициативы, обещая к 2030 году восполнять больше воды, чем потребляют. Звучит неплохо, но достаточно ли этого?
Интересно, что сами IT-специалисты не особо обеспокоены ситуацией. Хотя больше двух третей из них признают проблему роста энергопотребления, многие просто не знают, как с этим бороться. Не хватает навыков, знаний, а порой и просто понимания масштаба проблемы.
Что же это значит для нас с вами? Во-первых, каждый раз, обращаясь к ИИ-помощнику, мы оставляем свой, пусть небольшой, но экологический след. Во-вторых, компаниям придётся серьёзно задуматься об экологичности при внедрении ИИ-технологий, и не потому что левые-зеленые подняли вой, а потому что при таких темпах роста потребления воды скоро придется выбирать между ИИ и выращиванием продуктов. Вероятно, что вскоре мы увидим новые законы, регулирующие эту сферу.
А для учёных и инженеров открывается новое поле деятельности. Как сделать ИИ более энергоэффективным? Как охлаждать серверы, не истощая водные ресурсы? Эти вопросы ждут своих решений.
Знаете, глядя на все эти цифры и факты, невольно задумываешься: сможем ли мы найти баланс между техническим прогрессом и заботой о природе? Или однажды нам придётся выбирать между умными помощниками и чистым воздухом?
📉 Статья
Вчера мы обсуждали грандиозные планы по строительству дата-центров для искусственного интеллекта. Сегодня давайте взглянем на обратную сторону медали – влияние этого технологического бума на нашу планету.
Каждые три месяца мощность, используемая для работы ИИ, удваивается. Звучит впечатляюще, не так ли? Но за этими цифрами скрывается суровая реальность. Оказывается, один запрос к ИИ-помощнику может потреблять в десять раз больше энергии, чем обычный поиск в Google. А если говорить о сложных задачах, то разница может достигать тридцатикратного размера!
Что это значит на практике? Возьмём, к примеру, гигантов индустрии. Microsoft, Meta, Google – все они отчитываются о стремительном росте выбросов углекислого газа. За последние несколько лет эти показатели выросли на 40-65%. Согласитесь, цифры впечатляющие, и не в хорошем смысле.
Но проблема не ограничивается только выбросами. Дата-центры – настоящие водохлёбы. Только представьте: на каждый мегаватт-час энергии они потребляют около семи тысяч литров воды. Для охлаждения серверов Google в США ежегодно уходит почти 13 миллиардов литров пресной воды. Это в то время, когда многие регионы страдают от засухи!
Возникает закономерный вопрос: что же делать? Технологические компании не сидят сложа руки. Они запускают "водопозитивные" инициативы, обещая к 2030 году восполнять больше воды, чем потребляют. Звучит неплохо, но достаточно ли этого?
Интересно, что сами IT-специалисты не особо обеспокоены ситуацией. Хотя больше двух третей из них признают проблему роста энергопотребления, многие просто не знают, как с этим бороться. Не хватает навыков, знаний, а порой и просто понимания масштаба проблемы.
Что же это значит для нас с вами? Во-первых, каждый раз, обращаясь к ИИ-помощнику, мы оставляем свой, пусть небольшой, но экологический след. Во-вторых, компаниям придётся серьёзно задуматься об экологичности при внедрении ИИ-технологий, и не потому что левые-зеленые подняли вой, а потому что при таких темпах роста потребления воды скоро придется выбирать между ИИ и выращиванием продуктов. Вероятно, что вскоре мы увидим новые законы, регулирующие эту сферу.
А для учёных и инженеров открывается новое поле деятельности. Как сделать ИИ более энергоэффективным? Как охлаждать серверы, не истощая водные ресурсы? Эти вопросы ждут своих решений.
Знаете, глядя на все эти цифры и факты, невольно задумываешься: сможем ли мы найти баланс между техническим прогрессом и заботой о природе? Или однажды нам придётся выбирать между умными помощниками и чистым воздухом?
📉 Статья
❤30😁11😐6👍4🔥4😢4
Claude Artifacts теперь можно делиться с друзьями
Anthropic только что анонсировали возможность делиться созданными артефактами.
Сделал для вас AI Змейку
Пока что, созданным артефактом нельзя управлять (нет никакого дашборда и статистики), но полагаю, что это временно. Еще из прикольного - артефакты можно Ремиксовать (откроется окошко с чатом, и Артефакт можно будет переделать под себя).
Определенно - это инетерсный подход, и думаю что будет спрос на инструменты для отслеживания эволюции Артефактов.
Вообщем, добро пожаловать в новую эру - Apps 2.0
Anthropic только что анонсировали возможность делиться созданными артефактами.
Сделал для вас AI Змейку
Пока что, созданным артефактом нельзя управлять (нет никакого дашборда и статистики), но полагаю, что это временно. Еще из прикольного - артефакты можно Ремиксовать (откроется окошко с чатом, и Артефакт можно будет переделать под себя).
Определенно - это инетерсный подход, и думаю что будет спрос на инструменты для отслеживания эволюции Артефактов.
Вообщем, добро пожаловать в новую эру - Apps 2.0
🔥30🤩5❤2
Форум: расскажите мне пожалуйста все что нужно знать про State Space Models?
Особенно интересует применение к аудио. Например, видел AudioMamba, но они зачем то из аудио наделали спектрограм, которые почанкали. Насколько я понимаю, там весь смысл в том что мамба должна из коробки с последовательностями дружить.
Короче, все что нужно знать (не обязательно только про аудио), пожалуйста делитесь в комменты
Особенно интересует применение к аудио. Например, видел AudioMamba, но они зачем то из аудио наделали спектрограм, которые почанкали. Насколько я понимаю, там весь смысл в том что мамба должна из коробки с последовательностями дружить.
Короче, все что нужно знать (не обязательно только про аудио), пожалуйста делитесь в комменты
❤9👍3🤩3
Исследовательское партнерство OpenAI и Los Alamos National Laboratory
OpenAI и Национальная Лаборатория Лос-Аламос (LANL) объединились для оценки возможностей ИИ в бионауках. Это партнерство изучает, как мульти-модальные модели ИИ могут поддерживать научные эксперименты, объединяя зрительные и голосовые возможности для улучшения лабораторных работ. Исследования включают безопасность использования моделей GPT-4о в лабораторных условиях. Уже было исследование про GPT4, и теперь надо понять, насколько безопасны аудио-визуальные способности модели.
Проект оценивает, как ИИ может помочь выполнять стандартные лабораторные задачи, такие как культивирование клеток и подготовки образцов для масс-спектрометрии, напр. Цель - повысить эффективность работы ученых, как опытных исследователей, так и PhD студентов. Модели ИИ будут анализировать визуальные и голосовые данные, помогая ученым в реальном времени. Например, ИИ ассистент может распознавать визуальные аномалии в процессе культивирования клеток и предупреждать исследователей о необходимости вмешательства, обеспечивая более точный и воспроизводимый процесс.
Дело полезное, т.к. ИИ для биологических исследований должен быть безопасным и продуктивным, а результаты этих оценок помогут установить новые стандарты безопасности и эффективности ИИ в науке.
Анонс
OpenAI и Национальная Лаборатория Лос-Аламос (LANL) объединились для оценки возможностей ИИ в бионауках. Это партнерство изучает, как мульти-модальные модели ИИ могут поддерживать научные эксперименты, объединяя зрительные и голосовые возможности для улучшения лабораторных работ. Исследования включают безопасность использования моделей GPT-4о в лабораторных условиях. Уже было исследование про GPT4, и теперь надо понять, насколько безопасны аудио-визуальные способности модели.
Проект оценивает, как ИИ может помочь выполнять стандартные лабораторные задачи, такие как культивирование клеток и подготовки образцов для масс-спектрометрии, напр. Цель - повысить эффективность работы ученых, как опытных исследователей, так и PhD студентов. Модели ИИ будут анализировать визуальные и голосовые данные, помогая ученым в реальном времени. Например, ИИ ассистент может распознавать визуальные аномалии в процессе культивирования клеток и предупреждать исследователей о необходимости вмешательства, обеспечивая более точный и воспроизводимый процесс.
Дело полезное, т.к. ИИ для биологических исследований должен быть безопасным и продуктивным, а результаты этих оценок помогут установить новые стандарты безопасности и эффективности ИИ в науке.
Анонс
❤12👍6🔥2😱2
This media is not supported in your browser
VIEW IN TELEGRAM
Уже представляете себе тик токи с путешествиями Барсика?
😁51🤩13😱2😐1
Сегодня хочу обратить ваше внимание на пост из канала Машин Лернинг. Автор(ка) делится инсайтами из лекции Яна ЛеКуна, одного из пионеров глубокого обучения и лауреата премии Тьюринга.
В посте затрагиваются действительно важные темы:
- Почему нам необходимы мультимодальные нейросети
- Ограничения современных языковых моделей
- Будущее AGI
- А также немного философии о том, что действительно важно в научной карьере
Особенно интересны расчёты, показывающие, насколько человеческий опыт богаче, чем данные, на которых обучаются современные ИИ-модели.
Рекомендую прочитать этот пост всем, кто интересуется будущим ИИ и хочет понять, какие вызовы стоят перед исследователями в этой области.
А если интересно почитать что думают другие авторы каналов - то вот вам
ИИ папка 📂
В посте затрагиваются действительно важные темы:
- Почему нам необходимы мультимодальные нейросети
- Ограничения современных языковых моделей
- Будущее AGI
- А также немного философии о том, что действительно важно в научной карьере
Особенно интересны расчёты, показывающие, насколько человеческий опыт богаче, чем данные, на которых обучаются современные ИИ-модели.
Рекомендую прочитать этот пост всем, кто интересуется будущим ИИ и хочет понять, какие вызовы стоят перед исследователями в этой области.
А если интересно почитать что думают другие авторы каналов - то вот вам
ИИ папка 📂
🔥10😁6👍5❤3😢3🤯1😱1
MathΣtral - калькулятор на стероидах
В честь 2311-летия Архимеда Mistral выпустили модель MathΣtral, и она уже доступна для использования под лицензией Apache 2.0
MathΣtral основана на модели Mistral 7B и специализируется на предметах STEM (наука, технологии, инженерия, математика).
Она имеет контекстное окно в 32k и демонстрирует выдающиеся способности в логическом мышлении, особенно в решении сложных математических задач.
Модель достигает 56,6% на MATH и 63,47% на MMLU. Особенно впечатляют результаты с majority voting — 68,37% (ответ выбирается на основе большинства предложенных решений) и 74,59% если ответ выбирает strong reward model из 64 предложений, сгенерированных Mathstral 7B.
MathΣtral была создана в рамках сотрудничества с тем самым проектом Numina, и её выпуск - часть усилий Mistral AI по поддержке академических инициатив.
По идее создателей MathΣtral должна стать помощником для студентов и исследователей в решении задач, требующих высокого уровня математических рассуждений.
Забавно, что в бухгалтерии модель не сильна.
🤗 Веса на HF
🖤 Потрогать
⭐️ Файнтьюнить (LoRa-based, рекомендуют A100 or H100 GPU)
В честь 2311-летия Архимеда Mistral выпустили модель MathΣtral, и она уже доступна для использования под лицензией Apache 2.0
MathΣtral основана на модели Mistral 7B и специализируется на предметах STEM (наука, технологии, инженерия, математика).
Она имеет контекстное окно в 32k и демонстрирует выдающиеся способности в логическом мышлении, особенно в решении сложных математических задач.
Модель достигает 56,6% на MATH и 63,47% на MMLU. Особенно впечатляют результаты с majority voting — 68,37% (ответ выбирается на основе большинства предложенных решений) и 74,59% если ответ выбирает strong reward model из 64 предложений, сгенерированных Mathstral 7B.
MathΣtral была создана в рамках сотрудничества с тем самым проектом Numina, и её выпуск - часть усилий Mistral AI по поддержке академических инициатив.
По идее создателей MathΣtral должна стать помощником для студентов и исследователей в решении задач, требующих высокого уровня математических рассуждений.
Забавно, что в бухгалтерии модель не сильна.
🤗 Веса на HF
⭐️ Файнтьюнить (LoRa-based, рекомендуют A100 or H100 GPU)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16😁8👍4❤2
📢 OpenAI представляет GPT-4o mini! 🚀
Друзья, мы стоим на пороге новой эры в развитии искусственного интеллекта! OpenAI только что анонсировала GPT-4o mini – свою самую экономичную маленькую модель, которая обещает перевернуть наше представление о доступности передовых ИИ-технологий.
До сих пор высокая стоимость использования мощных языковых моделей была серьезным барьером для их широкого применения. Но GPT-4o mini меняет правила игры. Представьте себе: всего 15 центов за миллион входных токенов – это на 60% дешевле, чем GPT-3.5 Turbo!
Может ли "малая" модель конкурировать с более крупными собратьями? Результаты тестирования и отзывы первых пользователей говорят, что очень даже может! GPT-4o mini не просто конкурирует – она превосходит GPT-3.5 Turbo по многим параметрам!
Разработчики уже начинают интегрировать GPT-4o mini в свои приложения, и вот что их ждет:
* Поддержка мультимодального ввода (текст + изображения)
* Впечатляющее контекстное окно в 128K токенов
* 82% точности на MMLU (тест на рассуждение и интеллект)
Главный вопрос теперь: сможет ли GPT-4o mini действительно демократизировать ИИ? Я думаю, что да. Эта модель открывает двери для нового поколения ИИ-приложений, делая передовые технологии доступными как для разработчиков, так и для конечных пользователей.
По ценам: разработчики платят 15 центов за 1 млн входных токенов и 60 центов за 1 млн выходных токенов (примерно эквивалент 2500 страниц в стандартной книге).
GPT-4o mini – это не просто новая модель. Это шаг к будущему, где мощный ИИ доступен каждому. Это баланс между доступностью и производительностью, о котором мы так долго мечтали.
Новость
Друзья, мы стоим на пороге новой эры в развитии искусственного интеллекта! OpenAI только что анонсировала GPT-4o mini – свою самую экономичную маленькую модель, которая обещает перевернуть наше представление о доступности передовых ИИ-технологий.
До сих пор высокая стоимость использования мощных языковых моделей была серьезным барьером для их широкого применения. Но GPT-4o mini меняет правила игры. Представьте себе: всего 15 центов за миллион входных токенов – это на 60% дешевле, чем GPT-3.5 Turbo!
Может ли "малая" модель конкурировать с более крупными собратьями? Результаты тестирования и отзывы первых пользователей говорят, что очень даже может! GPT-4o mini не просто конкурирует – она превосходит GPT-3.5 Turbo по многим параметрам!
Разработчики уже начинают интегрировать GPT-4o mini в свои приложения, и вот что их ждет:
* Поддержка мультимодального ввода (текст + изображения)
* Впечатляющее контекстное окно в 128K токенов
* 82% точности на MMLU (тест на рассуждение и интеллект)
Главный вопрос теперь: сможет ли GPT-4o mini действительно демократизировать ИИ? Я думаю, что да. Эта модель открывает двери для нового поколения ИИ-приложений, делая передовые технологии доступными как для разработчиков, так и для конечных пользователей.
По ценам: разработчики платят 15 центов за 1 млн входных токенов и 60 центов за 1 млн выходных токенов (примерно эквивалент 2500 страниц в стандартной книге).
GPT-4o mini – это не просто новая модель. Это шаг к будущему, где мощный ИИ доступен каждому. Это баланс между доступностью и производительностью, о котором мы так долго мечтали.
Новость
🔥31❤8😁3😢2😐2🤯1
Слили бенчмарки для Llama 3.1 405B
Похоже, что это новая партия моделей Llama 3.
Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o.
Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской.
Ждём скорого подтверждения или облома
👨💻 Рэддит
Похоже, что это новая партия моделей Llama 3.
Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o.
Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской.
Ждём скорого подтверждения или облома
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍3❤2
AI для Всех
Слили бенчмарки для Llama 3.1 405B Похоже, что это новая партия моделей Llama 3. Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o. Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской.…
Industry Leading, Open-Source AI | Llama by Meta
Discover Llama 4's class-leading AI models, Scout and Maverick. Experience top performance, multimodality, low costs, and unparalleled efficiency.
🔥15👍4😱3😢3🤩2
Китайский генератор нейро видео теперь доступен для всех
Клинг, с помощью которого уже сгенерировали столько восхитительного нейротреша, теперь доступен для всех. Можно даже ожидать что с российскими номерами заведется.
Творить тут
Клинг, с помощью которого уже сгенерировали столько восхитительного нейротреша, теперь доступен для всех. Можно даже ожидать что с российскими номерами заведется.
Творить тут
🔥10❤2🎉1
ИИ почти победил на Международной математической олимпиаде
Системы искусственного интеллекта AlphaProof и AlphaGeometry 2, разработанные компанией DeepMind, справились с четырьмя из шести задач Международной математической олимпиады (IMO) этого года. Это уже уровень серебряной медали! 🥈
Что такое IMO? 🏆
Для тех, кто не знает, IMO — это старейшее и наиболее престижное математическое соревнование для студентов старших классов. Здесь представлены чрезвычайно сложные задачи, которые ставят в тупик даже профессиональных математиков!
Как ИИ справился с этой задачей? 🧠💻
DeepMind разработали несколько систем. Часть задач решил AlphaProof, а часть AlphaGeometry2
* AlphaProof:
От неформального к формальному: AlphaProof начинает с преобразования около 1 миллиона неформальных математических задач в формальный математический язык.
Генерация задач: В процессе формализации 1 миллион задач превращается примерно в 100 миллионов формальных задач (что возможно благодаря созданию бесконечного количества вариаций).
Сеть решателей: Здесь происходит магия. Сеть решателей, работающая на основе алгоритма AlphaZero (да-да, того самого, который завоевал шахматный мир!), решает формальные задачи, ищет доказательства или опровержения.
Цикл обучения: Когда решатель находит доказательство, он обучается на этом опыте, а новые знания помогают ему справляться с еще более сложными задачами.
* AlphaGeometry 2: Использует аналогичный подход, но специализируется на геометрических задачах. Эта система может визуализировать и манипулировать геометрическими концепциями, что делает её исключительно эффективной в решении сложных геометрических задач.
Что дальше? 🚀
DeepMind не собирается останавливаться на достигнутом. Теперь они работают над созданием ИИ, который сможет понимать и решать математические задачи на обычном, человеческом языке.
Блог-пост
Системы искусственного интеллекта AlphaProof и AlphaGeometry 2, разработанные компанией DeepMind, справились с четырьмя из шести задач Международной математической олимпиады (IMO) этого года. Это уже уровень серебряной медали! 🥈
Что такое IMO? 🏆
Для тех, кто не знает, IMO — это старейшее и наиболее престижное математическое соревнование для студентов старших классов. Здесь представлены чрезвычайно сложные задачи, которые ставят в тупик даже профессиональных математиков!
Как ИИ справился с этой задачей? 🧠💻
DeepMind разработали несколько систем. Часть задач решил AlphaProof, а часть AlphaGeometry2
* AlphaProof:
От неформального к формальному: AlphaProof начинает с преобразования около 1 миллиона неформальных математических задач в формальный математический язык.
Генерация задач: В процессе формализации 1 миллион задач превращается примерно в 100 миллионов формальных задач (что возможно благодаря созданию бесконечного количества вариаций).
Сеть решателей: Здесь происходит магия. Сеть решателей, работающая на основе алгоритма AlphaZero (да-да, того самого, который завоевал шахматный мир!), решает формальные задачи, ищет доказательства или опровержения.
Цикл обучения: Когда решатель находит доказательство, он обучается на этом опыте, а новые знания помогают ему справляться с еще более сложными задачами.
* AlphaGeometry 2: Использует аналогичный подход, но специализируется на геометрических задачах. Эта система может визуализировать и манипулировать геометрическими концепциями, что делает её исключительно эффективной в решении сложных геометрических задач.
Что дальше? 🚀
DeepMind не собирается останавливаться на достигнутом. Теперь они работают над созданием ИИ, который сможет понимать и решать математические задачи на обычном, человеческом языке.
Блог-пост
🔥23👍5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
📢 Тихая ИИ революция в прогнозировании погоды: NeuralGCM
Прогнозирование погоды всегда представляло собой непростую задачу. Последние годы, для решения этой задачи все чаще предлагаются нейронные сети. Исследователи из Гугла, делают следующий шаг в моделировании климата и представляют NeuralGCM — инновационную систему на основе искусственного интеллекта и физического моделирования.
Вот как она устроена:
🌐 Гибридный подход:
NeuralGCM состоит из двух ключевых компонентов:
1. "Динамическое ядро", основанное на физических законах, моделирующее крупномасштабные атмосферные движения.
2. Нейронные сети, моделирующие мелкомасштабные процессы, такие как образование облаков.
🧠 Принцип работы:
1. Модель делит атмосферу Земли на трёхмерную сетку.
2. Для каждой ячейки этой сетки нейронные сети анализируют:
- Температуру,
- Давление,
- Влажность,
- Данные о ветре.
3. Эти сети предсказывают изменения условий в краткосрочной перспективе.
4. Физическая модель использует эти предсказания для обновления глобального состояния погоды.
5. Этот процесс повторяется, создавая прогнозы на дни вперед.
🔬 Секрет успеха: дифференцируемый дизайн
- Вся система разработана так, чтобы быть дифференцируемой.
- Это позволяет оптимизировать её с помощью методов машинного обучения.
- В результате ИИ учится взаимодействовать с предсказаниями физической модели.
🏋️ Процесс обучения:
- Использованы 40 лет исторических данных о погоде.
- Начинали с предсказаний на 6 часов, постепенно увеличивая период до 5 дней.
- Такой подход помогает модели понимать долгосрочные эффекты своих предсказаний.
🏆 Впечатляющие результаты:
- Соответствует точности традиционных методов.
- Работает значительно быстрее (до 1000 раз в некоторых сравнениях).
- Способна моделировать климатические паттерны на десятилетия вперёд (ну это еще надо валидировать).
💡 Почему это важно:
1. Возможность более точного и эффективного прогнозирования погоды.
2. Помощь в лучшем понимании изменения климата.
3. Демонстрация того, как ИИ может не только заменить, но и улучшить традиционные научные методы.
Этот гибридный подход к моделированию погоды показывает, как глубокие научные знания могут сочетаться с передовыми технологиями ИИ. Это важный шаг вперёд, который может изменить не только метеорологию, но и многие другие области, зависящие от сложных симуляций.
⛈️ Статья
Прогнозирование погоды всегда представляло собой непростую задачу. Последние годы, для решения этой задачи все чаще предлагаются нейронные сети. Исследователи из Гугла, делают следующий шаг в моделировании климата и представляют NeuralGCM — инновационную систему на основе искусственного интеллекта и физического моделирования.
Вот как она устроена:
🌐 Гибридный подход:
NeuralGCM состоит из двух ключевых компонентов:
1. "Динамическое ядро", основанное на физических законах, моделирующее крупномасштабные атмосферные движения.
2. Нейронные сети, моделирующие мелкомасштабные процессы, такие как образование облаков.
🧠 Принцип работы:
1. Модель делит атмосферу Земли на трёхмерную сетку.
2. Для каждой ячейки этой сетки нейронные сети анализируют:
- Температуру,
- Давление,
- Влажность,
- Данные о ветре.
3. Эти сети предсказывают изменения условий в краткосрочной перспективе.
4. Физическая модель использует эти предсказания для обновления глобального состояния погоды.
5. Этот процесс повторяется, создавая прогнозы на дни вперед.
🔬 Секрет успеха: дифференцируемый дизайн
- Вся система разработана так, чтобы быть дифференцируемой.
- Это позволяет оптимизировать её с помощью методов машинного обучения.
- В результате ИИ учится взаимодействовать с предсказаниями физической модели.
🏋️ Процесс обучения:
- Использованы 40 лет исторических данных о погоде.
- Начинали с предсказаний на 6 часов, постепенно увеличивая период до 5 дней.
- Такой подход помогает модели понимать долгосрочные эффекты своих предсказаний.
🏆 Впечатляющие результаты:
- Соответствует точности традиционных методов.
- Работает значительно быстрее (до 1000 раз в некоторых сравнениях).
- Способна моделировать климатические паттерны на десятилетия вперёд (ну это еще надо валидировать).
💡 Почему это важно:
1. Возможность более точного и эффективного прогнозирования погоды.
2. Помощь в лучшем понимании изменения климата.
3. Демонстрация того, как ИИ может не только заменить, но и улучшить традиционные научные методы.
Этот гибридный подход к моделированию погоды показывает, как глубокие научные знания могут сочетаться с передовыми технологиями ИИ. Это важный шаг вперёд, который может изменить не только метеорологию, но и многие другие области, зависящие от сложных симуляций.
⛈️ Статья
❤36🔥15👍6
Media is too big
VIEW IN TELEGRAM
Meta представляет SAM 2: Новый уровень в сегментации объектов на изображениях и видео
Компания Meta анонсировала запуск SAM 2, обновлённой версии своей модели Segment Anything (SAM). Эта новинка теперь поддерживает сегментацию объектов как на статичных изображениях, так и в видео.
Специально для вас, сделал нейродубляж их анонса, так что смотрите со звуком 🔊
SAM-2 обуспечивает высокое качество сегментации в режиме реального времени.
Ключевые особенности и инновации
1. Универсальная сегментация:
SAM 2 способен сегментировать объекты как в изображениях, так и в видео, включая те, которые не были заранее известны модели. Это позволяет работать с ранее невиданными визуальными данными без дополнительного обучения.
2. Производительность в реальном времени:
Модель обрабатывает видео со скоростью около 44 кадров в секунду и выполняет аннотацию в 8,4 раза быстрее по сравнению с предыдущей версией SAM.
3. Новые механизмы памяти:
SAM 2 включает продвинутую систему памяти для управления информацией о кадрах видео. Система состоит из кодировщика памяти, банка памяти и модуля внимания, что обеспечивает точность сегментации объектов на протяжении всего видео.
4. Сегментация по промпту:
Модель расширяет задачи сегментации изображений на формат видео. Пользователи могут задавать точки, боксы или маски в любом кадре видео для определения целевого объекта. SAM 2 создаёт пространственно-временную маску, или "маскет", для отслеживания объекта на протяжении всего видео.
5. Обработка окклюзий:
В SAM 2 добавлена специальная "голова окклюзии", которая помогает модели определять, когда объект скрыт из-за окклюзии или других факторов, улучшая сегментацию даже в случае временного исчезновения объекта.
Методология
Архитектура SAM 2 построена на базе SAM, но с добавлением функций для работы с видео данными. Модель рассматривает изображения как одноименные видео и обрабатывает кадры последовательно. Такой подход позволяет SAM 2 достигать точной сегментации, используя память о предыдущих кадрах и взаимодействиях.
📚 Статья
🙈 Демо
👌 Блог-пост
Компания Meta анонсировала запуск SAM 2, обновлённой версии своей модели Segment Anything (SAM). Эта новинка теперь поддерживает сегментацию объектов как на статичных изображениях, так и в видео.
Специально для вас, сделал нейродубляж их анонса, так что смотрите со звуком 🔊
SAM-2 обуспечивает высокое качество сегментации в режиме реального времени.
Ключевые особенности и инновации
1. Универсальная сегментация:
SAM 2 способен сегментировать объекты как в изображениях, так и в видео, включая те, которые не были заранее известны модели. Это позволяет работать с ранее невиданными визуальными данными без дополнительного обучения.
2. Производительность в реальном времени:
Модель обрабатывает видео со скоростью около 44 кадров в секунду и выполняет аннотацию в 8,4 раза быстрее по сравнению с предыдущей версией SAM.
3. Новые механизмы памяти:
SAM 2 включает продвинутую систему памяти для управления информацией о кадрах видео. Система состоит из кодировщика памяти, банка памяти и модуля внимания, что обеспечивает точность сегментации объектов на протяжении всего видео.
4. Сегментация по промпту:
Модель расширяет задачи сегментации изображений на формат видео. Пользователи могут задавать точки, боксы или маски в любом кадре видео для определения целевого объекта. SAM 2 создаёт пространственно-временную маску, или "маскет", для отслеживания объекта на протяжении всего видео.
5. Обработка окклюзий:
В SAM 2 добавлена специальная "голова окклюзии", которая помогает модели определять, когда объект скрыт из-за окклюзии или других факторов, улучшая сегментацию даже в случае временного исчезновения объекта.
Методология
Архитектура SAM 2 построена на базе SAM, но с добавлением функций для работы с видео данными. Модель рассматривает изображения как одноименные видео и обрабатывает кадры последовательно. Такой подход позволяет SAM 2 достигать точной сегментации, используя память о предыдущих кадрах и взаимодействиях.
📚 Статья
🙈 Демо
👌 Блог-пост
🔥39❤7👍6🤩1
Media is too big
VIEW IN TELEGRAM
Синтетическая реальность. Громкое обновление в проекте GR00T: метод аугментации данных для обучения роботов
Огромные корпусы данных позволили создать очень смышлёные LLM. Время сделать то же в робототехнике. Инженеры NVIDIA разработали решение, позволяющую в тысячу раз умножать собранные человеком-специалистом тренировочные данные для обучения роботов.
Речь идет о многообещающем проекте GR00T (да, как Грут из вселенной Марвел) и методике масштабирования обучающих данных, применяемых в робототехнике.
Как это работает:
1. Сбор реальных данных в Apple Vision Pro
NVIDIA применяет виар очки, чтобы предоставить оператору возможность полного погружения в тело робота. Vision Pro анализирует позы рук человека и перенаправляет эти движения на робота в реальном времени. С точки зрения оператора, он буквально становится роботом-аватаром, реально как в фильме "Аватар". Хотя сбор данных таким образом медленный и трудоемкий, этого вполне достаточно для создания начальной базы.
2. Генеративная симуляция в RoboCasa
Фреймворк, созданный Yuke Zhu берет небольшое количество собранных данных и умножает их, изменяя визуальный облик и планировку окружающей среды. На видео показано, как робот ставит чашку в сотнях различных кухонь с разнообразными текстурами, мебелью и расположением предметов. У компании есть только одна физическая кухня в лаборатории GEAR в NVIDIA HQ, но в симуляциях их может быть бесконечное количество.
3. Вариативность движений с помощью MimicGen
MimicGen позволяет ещё больше увеличить количество данных, варьируя движения робота. Этот метод генерирует множество новых траекторий действий на основе оригинальных данных человека и отбраковывает неудачные попытки, например, те, где чашка падает.
Take-away формула: человеческий сэмпл с использованием Vision Pro -> RoboCasa создает N визуальных вариаций -> MimicGen умножает это количество до NxM.
NVIDIA придумала способ конвертировать вычислительные ресурсы в дорогостоящие данные, собранные человеком, благодаря качественной симуляции. Данные от первого лица больше не являются ограничением из-за 24 часов/день/робот в физическом мире. Теперь ограничения только цифровые, и это очень sci-fi футуристично.
Набор для создания своей синтетической реальности (понадобится робот и много GPU ):
• RoboCasa: открытый код RoboCasa
• MimicGen: открытый код для роботизированных рук, и скоро обещают версию для гуманоидов и пяти-палых рук MimicGen
• Apple Vision Pro -> гуманоидный робот "Аватар": в открытом доступе Xiaolong Wang libraries
• вдохновляющая презентация: Jensen's keynote
И бонус: лаборатория GEAR набирает лучших робототехников мира для сопоставимого по масштабам с "лунным" проекта по достижению физического AGI. Как апликнуться к ним - в посте Jim Fan (LinkedIn): GEAR lab hiring
Огромные корпусы данных позволили создать очень смышлёные LLM. Время сделать то же в робототехнике. Инженеры NVIDIA разработали решение, позволяющую в тысячу раз умножать собранные человеком-специалистом тренировочные данные для обучения роботов.
Речь идет о многообещающем проекте GR00T (да, как Грут из вселенной Марвел) и методике масштабирования обучающих данных, применяемых в робототехнике.
Как это работает:
1. Сбор реальных данных в Apple Vision Pro
NVIDIA применяет виар очки, чтобы предоставить оператору возможность полного погружения в тело робота. Vision Pro анализирует позы рук человека и перенаправляет эти движения на робота в реальном времени. С точки зрения оператора, он буквально становится роботом-аватаром, реально как в фильме "Аватар". Хотя сбор данных таким образом медленный и трудоемкий, этого вполне достаточно для создания начальной базы.
2. Генеративная симуляция в RoboCasa
Фреймворк, созданный Yuke Zhu берет небольшое количество собранных данных и умножает их, изменяя визуальный облик и планировку окружающей среды. На видео показано, как робот ставит чашку в сотнях различных кухонь с разнообразными текстурами, мебелью и расположением предметов. У компании есть только одна физическая кухня в лаборатории GEAR в NVIDIA HQ, но в симуляциях их может быть бесконечное количество.
3. Вариативность движений с помощью MimicGen
MimicGen позволяет ещё больше увеличить количество данных, варьируя движения робота. Этот метод генерирует множество новых траекторий действий на основе оригинальных данных человека и отбраковывает неудачные попытки, например, те, где чашка падает.
Take-away формула: человеческий сэмпл с использованием Vision Pro -> RoboCasa создает N визуальных вариаций -> MimicGen умножает это количество до NxM.
NVIDIA придумала способ конвертировать вычислительные ресурсы в дорогостоящие данные, собранные человеком, благодаря качественной симуляции. Данные от первого лица больше не являются ограничением из-за 24 часов/день/робот в физическом мире. Теперь ограничения только цифровые, и это очень sci-fi футуристично.
Набор для создания своей синтетической реальности (
• RoboCasa: открытый код RoboCasa
• MimicGen: открытый код для роботизированных рук, и скоро обещают версию для гуманоидов и пяти-палых рук MimicGen
• Apple Vision Pro -> гуманоидный робот "Аватар": в открытом доступе Xiaolong Wang libraries
• вдохновляющая презентация: Jensen's keynote
И бонус: лаборатория GEAR набирает лучших робототехников мира для сопоставимого по масштабам с "лунным" проекта по достижению физического AGI. Как апликнуться к ним - в посте Jim Fan (LinkedIn): GEAR lab hiring
🔥21❤6👍3
Apple идёт в Open-Source!
Apple выпустила и полностью открыла DCLM, 7B LLM, включая веса, код обучения и датасет.
DCLM превосходит Mistral/Qwen2/Gemma по разным бенчмаркам. Основные данные на английском языке, окно контекста 2048, лицензия Apple Sample Code License.
Модель обучена на 2.5 трлн токенов с использованием DataComp-LM (DCLM) и данных из Common Crawl. DCLM - тестовая платформа для контролируемых экспериментов с данными
AI Стратегия Apple кардинально изменилась в сторону Open-Source, что может означать большие планы для AI на их устройствах.
🤗 HuggingFace
Apple выпустила и полностью открыла DCLM, 7B LLM, включая веса, код обучения и датасет.
DCLM превосходит Mistral/Qwen2/Gemma по разным бенчмаркам. Основные данные на английском языке, окно контекста 2048, лицензия Apple Sample Code License.
Модель обучена на 2.5 трлн токенов с использованием DataComp-LM (DCLM) и данных из Common Crawl. DCLM - тестовая платформа для контролируемых экспериментов с данными
AI Стратегия Apple кардинально изменилась в сторону Open-Source, что может означать большие планы для AI на их устройствах.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤40👍7😢2😁1