🧬 ESM3 - это новая, мощнейшая мультимодальная генеративная языковая модель для биологии.

ESM3 может cмоделировать 500 миллионов лет эволюции для генерации новых белков и молекул.

Модель обучена с использованием более 1x1024 FLOPS и 98B параметров!

Используя модель авторы смоделировали эволюционный процесс и создали новый тип белка GFP (зеленый флуоресцентный белок), отличающийся от всего, что встречается в природе. Это буквально модель для программирования биологии.

▪Почитать подробнее: https://www.evolutionaryscale.ai/blog/esm3-release
▪Статья: https://evolutionaryscale-public.s3.us-east-2.amazonaws.com/research/esm3.pdf

@ai_machinelearning_big_data

Пост о мотивации от нейросетей

В Индии учитель использует изображения, сгенерированные в DALL-E 3, чтобы мотивировать своих учеников.

@neural

🧬 Бывшие ученые компании MetaAI представили огромную модель искусственного интеллекта для проектирования белков, которая может стать одной из крупнейших моделей ИИ в биологии.
Компания EvolutionaryScale, основанная бывшими сотрудниками Meta, разработала модель языка белков, которая может быть использована для создания новых флуоресцентных молекул и нашла применение в разработке лекарств, устойчивом развитии и других областях.

Модель ESM3 была обучена на более чем 2,7 миллиардах последовательностей и структур белков, а также на информации о функциях этих белков. Пользователи могут вводить спецификации, и модель создаст нужные белки, подобно тому, как чатботы, такие как ChatGPT, генерируют текст.

Команда EvolutionaryScale продемонстрировала возможности своей модели, создав новые варианты зеленого флуоресцентного белка (GFP), который был открыт в 1960-х годах в биолюминесцентной медузе. Улучшенные варианты GFP имеют более яркий свет и могут использоваться для маркировки других белков под микроскопом.

Модель ESM3 создала несколько вариантов белков, один из которых, esmGFP, имеет структуру, схожую со структурой природных флуоресцентных белков, но его последовательность аминокислот отличается более чем на 40%. Ученые считают, что для появления такого белка в природе могло бы потребоваться более 500 миллионов лет эволюции.

Однако некоторые эксперты выражают обеспокоенность по поводу потенциально вводящих в заблуждение утверждений о возможностях ИИ и ускорении эволюции. ESM3 является одной из первых биологических моделей ИИ, которая требует уведомления правительства США и принятия мер по снижению рисков из-за огромного количества вычислительных ресурсов, необходимых для ее обучения.

Компания EvolutionaryScale выпустила открытую версию модели ESM3, но самая большая версия требует значительных вычислительных ресурсов и не доступна широкой публике. Ученые планируют применять модель ESM3 для решения различных задач, включая устойчивое развитие, создание антител и разработку белковых лекарственных препаратов

Источник

Конец эры: через несколько часов ChatGPT-3.5 будет отключён на сайте OpenAI

Вскоре ChatGPT-3.5 прекратит свою работу на сайте OpenAI. На его место придёт новый бесплатный ИИ — GPT-4o-mini, о чём досрочно сообщили в Bloomberg.

Новый ИИ обещает быть значительно умнее своего предшественника, поддерживая работу не только с текстом, но и с видео и аудио.

@neural

🔥 Apple только что выпустила LLM с открытым исходным кодом 7B, весами, кодом и набором данных! 👀

TL;DR:
🧠 Базовая модель 7B, обученная на 2,5Т токенах ✅ Данные в основном на английском языке, контекстное окно 2048
✅ Объединенные данные DCLM-BASELINE, StarCoder и ProofPile2
✅ MMLU 0.6372 > Mistral & < Llama3
✅ Открытая лицензия с лицензией Apple
✅ Соответствует моделям с закрытыми наборами данных, таким как Mistral
✅ Обучен с использованием Python и OpenLM framework
✅ Доступно на huggingface и в Transformers

▪Модель: https://huggingface.co/apple/DCLM-7B
▪Репозиторий: https://github.com/mlfoundations/dclm
▪Набор данных: https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
▪Документация: https://arxiv.org/abs/2406.11794

@ai_machinelearning_big_data

#LLM #ML #Apple

📢 Новая аспирантура по ИИ : теория + практика

В новой аспирантуре по ИИ молодые ученые будут работать с новейшими алгоритмами и моделями машинного обучения, изучать и применять самые современные методологии — глубокое обучение, нейронные сети и усовершенствованные методы обработки данных. Запускают ее Яндекс, Вышка и ИТМО, чтобы объединить исследования с практикой. Это позволит получить ценный опыт в решении конкретных задач с использованием машинного обучения.

Также студентов ждет ежегодный грант в размере 800 тысяч рублей. Эти средства можно использовать для приобретения необходимого оборудования и программного обеспечения.

Подобные инициативы — шанс для будущих ученых быстрее сделать карьеру и углубить знания, применить их на практике в реальных продуктах.