SustainBench
SustainBench - это коллекция из 15 эталонных задач по 7 целям устойчивого развития (SDG), включая задачи, касающиеся экономического развития, сельского хозяйства, здравоохранения, образования, водоснабжения и санитарии, действий по защите климата и жизни на земле. Целями SustainBench являются:
🚷 снизить входные барьеры для сообщества машинного обучения, чтобы внести свой вклад в измерение и достижение SGD;
📈 предоставить стандартные эталоны для оценки моделей машинного обучения на задачах по целому ряду SDG
📎 Статья
🗂 Датасет
#datasets #ScientificML
SustainBench - это коллекция из 15 эталонных задач по 7 целям устойчивого развития (SDG), включая задачи, касающиеся экономического развития, сельского хозяйства, здравоохранения, образования, водоснабжения и санитарии, действий по защите климата и жизни на земле. Целями SustainBench являются:
🚷 снизить входные барьеры для сообщества машинного обучения, чтобы внести свой вклад в измерение и достижение SGD;
📈 предоставить стандартные эталоны для оценки моделей машинного обучения на задачах по целому ряду SDG
📎 Статья
🗂 Датасет
#datasets #ScientificML
This media is not supported in your browser
VIEW IN TELEGRAM
ProsePainter
Создавайте образы, рисуя словами.
ProsePainter сочетает в себе рисование руками с оптимизацией изображения в реальном времени с помощью машинного обучения. Просто скажите, что вы хотите, и выделите нужную область.
🖥 Код
#CLIP #images #multimodal
Создавайте образы, рисуя словами.
ProsePainter сочетает в себе рисование руками с оптимизацией изображения в реальном времени с помощью машинного обучения. Просто скажите, что вы хотите, и выделите нужную область.
🖥 Код
#CLIP #images #multimodal
FS-Mol
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Microsoft выпустил датасет молекул для обучения в режиме few-shot (это когда обученной модели показывают несколько примеров чего от неё хотят и просят предсказать на новом).
Данные представляют из себя молекулярные соединения с измерениями активности против различных белковых мишеней.
К данным предлагаются ещё и обученные модельки, что бы было с чем сравнивать.
🗂 Датасет
#ScientificML #datasets
Masked Autoencoders Are Scalable Vision Learners
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
Ещё одна идея, которая казалось бы была на поверхности, and yet… Берём картиночный автоэнкодер, делим картинку на патчи, прячем их в случайном порядке, и просим декодер восстановить изображение (в режиме self-supervised).
Авторы (Facebook/Meta AI), обнаружили, что скрытие большой части входного изображения, например, 75%, дает нетривиальную и осмысленную задачу для self-supervised обучения. Оказалось, что в такой формулировке, автоэнкодер обучается в ~3 раза быстрее (чем если бы мы учили на изображениях без масок).
Более того, оказалось, что если к такому обученному автоэнкодеру прикрутить голову на классификацию (например), то она будет показывать SOTA результаты. Так же, авторы показывают, что при масштабировании датасета, результаты только улучшаются.
📎 Статья
🖥 Код (не официальный)
#SSL #autoencoders #images
🔥1
Awesome ML-ops. Нашёл репо со ссылками на (примерно) все инструменты существующие в этой области.
GitHub
GitHub - kelvins/awesome-mlops: :sunglasses: A curated list of awesome MLOps tools
:sunglasses: A curated list of awesome MLOps tools - kelvins/awesome-mlops
Мозг обладает удивительной способностью обрабатывать визуальную информацию. Люди могут бросить один взгляд на сложную сцену и сразу же быть в состоянии описать увиденное простым языком.
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML
В основе этой способности лежат сложные вычисления, выполняемые зрительной корой. Для того чтобы полностью понять, что это за вычисления, необходимо выяснить, как семантически значимая информация представлена в активациях нейронов зрения.
Исследователи из DeepMind разработали нейросеть β-VAE. Она относится к новому типу интерпретируемых сетей - disentanglement networks. β-VAE учится, предсказывая свои собственные входы; для успешного обучения ей требуется визуальный опыт, аналогичный тому, с которым сталкиваются младенцы; а ее усвоенное скрытое представление похоже на свойства присущие зрительному мозгу.
В своей работе, авторы заметили, что нейроны, обнаруженные с помощью β-VAE, ведут себя как аналогичное по размеру подмножество настоящих нейронов в мозге приматов.
🔭 Блог-пост
#ScientificML
👍1
Benchmarking deep generative models for diverse antibody sequence design
Дизайн новых и разнообразных белков, соответствующих заданной структуре, остается важной нерешенной задачей. В последнее время глубокие генеративные модели, которые обучаются только на основе последовательностей или на основе последовательностей и структур совместно, показали впечатляющие результаты в решении этой задачи.
Исследователи из IBM рассматривают три недавно предложенные глубокие генеративные схемы для проектирования белков: (AR) авторегрессионная генеративная модель на основе последовательности, (GVP) графовая нейронная сеть на основе точной структуры и Fold2Seq.
Авторы сравнили эти модели на задаче вычислительного дизайна последовательностей антител, которая требует проектирования последовательностей с высоким разнообразием для функциональной привязки. Модель Fold2Seq превосходит две другие базовые модели по разнообразию конструируемых последовательностей.
📎 Статья
#ScientificML #biology #generative
Дизайн новых и разнообразных белков, соответствующих заданной структуре, остается важной нерешенной задачей. В последнее время глубокие генеративные модели, которые обучаются только на основе последовательностей или на основе последовательностей и структур совместно, показали впечатляющие результаты в решении этой задачи.
Исследователи из IBM рассматривают три недавно предложенные глубокие генеративные схемы для проектирования белков: (AR) авторегрессионная генеративная модель на основе последовательности, (GVP) графовая нейронная сеть на основе точной структуры и Fold2Seq.
Авторы сравнили эти модели на задаче вычислительного дизайна последовательностей антител, которая требует проектирования последовательностей с высоким разнообразием для функциональной привязки. Модель Fold2Seq превосходит две другие базовые модели по разнообразию конструируемых последовательностей.
📎 Статья
#ScientificML #biology #generative
SDSS Galaxies
Набор данных из 306 006 галактик, координаты которых взяты из Sloan Digital Sky Survey Data Release. Изображения галактик получены с помощью спектроскопического прибора Dark Energy Spectroscopic Instrument.
🗂 Данные
📎 Статья
#ScientificML #astronomy #datasets
Набор данных из 306 006 галактик, координаты которых взяты из Sloan Digital Sky Survey Data Release. Изображения галактик получены с помощью спектроскопического прибора Dark Energy Spectroscopic Instrument.
🗂 Данные
📎 Статья
#ScientificML #astronomy #datasets
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
MetNet-2. Глубокое обучение для 12 часового прогноза осадков.
Прогнозирование погоды обычно опирается на традиционные методы, основанные на физике и использующие крупнейшие в мире суперкомпьютеры (об этом очень хорошо написано у Вастрика). Такие методы ограничены высокими вычислительными требованиями и чувствительны к приближениям физических законов, на которых они основаны.
Глубокое обучение предлагает новый подход к вычислению прогнозов (как например в недавней работе от DeepMind). Модели глубокого обучения не включают в себя явные физические законы, а учатся предсказывать погодные условия непосредственно на основе наблюдаемых данных и способны вычислять прогнозы быстрее, чем методы, основанные на физике.
В новой работе, Google AI демонстрирует нейросеть для прогнозирования осадков на следующие 12 часов (с пространственным разрешением в 1 км и временным разрешением в 2 минуты).
📎 Статья
🔭 Блог-пост
#ScientificML #earthscience #meteorology
Прогнозирование погоды обычно опирается на традиционные методы, основанные на физике и использующие крупнейшие в мире суперкомпьютеры (об этом очень хорошо написано у Вастрика). Такие методы ограничены высокими вычислительными требованиями и чувствительны к приближениям физических законов, на которых они основаны.
Глубокое обучение предлагает новый подход к вычислению прогнозов (как например в недавней работе от DeepMind). Модели глубокого обучения не включают в себя явные физические законы, а учатся предсказывать погодные условия непосредственно на основе наблюдаемых данных и способны вычислять прогнозы быстрее, чем методы, основанные на физике.
В новой работе, Google AI демонстрирует нейросеть для прогнозирования осадков на следующие 12 часов (с пространственным разрешением в 1 км и временным разрешением в 2 минуты).
📎 Статья
🔭 Блог-пост
#ScientificML #earthscience #meteorology
Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training
Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.
🔭 Блог-пост
#basics #training
Forwarded from Denis Sexy IT 🤖
Похоже, опенсорсное ПО по изучению структуры белков начинает приносить свои плоды — коллаборация учёных получила данные о том, как трёхмерные структуры белков собираются вместе, образуя многобелковый комплекс. Дальше будет сложно, но мне кажется один фиг интересно.
Вот тут можете освежить в памяти инфу, я писал об нейронке AlphaFold2 от DeepMind, которая достаточно точно предсказывает структур молекулы белка, исходя из определенного набора аминокислот. Новое же исследование как бы немного переступает этот шаг и говорит сразу о том, как эти молекулы объединяются в сложные структуры, что очень круто.
Например, комплекс, создающий копии наших хромосом обычно состоит из более чем десятка белков, объединенные структуры которых требуют тщательной координации их химических изменений. А для того чтобы собрать эти и другие комплексы вместе, необходимо правильно сложить составляющие их белки в нужные трехмерные формы. AlphaFold и RoseTTAFold как раз этим и занимаются, но после того, как складывание завершено, белки должны взаимодействовать друг с другом, правильно соединяться (например «+» заряд на одном белке соответствует «-» заряду на его партнёре).
Метод нейронок оказался полезным при сборке многобелковых структур — RoseTTAFold, например, частично разбивает аминокислотную последовательность белка на более мелкие части и считает каждую из них, прежде чем собрать конструктор. При этом обнаружили, что если подать RoseTTAFold кусочки двух разных белков, она с радостью скушает инфу и соберет оба белка, учитывая их ориентацию и расстояние между ними.
Еще крутой особенностью алгоритмов является то, что их прогнозы опираются на эволюцию — например мутации, когда «+» в белке А мутирует и не может взаимодействовать с «-» в белке Б, алгоритм просчитывает даже варианты, если «-» белка Б тоже будет мутировать и компенсирует проблему, потому что не все аминокислоты могут образовывать спиральные структуры.
Круто осознавать, что вот только в июле появившиеся нейронки уже дают какие-то полезные данные, а ведь прошло меньше чем пол года. И это еще один шаг навстречу лечения разных серьезных заболеваний с помощью таких вот моделей 🧬
Вот тут можете освежить в памяти инфу, я писал об нейронке AlphaFold2 от DeepMind, которая достаточно точно предсказывает структур молекулы белка, исходя из определенного набора аминокислот. Новое же исследование как бы немного переступает этот шаг и говорит сразу о том, как эти молекулы объединяются в сложные структуры, что очень круто.
Например, комплекс, создающий копии наших хромосом обычно состоит из более чем десятка белков, объединенные структуры которых требуют тщательной координации их химических изменений. А для того чтобы собрать эти и другие комплексы вместе, необходимо правильно сложить составляющие их белки в нужные трехмерные формы. AlphaFold и RoseTTAFold как раз этим и занимаются, но после того, как складывание завершено, белки должны взаимодействовать друг с другом, правильно соединяться (например «+» заряд на одном белке соответствует «-» заряду на его партнёре).
Метод нейронок оказался полезным при сборке многобелковых структур — RoseTTAFold, например, частично разбивает аминокислотную последовательность белка на более мелкие части и считает каждую из них, прежде чем собрать конструктор. При этом обнаружили, что если подать RoseTTAFold кусочки двух разных белков, она с радостью скушает инфу и соберет оба белка, учитывая их ориентацию и расстояние между ними.
Еще крутой особенностью алгоритмов является то, что их прогнозы опираются на эволюцию — например мутации, когда «+» в белке А мутирует и не может взаимодействовать с «-» в белке Б, алгоритм просчитывает даже варианты, если «-» белка Б тоже будет мутировать и компенсирует проблему, потому что не все аминокислоты могут образовывать спиральные структуры.
Круто осознавать, что вот только в июле появившиеся нейронки уже дают какие-то полезные данные, а ведь прошло меньше чем пол года. И это еще один шаг навстречу лечения разных серьезных заболеваний с помощью таких вот моделей 🧬
Ars Technica
Open-sourcing of protein-structure software is already paying off
The big trade-off is between computational intensity and the size of the complex.
TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
Forwarded from Sberloga (Alexander C)
🚀 @SBERLOGA онлайн семинар по биоинформатике:
👨🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)
Абстракт будет позднее.
О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН
Ссылка на зум будет доступна в чате: https://t.iss.one/sberlogabio ближе к началу доклада.
👨🔬 Всеволод Макеев (ИОГен РАН): «Различные задачи геномики, решающиеся с помощью задачи разладки»
⌚️ Пятница 19 Ноября, 18.00 (Moscow time)
Абстракт будет позднее.
О докладчике:
Всеволод Юрьевич Макеев - член-корреспондент РАН, заведующий отделом ИОГен РАН
Ссылка на зум будет доступна в чате: https://t.iss.one/sberlogabio ближе к началу доклада.
Wikipedia
Макеев, Всеволод Юрьевич
Всеволод Юрьевич Макеев (род. 19 августа 1967 года) — российский учёный-биофизик, специалист в области системной биологии, вычислительной генетики и биоинформатики, член-корреспондент РАН (2016).
⚠️OpenAI GPT-3 в доступе!⚠️
Это не учебная тревога и не реклама!
Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.
Подключатся тут
UPD: Codex ещё в закрытой beta
Это не учебная тревога и не реклама!
Скорее расчехляйте свои VPN и вперёд играть с GPT-3 и Codex. Там довольно много токенов дают бесплатно, пока не попросят денег.
Подключатся тут
UPD: Codex ещё в закрытой beta
На Марсе сделали геологическое открытие с помощью ML.
Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.
Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.
Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).
☄️ Статья
#ScientificML #earthscience
Единственные образцы марсианских пород на Земле - это метеориты, выброшенные с поверхности Марса в результате столкновения с астероидами. Местонахождение и геологический контекст мест падения в настоящее время неизвестны. Определение мест столкновений необходимо для раскрытия взаимосвязи между эволюцией марсианских недр и их поверхности.
Авторы статьи в Nature адаптировали алгоритм обнаружения кратеров (довольно простенькая вариация YOLO), который позволил определить первичные и вторичные кратеры. Оказалось, что несколько кратеров, расположенных в вулканической провинции Тарсис, являются наиболее вероятным источником нескольких найденных на Земле марсианских метеоритов выброшенных 1.1 млн лет назад.
Получается, что, пользуясь похожими методами, можно установить геологические свойства другой планеты и без дорогостоящих и долгосрочных миссий по возврату образцов с Марса (а ещё лучше не без, а вместе).
☄️ Статья
#ScientificML #earthscience
Machine Learning for Clouds and Climate
Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.
В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.
📎 Статья
#ScientificML #earthscience #meteo
Алгоритмы машинного обучения являются мощными инструментами для построения моделей облаков и климата. Часто, это модели более точно соответствуют быстро увеличивающимся объемам данных о Земли, чем обычно используемые полуэмпирические модели.
В статье рассматриваются инструменты ML, включая интерпретируемые и физически управляемые ML, и объясняется, как они могут быть применены к облачным процессам в климатической системе, включая радиацию, микрофизику, конвекцию, а также обнаружение, классификацию, эмуляцию и количественную оценку неопределенности облаков.
📎 Статья
#ScientificML #earthscience #meteo
Подборка каналов для любителей науки, AI/ML и цифровых технологий — для тех, кто хочет держать руку на пульсе инноваций и делать будущее сегодня. Enjoy!
@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех
@biology_logic — качественные научно-популярные статьи о самом интересном в биологии
@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины
@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только
@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc
@botka_chronics — интересная математика в машинном обучении и обработке изображений
@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.
@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.
@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне
@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.
#этополюбви
@sberloga — сообщество энтузиастов дата сайнс, биоинформатики, родившееся в Сбере, но открытое для всех
@biology_logic — качественные научно-популярные статьи о самом интересном в биологии
@pcr_news — информационный портал о молекулярной диагностике и смежных областях науки и медицины
@start_ds — канал с материалами для подготовки к собеседованиям в области Data Science и не только
@AI_meetups — митапы и прочие важные ивенты про AI, ML, DS, etc
@botka_chronics — интересная математика в машинном обучении и обработке изображений
@smart_lab_news — новости нанобиотеха: различные научные события, конкурсы, конференции и др.
@chemical_medicine — независимый канал о медицине, химии, фармакологии и мировом рынке биотехнологий от специалистов по медицинской химии.
@neuronovosti — новости нейронаук и нейротехнологий. Самые свежие новости нейротематики в вашем телефоне
@medicalksu — канал о цифровом здравоохранении и инновациях в медицине. Новости и ссылки на статьи о телемедицине, технологиях AI/ML, девайсах для врачей и пациентов и digital-проектах фармы.
#этополюбви
🔥1
XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
XLS-R - модель для обучения межъязыковым репрезентациям устной речи, основанная на wav2vec 2.0. Авторы из MetaAI (Facebook) обучили модель с
2B параметров на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках.
По аналогии с задачей моделирования языка по маске в BERT, XLS-R обучается контекстуализированным представлениям речи путем случайной маскировки векторов признаков перед передачей их в self-supervised transformer (т.е. диаграмма слева внизу).
XLS-R демонстрирует впечатляющие улучшения по сравнению с предыдущими SOTA в распознавании речи, переводе речи и идентификации диктора/языка.
📎 Статья
🔭 Блог-пост
🖥 Код
🤗 Демо
#SSL #sound #audio #speech
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
🧬 OpenFold: Точное воспроизведение AlphaFold 2 от DeepMind на PyTorch
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Про нейросеть AlphaFold от DeepMind, способную предсказать третичную структуру белка по последовательности dna, я писал тут и тут.
Сегодня стала доступна PyTorch имплементация OpenFold.
OpenFold тщательно воспроизводит (почти) все функции исходного кода. Единственным исключением является ансамбль моделей, который плохо показал себя в тестировании у самих DeepMind, и поддержка которого будет прекращена.
OpenFold дает возможность инференса с исходными весами AlphaFold 2 на JAX.
🧠 В отличие от открытого кода DeepMind, OpenFold также можно обучать: файнтюнить или даже продолжать полноценный трейн на новых сетах.
Его можно тренировать, используя DeepSpeed, со смешанной точностью. А в будущем будет добавлена поддержка и bfloat16.
💻 git 🔮colab
Bits and Bytes (Facebook AI)
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers
Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.
Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы
Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.
🖥 Код
📎 Статья
📼 Видео
#training #optimizers