DAIseg

Код, реализующий точный метод DAIseg для определения участков генома с древним происхождением, унаследованных современными людьми от неандертальцев и денисовцев. Новизной метода является одновременное использование “внешней группы” - неперемешанной популяции и образцов известных древних геномов в одной модели. Авторы утверждают, что их методы превосходят ранее разработанные аналоги, такие как метод HMMMix. Работа может быть полезна для дата аналитиков, data science специалистов и исследователей популяционной генетики.

статья | код

GNN-Tox

Код, позволяющий выполнить предобучение для графовой модели для прогноза свойств молекул. Предлагаемый авторами метод - Descriptor-base Graph Self-Supervised Learning - позволяет включать центры дескрипторов в задачу предобучения на уровне узлов, решая основные проблемы предшественников: отсутствие информации о домене во вспомогательных задачах на уровне узлов и высокая вычислительная сложность одновременного обучения для методов на основе мотивов и на уровне узлов. В серии экспериментов исследователи сравнивают свой подход с существующими бейзлайнами предобучения, демонстрируя существенно возросшее качество прогноза. Код может быть полезен исследователям графовых нейронных сетей, молекулярной биологии, DL-исследователям и DS-специалистам.

статья | код

understanding-largre-lrs

Репозиторий содержит код для обучения различных моделей компьютерного зрения в режиме предобучения с увеличенным learning rate (LR). Авторы работы исследуют влияние такого предобучения на финальное качество модели. Исследователи приходят к выводу, что предварительное обучение с умеренно большими LR, немного выше порога сходимости, позволяет получать наилучшие чекпоинты для последующего файнтюна или усреднения веса. С точки зрения геометрии обучение с этими значениями LR находит бассейн хорошо обобщающих решений в ландшафте функции потерь; с точки зрения обучения признаков эти решения соответствуют разреженному набору изученных признаков, которые наиболее полезны для задачи. Использование других значений LR может привести к неоптимальным результатам: либо нестабильным локальным минимумам, соответствующим плотному набору изученных признаков с меньшими LR, либо обширным областям с разнообразными минимумами и ухудшенным обучением признаков с большими LR. Код может быть полезен DL-исследователям, DS-специалистам и аналитикам данных.

статья | код

Indecies-kmeans

Репозиторий содержит код для поиска оптимального количества кластеров К для алгоритма кластеризации k-средних. В своей работе авторы исследуют метод инерции, основанным на новом Elbow индексе для определения числа кластеров, валидируя результат по метрике Силуэт. Исследователи отмечают, что инерциальные индексы работают лучше всего при усреднении результатов нескольких запусков кластеризации, а не при выборе лучшего, как считалось ранее. В конце авторы замечают, что однозначно лучшего индекса для определения количества кластеров выявить не удалось. Индекс SW (ширина силуэта) обычно приводит к наиболее сбалансированным решениям. Тем не менее, индекс XU превосходит SW на синтетических данных с большими кластерными смесями, особенно для данных меньшей размерности. Код может быть полезен дата аналитикам и DS-специалистам, а так же исследователям в области машинного обучения.

статья | код

tabgraphs

Бенчмарк для обучения на графах для табличных данных с гетерогенными признаками-вершинами. Авторы оценивают большое количество моделей, включая стандартные бейзлайны и нейросетевые модели для графовых и табличных задач. В экспериментальной части исследователи показывают, что несколько ранее упускаемых из виду модификаций моделей, таких как аугментация признаков-вершин на основе соседства графа для графонезависимых табличных моделей или числовые эмебддинги признаков для GNN, позволяют достичь наилучшей производительности на таких данных. Работа может быть полезна DS-специалистам, а так же ML-исследователям, фокусирующимся на табличных данных или графовых моделях.

статья | код

reparameterized-volume-sampling

Имплементация end-to-end дифференцируемого метода по семплированию точек луча для задачи синтеза новых сцен из набора изображений. Метод основан на оценках Монте-Карло и позволяет улучшать иерархическую схему рендеринга, представленную в ставшей уже классической статье NeRF. В серии экспериментов авторы показывают превосходство подхода на этапе инференса, используя предобученную модель. Те же эксперименты выявляют проблемы метода при использовании во врем обучения модели. Исследователи утверждают, что их алгоритм семплинга улучшает реконструкцию сцен для иерархических моделей и упрощает процедуру обучения, позволяя избавиться от дополнительных слагаемых в функции потерь. Работа может быть полезна дизайнерам и DL-исследователям.

статья | код

TabM

Репозиторий, содержащий имплементацию TabM — модели, эффективно имитирующей ансамбль многослойных перцептронов для решения задач на табличных данных. Для этого вводятся специальные адаптеры - матрицы, чьи элементы равны ± 1. Эти адаптеры эффективно создают уникальные версии матрицы весов, за счет чего и имитируется ансамбль. В итоговой архитектуре такой адаптер применяется только ко всем копиям одного входа, которые затем подаются в линейные слои. В серии экспериментов авторы показывают существенное превосходство метода для задач на табличных данных по сравнению с другими классическими и нейросетевыми подходами, в том числе использующие механизм внимания. Модель также демонстрирует лучшую скорость обучения и инференса, уступая лишь стандартному MLP и XGBoost. Работа может быть полезна аналитикам, DS-специалистам и DL-исследователям.

статья | код

rtdl-num-embeddings

Библиотека на python, позволяющая получать эмбеддинги для непрерывных признаков в задачах для табличных данных. Используемые вместо скалярных признаков эмбеддинги улучшают итоговое качество моделей на специфических задачах, при этом не увеличивая вычислительную сложность. В своей работе авторы представляют несколько алгоритмов получения эбмеддингов, а в экспериментальной части показывают состоятельность метода. В частности, сравнивая DL-алгоритмы с классическими подходами, такими как GBDT, на задачах, заточенных под последние. В таком режиме DL методы без использования эмебеддингов уступают классическим, а при использовании обходят их. Библиотека может быть полезна DS-специалистам, дата аналитикам и ML-инженерам.

статья | код

RATANSunPy

Библиотека на python, разработанный для доступа, визуализации и анализа многополосных радионаблюдений Солнца с комплекса РАТАН-600. Эти данные представляют ценность для диагностики состояния солнечной плазмы и прогнозирования солнечной активности. Пакет предлагает комплексные функции обработки данных, включая прямой доступ к необработанным данным, основные этапы обработки, такие как калибровка и нормализация тихого Солнца, а также инструменты для анализа солнечной активности. Сюда входит автоматическое обнаружение локальных источников, идентификация их с активными областями NOAA и дальнейшее определение параметров для локальных источников и активных областей. Работа может быть полезна физикам, астрономам, и DS-специалистам.

статья | код

structural-graph-shifts

В работе рассматривается проблема оценки робастности моделей графовых нейронных сетей. Для оценки неопределенности прогноза в таких моделях используются различные подходы: общие, например, ансамблирование, и специфические, использующие свойства графовой структуры. Вне зависимости от метода оценки устойчивости модели, для его обучения необходимы данные, содержащие в себе различные источники неопределенностей, например, сдвиги распределений. Типичные датасеты для оценки робастности графовых нейронных сетей используют сдвиги на уровне признаков. Авторы предлагают более универсальный способ создания неопределенности в данных, основанный на особенностях графовых данных. В репозитории проекта содержится код, позволяющий получить подобные данные с различными видами неопределенности, а также имплементацию различных методов оценки неопределенности и улучшения робастности. В серии экспериментов авторы демонстрируют сложность, с которой сталкиваются модели в таком режиме обучения. При этом более простые модели часто превосходят в качестве прогноза продвинутые алгоритмы. Работа может быть полезна DL-исследователям, специалистам по графовым нейронным сетям, DS-специалистам и дата аналитикам.

статья | код

Первое исследование open source от СберТеха

Исследователи из СберТеха проанализировали тысячи профилей на GitHub и получили интересные результаты об open source в мире и в России.

Некоторые выводы исследования:
🟢 основные языки разработки — Python и JavaScript, в тренде —TypeScript, Rust и Lua;
🟢 самый популярный российский проект на GitHub — JavaScript-фреймворк core-js;
🟢 самая популярная у нас отечественная большая языковая модель — ruGPT3 (Сбер), а СУБД — YDB (Яндекс);
🟢 самые популярные категории open source проектов — JavaScript-, web- и css-фреймворки;
🟢 локальное китайское open source сообщество Gitee растет быстрее, чем на GitHub, и уже опережает его более чем в 1,5 раза по числу репозиториев.

Полный отчет можно посмотреть здесь.

DeepZ

Репозиторий содержит код и данные для обучения нейросетей для поиска и выявления паттернов в Z-ДНК генома человека и мышей. Вопрос о роли Z-ДНК в процессе транскрипции актуален для вычислительной биологии и медицины. Исследования роли Z-флипонов в процессе создания РНК-копий генов может помочь в разработке новых лекарств. При обучении учитывалась не только информация из линейной последовательности ДНК, но и данные из десятков тысяч омиксных экспериментов. Обученные модели - для человека и мыши - выявляют в последовательности ДНК участки, которые с наибольшей вероятностью являются Z-ДНК. Работа может быть полезна медикам, биологам, биоинженерам и фармакологам.

статья | код

Mr.Handy

Handy — проект с открытым исходным кодом на С++ и python, поддерживаемый HSE Robotics Group. Цель проекта — спроектировать и разработать роботизированный манипулятор, который сможет играть в настольный теннис. В репозитории есть код для считывания данных с камер, обучения и инференса модели для детекции шарика для тенниса, а так же для управления рукой-манипулятором. Весь код, наборы данных, модели и инструкции по разработке доступны и, как обещают авторы, всегда будут доступны онлайн. Следить за проектом можно в канале группы робототехники. Проект может быть полезен начинающим специалистам в области робототехники, машинного обучения и программирования микроконтроллеров.

код | канал

delPezzo

Модуль для Sagemath для изучения гибкости аффинных конусов над поверхностями дель Пеццо. Код призван облегчать большинство операций для проверки общей гибкости аффинных конусов над поверхностями дель Пеццо и слабыми поверхностями дель Пеццо произвольной степени в зависимости от поляризации. Используя его, авторы проверили общую гибкость аффинных конусов над поляризациями поверхностей степени 1 при определенных условиях и над произвольными очень обильными поляризациями слабых поверхностей дель Пеццо степени 6. Репозиторий может быть полезен математикам.

статья | код