Tight Bounds for Schrödinger Potential Estimation

В репозитории опубликован код для воспроизведения результатов работы по оценке потенциала Шрёдингера в задачах генеративного моделирования и переноса распределений без парных данных. Авторы рассматривают постановку моста Шрёдингера, где по выборкам из начального и целевого распределений нужно построить наиболее близкую к опорной динамике стохастическую связь между ними. В качестве опорного процесса вместо классического броуновского движения берётся процесс Орнштейна–Уленбека с экспоненциальным смешением, что позволяет лучше учитывать структуру данных и уменьшить нежелательную долгую зависимость между начальным и конечным состояниями. Для проверки теории авторы модифицируют практический алгоритм Light Schrödinger Bridge, заменяя в нём опорную динамику на процесс Орнштейна–Уленбека. Новый вариант, обозначаемый как LightSB-OU, демонстрирует более точное восстановление целевого распределения в задачах на смесях нормальных распределений, даёт улучшения по расстоянию Васерштейна и MMD и лучше покрывает моды. На биологических данных по динамике клеток метод показывает качество на уровне лучших современных подходов и улучшает базовый LightSB. В задаче непарного переноса изображений взрослый–ребёнок и мужчина–женщина в латентном пространстве автоэнкодера модель на основе процесса Орнштейна–Уленбека лучше сохраняет важные визуальные признаки, такие как оттенок кожи и форма лица. Работа будет интересна исследователям стохастического оптимального управления и моста Шрёдингера, специалистам по генеративным моделям, а также практикам, которым требуется строгий контроль обобщающей ошибки при обучении по непарным данным.

статья | код

autojudge

В репозитории опубликован код AutoJudge — метода ускорения вывода больших языковых моделей за счёт приближённого семплирования вместо точного повторения вывода исходной модели. Вместо того чтобы строго отклонять все расхождения между черновой и целевой моделью, AutoJudge автоматически определяет, какие различающиеся токены действительно важны для качества ответа, а какие можно сгенерировать быстрее упрощённой моделью без заметной потери точности. Важность токена определяется не по форме, а по влиянию на конечный результат задачи. Авторы предлагают поисковый алгоритм, который последовательно подменяет токены ответа целевой модели на варианты черновой модели и заново достраивает продолжение. Метод не требует ручной разметки и легко встраивается в существующие фреймворки вывода. В экспериментах на задачах математического рассуждения (GSM8K) и программирования (LiveCodeBench) с моделями семейств Llama 3 и Qwen2.5 AutoJudge позволяет принимать в среднем 20–45 токенов за один шаг проверки целевой моделью и даёт ускорение до ~2 раз по сравнению со стандартным speculative decoding при падении точности не более чем на 1–2 процентных пункта. Отдельные эксперименты с vLLM показывают прирост скорости до 1.5–2 раз для связок 8B→70B и даже 8B→405B параметров. Работа будет полезна исследователям, занимающимся ускорением вывода и тест-тайм вычислениями в LLM, инженерам, внедряющим большие модели, а также разработчикам инфраструктуры вывода и фреймворков для генерации.

статья | код

QuAP

В репозитории представлен код для воспроизведения результатов работы по теории и оцениванию долей смешения в популяционной геномике. Авторы обращают внимание, что такие величины, как admixture fractions, давно стали стандартным инструментом в анализе данных (например, в программах Structure и ADMIXTURE), но их статистические свойства в рамках строгих моделей изучены недостаточно. В работе получены теоретические выражения, позволяющие предсказывать средние значения и дисперсии долей смешения внутри популяции с учётом рекомбинации и генетического дрейфа. На основе этих результатов предложен практический метод оценивания параметров потока генов по уже рассчитанным долям смешения. Авторы показывают, как корректировать оценки моментов с учётом ошибок, возникающих при вычислении admixture fractions, и как работать с неполными данными генотипов. Предложенная процедура, реализованная в пакете QuAP, использует регрессию наблюдаемых статистик по хромосомам разной длины на теоретические кривые и позволяет восстанавливать время начала, длительность и интенсивность миграции. Работа будет полезна исследователям в области популяционной генетики и вычислительной геномики.

статья | код

gfnx

Библиотека gfnx — быстрая и масшатбируемая JAX-платформа для обучения и оценки Generative Flow Networks. В отличие от существующих решений вроде torchgfn, где логика среды работает на процессоре и постоянно обменивается данными с видеокартой, gfnx переносит и среды, и обучение целиком на GPU. Вся вычислительная цепочка компилируется целиком с помощью JIT, что резко уменьшает накладные расходы и упрощает крупные серии экспериментов. Библиотека включает набор типовых сред из литературы по GFlowNet: синтетические гиперрешётки, генерацию двоичных последовательностей, задачи проектирования ДНК-последовательностей (TFBind8), генерацию молекул (QM9), синтез антимикробных пептидов (AMP), построение филогенетических деревьев, байесовское восстановление структуры графов и выборки из модели Изинга. Эксперименты показывают серьёзный выигрыш по времени работы при том же качестве выборок. На задачах последовательностей и молекул gfnx ускоряет обучение по сравнению с PyTorch-реализациями в десятки раз. В гиперрешётках и биологических задачах библиотека достигает тех же метрик расхождения с истинным распределением, что и базовые реализации, но при значительно большем числе итераций в секунду. Работа может быть полезна исследователям GFlowNet и обучения с подкреплением, а также тем, кто занимается амортизированным семплированием в комбинаторных и научных задачах.

статья | код