Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search (ICLR 2025)

Programmatic reinforcement learning (PRL) has been explored for representing policies through programs as a means to achieve interpretability and generalization. Despite promising outcomes, current state-of-the-art PRL methods are hindered by sample inefficiency, necessitating tens of millions of program-environment interactions. To tackle this challenge, we introduce a novel LLM-guided search framework (LLM-GS). Our key insight is to leverage the programming expertise and common sense reasoning of LLMs to enhance the efficiency of assumption-free, random-guessing search methods. We address the challenge of LLMs' inability to generate precise and grammatically correct programs in domain-specific languages (DSLs) by proposing a Pythonic-DSL strategy - an LLM is instructed to initially generate Python codes and then convert them into DSL programs. To further optimize the LLM-generated programs, we develop a search algorithm named Scheduled Hill Climbing, designed to efficiently explore the programmatic search space to improve the programs consistently. Experimental results in the Karel domain demonstrate our LLM-GS framework's superior effectiveness and efficiency. Extensive ablation studies further verify the critical role of our Pythonic-DSL strategy and Scheduled Hill Climbing algorithm. Moreover, we conduct experiments with two novel tasks, showing that LLM-GS enables users without programming skills and knowledge of the domain or DSL to describe the tasks in natural language to obtain performant programs.

Can ChatGPT Learn My Life From a Week of First-Person Video?

Исследуется способность LLM узнавать о личной жизни владельца с помощью данных с action-камеры. Автор носил гарнитуру с камерой 54 часа в течение недели. Затем вгружал в GPT-4o and GPT-4o-mini и запрашивал анализ полученной инфы. Обе модели узнали базовую информацию об авторе (приблизительный возраст, пол). Более того, GPT-4o правильно сделала вывод, что автор из Питтсбурга, что он аспирант Carnegie Mellon University, правша и владелец кошки. Однако обе модели также страдали галлюцинациями и придумывали имена для людей, присутствующих на видеозаписях.

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization (ICLR 2025)

Retrieval-augmented generation (RAG) - подход для улучшения LLM во многих задачах, основанных на внешних знаниях. Существующие методы RAG работают не очень хорошо с задачами на ризонинг, поскольку полезная информация, необходимая для этих задач, сильно разбросана по системам хранения знаний. Статья мотивирована когнитивными исследованиями о том, что люди преобразуют необработанную информацию в различные оптимально структурированные знания при решении задач на мышление. В работе предлагается подход StructRAG, который определяет оптимальный тип структуры для данной задачи, транслирует информацию в этот формат и выводит ответы на основе извлеченных знаний. Эксперименты показывают, что StructRAG достигает sota в сложных реальных приложениях.

imho: За этим направлением (разумеется, в более развитой его форме, чем сейчас) следующий хайп и мб AGI

Can LLMs Obfuscate Code? A Systematic Analysis of Large Language Models into Assembly Code Obfuscation (AAAI 2025)

Авторы вредоносных программ часто используют обфускацию кода, чтобы их вредоносное ПО было сложнее обнаружить. Существующие инструменты для генерации обфусцированного кода часто требуют доступа к исходному коду, а добавление новых обфускаций является нетривиальным, трудоемким процессом. Авторы задаются следующим вопросом: могут ли LLM генерировать новый обфусцированный ассемблерный код?

Если да, то это представляет риск для антивирусных фреймворков и потенциально увеличивает гибкость злоумышленников для создания новых шаблонов обфускации. В статья даётся утвердительный ответ на этот вопрос. Разрабатывается бенчмарк MetamorphASM, включающий набор данных MetamorphASM (MAD) вместе с тремя методами обфускации кода: мертвый код, подстановка регистров и изменение потока управления. MetamorphASM позволяет оценивать способность LLM генерировать и анализировать обфусцированный код. Анализируется успешность различных LLM (GPT-3.5/4, GPT-4o-mini, Starcoder, CodeGemma, CodeLlama, CodeT5 и LLaMA 3.1) в создании обфусцированного ассемблерного кода.

imho: очень интересно направление, связанное с обратной задачей по де-обфускации кода с помощью LLM

ReTool: Reinforcement Learning for Strategic Tool Use in LLMs

В статье предлагается подход для улучшения математического ризонинга LLM в задачах, где модели, обученные с помощью RL (например, DeepSeek R1), уступают интерпретаторам кода. Подход называется ReTool и работает в 2 этапа:

1) Динамическое чередование выполнения кода в реальном времени и рассуждений на естественном языке.
2) Автоматизированный RL-based подход обучения модели оптимальному вызову инструментов на основе обратной связи от результатов.

Обучение начинается с генерации синтетических данных для создания трейсов (последовательности) длинных рассуждений с кодом, используемых для тюнинга модели. Далее RL-обучение использует результаты задач как вознаграждения для итеративного улучшения стратегии вызова инструментов. Также авторами выявляется эффект самокоррекции кода, указывающий на адаптивное освоение инструментов.

imho: ресерчить tool reasoning сейчас очень своевременно

Harnessing the Universal Geometry of Embeddings

Работа представляет метод vec2vec для трансляции эмбеддингов текстов из одного векторного пространства в другое без каких-либо парных данных (как в CLIP). Подход основан на гипотезе платонических представлений (предположение, что пространство векторных представлений внутри разных моделей и даже для разных модальностей в конечно счете имеет некоторую универсальную общую семантическую структуру представления знаний), и любой эмбеддинг авторы переводят в это представление и из него. Тестировался метод на эмбеддингах из разных моделей с различными архитектурами, колвом параметров и обучающими наборами данных.

Утверждается, что возможность перевода неизвестных эмбеддингов в другое пространство с сохранением их геометрии имеет понятные последствия для безопасности векторных баз данных: можно из открытых векторных баз данных переводить информацию в скрытые представления какой-то известной Foundation модели, про которую есть очень много методов, как интепретировать представления и извлекать информацию, и таким образом получать очень много казалось бы скрытой инфы.

Enigmata: Scaling Logical Reasoning in Large Language Models with Synthetic Verifiable Puzzles

В работе разрабатывается генеративный датасет Enigmata, который предназначен для улучшения способностей к ризонингу у LLM. Бенчмарк содержит 36 игр и задач из разных категорий (криптография, арифметика, логика, сеточные головоломки и др.) В основе бенчмарка лежит 1) генератор задач (для каждого из 36 типов) контролируемой сложности. 2) автоматический верификатор для оценки ответов ЛЛМ. С помощью генератора-верификатора ЛЛМ Qwen2.5 обучается в Reinforcement Learning with Verifiable Rewards (RLVR, это когда реворд достоверно проверен на корректность) сетапе, полученная модель называется Qwen2.5-32B-Enigmata.

Она превосходит o3-mini-high и o1 на датасетах: EnigmataEval (специально созданный для верификации набор задач из Enigmata), на ARC-AGI (32,8%) и ARC-AGI 2 (0,6%). При обучении на Enigmata модели Seed1.5-Thinking (Mixture-of-Experts система) в RLVR режиме, повышается её производительность в математических (AIME (2024-2025) и STEM задачах.

Т.е. если обучать в RLVR на Enigmata модели, можно относительно за недорого прокачивать их общие ризонинг способности.