Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL Review

0. Introduction

Paper link

Project page

한 줄 요약: CoGHP는 long-horizon offline goal-conditioned RL을 single subgoal hierarchy가 아니라, 여러 latent subgoal과 primitive action을 하나의 unified model이 autoregressive하게 생성하는 sequence modeling 문제로 바꾼다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

• Offline RL에서 long-horizon control은 여전히 value error accumulation과 sparse reward 때문에 어렵다.
• 기존 hierarchical RL은 high-level policy와 low-level policy를 분리하고, 대체로 하나의 intermediate subgoal에 의존한다.
• CoGHP는 subgoal sequence를 reasoning step처럼 생성해 final goal awareness를 유지하려 한다.
• Transformer 대신 MLP-Mixer를 backbone으로 쓰는 선택이 흥미롭다.
• OGBench의 navigation과 manipulation task에서 long-horizon decomposition이 실제 성능 차이로 이어지는지 보여준다.

이 논문은 “Chain-of-Thought를 RL에 붙였다” 정도로 읽으면 조금 얕다. 핵심은 language reasoning analogy보다 구조다. 기존 hierarchy는 high-level이 subgoal을 하나 던지고, low-level이 그 subgoal을 따라간다. 이때 subgoal이 틀리면 low-level은 final goal을 잃어버릴 수 있다. CoGHP는 state, final goal, multiple latent subgoals, action을 하나의 sequence로 넣고, 이를 같은 network 안에서 생성한다.

즉 이 논문은 long-horizon control을 다음처럼 다시 쓴다.

\[state, goal -> subgoal_1, subgoal_2, ..., action\]

여기서 subgoal은 사람이 읽는 natural language rationale이 아니다. Latent future state에 가까운 internal waypoint다. 하지만 역할은 reasoning step과 비슷하다. 이전 subgoal이 다음 subgoal과 action prediction의 context가 되고, final goal은 전체 sequence에서 계속 조건으로 남는다.

1. Problem Setting

1-1. Problem definition

이 논문이 다루는 문제는 offline goal-conditioned reinforcement learning, 이하 offline GCRL이다.

Goal-conditioned RL에서는 agent가 goal을 입력받고 그 goal에 도달하는 policy를 학습한다. Offline setting에서는 추가 environment interaction 없이 이미 모아둔 trajectory dataset만 사용한다. 이 설정은 robot manipulation, navigation, industrial control처럼 real-world interaction cost가 크거나 unsafe한 domain에서 중요하다.

문제는 horizon이 길어질수록 매우 어려워진다는 점이다.

• 현재 state에서 final goal까지 거리가 멀면 reward signal이 sparse해진다.
• Offline data에서는 agent가 새로운 exploration으로 gap을 메울 수 없다.
• Bellman backup이 길어지면 value error가 누적된다.
• 하나의 action이 final goal에 미치는 장기 효과를 estimate하기 어렵다.
• 복잡한 manipulation에서는 중간 순서가 틀리면 final goal에 도달하지 못한다.

그래서 hierarchical RL이 자연스럽게 등장한다. Long-horizon task를 high-level subgoal selection과 low-level control로 나누면, policy가 더 짧은 horizon을 다루게 된다.

1-2. Why previous approaches are insufficient

논문은 기존 offline hierarchical RL의 구조적 한계를 세 가지로 본다.

첫째, single subgoal constraint다. 많은 방법은 한 번에 하나의 intermediate subgoal을 만든다. 하지만 long-horizon task는 여러 intermediate decision을 조정해야 한다. 예를 들어 maze에서는 큰 방향 전환이 여러 번 필요하고, manipulation에서는 열기, 옮기기, 놓기, 닫기 같은 순서가 필요하다.

둘째, final goal awareness loss다. High-level policy가 만든 subgoal이 틀리면 low-level policy는 그 subgoal을 향해 움직인다. 이때 low-level policy가 final goal을 충분히 보지 못하면, 전체 task 관점에서는 suboptimal action을 낼 수 있다.

셋째, fragmented optimization이다. High-level과 low-level network가 분리되면, error correction signal이 hierarchy 전체로 자연스럽게 흐르기 어렵다. Long-horizon task에서는 중간 subgoal과 최종 action이 함께 조정되어야 하는데, 분리된 objective는 이를 방해할 수 있다.

CoGHP는 이 문제를 network를 더 많이 붙여 해결하지 않는다. 오히려 hierarchy 전체를 하나의 autoregressive sequence generation으로 묶는다.

2. Core Idea

2-1. Main contribution

CoGHP의 핵심 기여는 hierarchical policy를 unified sequence model로 재정의한 것이다.

입력은 current state와 final goal이다. 출력은 latent subgoal sequence와 primitive action이다. 각 subgoal은 다음 prediction을 condition하는 reasoning token처럼 동작한다.

논문이 제안하는 구조는 다음처럼 볼 수 있다.

1. Current state와 final goal을 embedding한다.
2. Learnable subgoal token과 action token을 준비한다.
3. Policy가 subgoal을 autoregressive하게 채운다.
4. 마지막에는 action token에서 primitive action을 예측한다.
5. 전체 sequence는 MLP-Mixer backbone을 통해 cross-token communication을 수행한다.

여기서 가장 특이한 점은 subgoal 생성 순서다. CoGHP는 current state에서 가장 먼 subgoal부터 생성하고, 점점 가까운 subgoal로 온다. 논문은 가까운 subgoal이 더 많은 hierarchical reasoning 정보를 담아야 한다고 본다. 먼 goal부터 먼저 rough plan을 만들고, 그 다음 가까운 control target으로 refine하는 식이다.

2-2. Design intuition

CoGHP의 설계 직관은 language model의 chain-of-thought와 비슷하지만, 그대로 복사한 것은 아니다.

Language model에서는 중간 reasoning step이 final answer를 돕는다. CoGHP에서는 latent subgoal이 action을 돕는다. 하지만 두 경우 모두 핵심은 final output을 바로 생성하지 않고, 중간 structure를 만든 뒤 다음 prediction을 condition한다는 점이다.

기존 hierarchical RL에서는 high-level과 low-level이 분리된다. CoGHP에서는 subgoal과 action이 같은 model 안에서 생성된다. 그래서 final goal 정보가 전체 sequence에 남고, value-based training signal이 subgoal과 action 쪽으로 함께 흐를 수 있다.

이 관점에서 CoGHP는 hierarchy를 다음처럼 바꾼다.

View	Traditional hierarchy	CoGHP
Subgoal count	보통 하나	여러 latent subgoal
Network	high-level, low-level 분리	unified policy
Generation	subgoal 뒤 action	subgoal sequence 뒤 action
Goal awareness	low-level에서 약해질 수 있음	final goal을 sequence 전체 조건으로 유지
Optimization	separate objectives	shared value 기반 end-to-end objective

3. Architecture / Method

3-1. Overview

Item	Description
Goal	Long-horizon offline GCRL에서 multiple subgoal reasoning 수행
Core method	Chain-of-Goals Hierarchical Policy
Backbone	MLP-Mixer with causal mixer
Output	Latent subgoal sequence plus primitive action
Training style	Goal-conditioned IQL value function plus AWR-style policy objective
Evaluation	OGBench navigation and manipulation tasks

3-2. Module breakdown

1) Token sequence construction

CoGHP는 state, final goal, subgoal token, action token을 하나의 token sequence로 구성한다.

각 token은 semantic role이 고정되어 있다.

• State token은 현재 state를 나타낸다.
• Goal token은 final goal을 나타낸다.
• Subgoal tokens는 latent intermediate waypoint를 나타낸다.
• Action token은 primitive action을 예측하는 자리다.

이 구조가 Transformer보다 MLP-Mixer에 잘 맞을 수 있다고 논문은 주장한다. 일반 language sequence처럼 token 위치마다 의미가 자유롭게 바뀌는 것이 아니라, position-dependent role이 고정되어 있기 때문이다.

2) MLP-Mixer backbone

MLP-Mixer는 token-mixing MLP와 channel-mixing MLP를 번갈아 적용한다.

• Token mixing은 state, goal, subgoal, action token 사이의 정보를 교환한다.
• Channel mixing은 각 token 내부 feature를 refine한다.
• Causal mixer는 이전에 생성된 subgoal 정보를 다음 token이 사용할 수 있게 한다.

CoGHP가 Transformer를 완전히 부정하는 것은 아니다. 다만 이 setting에서는 각 token role이 명확하고 sequence 길이가 짧다. 그래서 attention 기반 dynamic interaction보다 feedforward token mixing이 더 안정적일 수 있다는 경험적 판단을 한다.

3) Autoregressive subgoal generation

정책은 subgoal을 한 번에 모두 예측하지 않는다. 이전에 생성된 subgoal을 context로 사용하면서 다음 subgoal을 생성한다.

생성 순서는 far-to-near다. Current state에서 먼 subgoal을 먼저 만들고, 가까운 subgoal을 나중에 만든다. 가까운 subgoal은 action에 직접 영향을 주기 때문에, 앞서 생성된 전체 plan 정보를 더 많이 반영해야 한다는 직관이다.

이 구조는 simple waypoint prediction과 다르다. 각 waypoint가 독립적으로 예측되는 것이 아니라, 하나의 chain 안에서 조건부로 생성된다.

4) Shared value function

CoGHP는 goal-conditioned IQL의 value function을 활용한다. Value function은 offline data에서 학습되고, subgoal과 action prediction을 위한 advantage signal을 제공한다.

중요한 점은 latent subgoal과 final goal이 같은 embedded goal space 안에 있다는 것이다. 그래서 value function은 final goal뿐 아니라 intermediate subgoal에 대해서도 training signal을 줄 수 있다.

4. Training / Data / Recipe

4-1. Data

CoGHP는 offline dataset만 사용한다. Evaluation은 OGBench suite에서 수행된다.

주요 task는 다음과 같다.

Category	Environment	What it tests
Navigation	pointmaze	2-D point mass navigation
Navigation	antmaze	quadruped navigation
Manipulation	cube	single, double, triple cube arrangement
Manipulation	scene	unlocking, opening, placing, closing 등 sequential interaction

Offline setting이므로 policy는 평가 전에 환경과 상호작용하며 데이터를 추가로 모을 수 없다. Dataset trajectory에서 future state를 일정 interval로 sample하여 subgoal target으로 사용한다.

4-2. Training strategy

Training은 크게 두 부분이다.

1. Value function training
   • Goal-conditioned IQL 방식으로 value function을 학습한다.
   • Offline data에서 temporal-difference error를 줄인다.
   • Out-of-distribution action을 직접 query하지 않는 IQL의 안정성을 활용한다.
2. Hierarchical policy training
   • Value function에서 나온 advantage를 사용한다.
   • Subgoal prediction과 action prediction에 AWR-style objective를 적용한다.
   • Subgoal과 action loss를 하나의 end-to-end loss로 합친다.

Policy training에서는 teacher forcing을 사용한다. 초기 training에서 model이 자기 subgoal prediction error를 계속 누적하지 않도록, ground-truth subgoal embedding을 넣어준다. 이는 sequence model training에서는 자연스러운 선택이지만, evaluation 시에는 predicted subgoal을 사용하게 되므로 exposure mismatch는 남는다.

4-3. Engineering notes

실제로 이 구조를 재사용하려면 몇 가지 설계 포인트가 중요하다.

1. Subgoal interval
   • Future state를 몇 step 간격으로 뽑을지에 따라 hierarchy granularity가 달라진다.
   • 너무 짧으면 hierarchy 이득이 작고, 너무 길면 subgoal이 실행 불가능해질 수 있다.
2. Subgoal count
   • Task horizon에 따라 필요한 subgoal 수가 달라진다.
   • 논문은 subgoal count analysis를 별도로 수행한다.
3. Backbone choice
   • MLP-Mixer는 fixed semantic token setting에서 안정적일 수 있다.
   • 하지만 observation modality나 token role이 복잡해지면 Transformer나 다른 architecture가 유리할 가능성도 있다.
4. Teacher forcing
   • Training stability에는 도움이 된다.
   • 하지만 rollout 단계에서는 model이 자기 subgoal을 사용하므로 distribution mismatch를 확인해야 한다.

5. Evaluation

5-1. Main results

논문은 OGBench navigation과 manipulation task에서 CoGHP를 여러 offline GCRL baseline과 비교한다. Baseline에는 GCBC, GCIVL, GCIQL, QRL, CRL, HIQL, OTA, SAW 등이 포함된다.

대표 결과는 다음과 같다.

Task	CoGHP result	Key comparison
pointmaze-giant	79%	HIQL 46%
antmaze-giant	78%	HIQL 65%
scene	78%	HIQL 38%, OTA 20%, SAW 63%
cube-single	97%	final goal awareness 유지 효과 강조
cube-triple	42%	multi-object manipulation에서 차이 확대

특히 scene task가 중요하다. 이 task는 unlocking, opening, placing, closing 같은 순서를 맞춰야 한다. 단일 subgoal이나 분리된 hierarchy는 이런 순서형 task에서 final goal awareness를 잃기 쉽다. CoGHP는 subgoal chain을 통해 intermediate decision을 유지하면서 action을 예측한다.

5-2. What really matters in the experiments

이 실험에서 볼 핵심은 평균 성능보다 complexity scaling이다.

간단한 environment에서는 architecture 차이가 작다. 예를 들어 antmaze-medium에서는 Transformer variant, causal mixer 없는 variant, CoGHP가 모두 높은 성능을 낼 수 있다. 하지만 task가 어려워질수록 차이가 커진다. 논문은 cube-triple과 antmaze-giant에서 MLP-Mixer와 causal mixer의 효과가 크게 나타난다고 보고한다.

이는 CoGHP의 claim과 잘 맞는다. 이 방법은 모든 task에서 무조건 필요한 것이 아니라, multiple intermediate decision이 필요한 long-horizon task에서 강점을 보인다.

또 하나 중요한 점은 final goal awareness다. HIQL처럼 high-level과 low-level이 분리된 구조에서는 low-level이 subgoal만 보고 움직이다가 final goal과 어긋날 수 있다. CoGHP는 final goal을 sequence 전체의 condition으로 유지해 이 문제를 완화한다.

6. Limitations

1. Subgoal이 latent future state에 가깝다.
   • 사람이 읽을 수 있는 semantic plan은 아니다.
   • Robot instruction이나 language planning으로 바로 해석하기는 어렵다.
2. Offline dataset quality에 민감하다.
   • Future state를 subgoal target으로 쓰기 때문에 dataset trajectory가 나쁘면 subgoal supervision도 약해진다.
   • Behavior coverage가 부족하면 long-horizon generalization이 제한될 수 있다.
3. Teacher forcing mismatch가 남는다.
   • Training에서는 ground-truth subgoal을 넣는다.
   • Evaluation에서는 predicted subgoal chain을 사용하므로 error accumulation이 다시 나타날 수 있다.
4. Backbone conclusion은 task-dependent일 수 있다.
   • MLP-Mixer가 이 setting에서 좋다는 실험은 흥미롭다.
   • 하지만 더 긴 sequence, image token, language-conditioned task에서는 다른 backbone이 필요할 수 있다.
5. Subgoal count와 interval tuning이 필요하다.
   • Task마다 적절한 hierarchy depth가 다를 수 있다.
   • 실서비스 robot setting에서는 이 hyperparameter를 자동으로 고르는 문제가 남는다.

7. My Take

7-1. Why this matters for my work

이 논문은 LLM 쪽 chain-of-thought 개념을 robot control에 억지로 붙인 것이 아니라, hierarchy를 sequence model로 재구성했다는 점에서 가치가 있다.

핵심은 “subgoal을 여러 개 만든다”가 아니라, subgoal과 action을 같은 computational graph 안에 넣었다는 점이다. 이렇게 하면 final goal, intermediate waypoint, primitive action 사이의 정보 흐름이 분리된 high-level과 low-level network보다 자연스럽다.

이 관점은 agent planning에도 연결된다. Multi-step agent에서 plan token, tool call, action을 완전히 분리해서 다루기보다, intermediate goal sequence와 action을 하나의 policy output으로 보는 접근이 가능하다.

7-2. Reuse potential

재사용 가능한 아이디어는 세 가지다.

1. Goal-to-subgoal-to-action을 unified sequence로 보기
   • Long-horizon decision을 별도 planner와 controller로 분리하지 않고, 하나의 model 안에서 생성할 수 있다.
2. Fixed-role token에는 MLP-Mixer가 충분할 수 있다는 관찰
   • 모든 sequence problem에 Transformer가 필요한 것은 아니다.
   • Token role이 고정된 control policy에서는 simpler backbone이 더 안정적일 수 있다.
3. Subgoal을 reasoning token처럼 다루기
   • 사람이 읽는 text rationale이 아니어도, intermediate latent state가 다음 prediction을 condition하면 reasoning step 역할을 할 수 있다.

7-3. Follow-up papers

• HIQL, SAW, OTA 등 offline hierarchical GCRL 논문
• OGBench benchmark 논문
• Vision-language-action model의 action chunking과 intermediate planning 관련 논문
• Diffusion policy와 trajectory sequence modeling 관련 논문

8. Summary

• CoGHP는 long-horizon offline GCRL을 multiple latent subgoal과 action을 생성하는 sequence modeling 문제로 바꾼다.
• 기존 hierarchical RL의 single subgoal, final goal awareness loss, fragmented optimization 문제를 unified policy로 완화한다.
• MLP-Mixer와 causal mixer를 사용해 state, goal, subgoal, action token 사이의 정보를 교환한다.
• OGBench navigation과 manipulation task에서 어려운 long-horizon setting일수록 성능 차이가 커진다.
• 다만 latent subgoal의 해석성, offline data quality, teacher forcing mismatch는 실제 적용 시 함께 봐야 한다.