15 분 소요

0. Introduction

Paper link

한 줄 요약: HOPE는 neuron importance를 raw weight magnitude가 아니라 input distribution 위에서 neuron이 구현하는 continuous function의 Hilbert-space geometry로 정의하고, pruning, neuron merging, residual block eviction을 같은 low-rank projection과 rate-distortion 기준으로 선택하는 progressive network deconstruction framework다.

이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.

  • Weight magnitude가 scale symmetry와 reparameterization에 따라 달라지는 문제를 function-space metric으로 우회한다.
  • Pruning과 neuron merging을 별도 heuristic이 아니라 같은 rank-reduction operation으로 통합한다.
  • Single neuron부터 residual pathway까지 서로 다른 granularity의 compression action을 하나의 cost로 비교한다.
  • BatchNorm statistics에서 maximum-entropy surrogate distribution을 만들어 data-free functional norm을 계산한다.
  • Compression geometry를 continual fine-tuning의 frozen core와 plastic slack 분리로 확장한다.

Model compression은 보통 deployment를 위한 engineering 문제로 다뤄진다. Parameter를 줄이고 FLOPs를 낮추면서 accuracy를 얼마나 보존하는지가 중심이다.

HOPE는 compression을 다른 목적으로 사용한다. Trained network가 무엇을 핵심 representation으로 남기고 무엇을 redundant slack으로 사용할 수 있는지, capacity를 조금씩 제거하면서 관찰하려 한다.

이 접근의 출발점은 raw parameter가 function importance를 직접 나타내지 않는다는 점이다.

예를 들어 BatchNorm 앞의 weight를 큰 constant로 곱해도 normalization이 scale을 상쇄하면 network function은 거의 같을 수 있다. 반대로 작은 weight라도 downstream weight와 activation을 함께 보면 중요한 function을 구현할 수 있다.

따라서 neuron importance를 incoming weight norm 하나로 판단하면 다음 문제가 생긴다.

  • Within-neuron scale symmetry
  • Cross-layer reparameterization
  • Layer width와 kernel shape에 따른 architectural bias
  • Activation과 outgoing weight를 무시한 incomplete unit
  • Different layer 사이의 incomparable score

HOPE는 neuron을 parameter vector가 아니라 end-to-end function으로 정의한다.

  1. Incoming weight, BatchNorm, bias, activation, outgoing weight를 하나의 atomic unit으로 묶는다.
  2. Relevant input distribution 위에서 이 neuron function의 inner product와 norm을 정의한다.
  3. 두 neuron을 하나의 lower-rank function으로 merge할 때 생기는 distortion을 계산한다.
  4. Neuron을 zero function으로 projection하면 pruning cost가 된다.
  5. Residual block 전체를 identity 또는 reduced subspace로 projection하면 block eviction cost가 된다.
  6. Distortion 대비 parameter reduction이 가장 좋은 action을 greedy하게 수행한다.

핵심 메시지는 “어떤 weight가 작은가”가 아니라 “network function space에서 어떤 component를 제거하거나 합쳐도 가장 적은 distortion이 생기는가”다.

논문은 70페이지에 걸쳐 이 geometry를 전개한다. 따라서 proof-of-concept compression score만 보는 것보다, neuron의 정의와 functional metric이 어떤 assumption 위에 서 있는지 확인하는 것이 중요하다.

1. Problem Setting

1-1. Problem definition

Neuron $i$의 raw incoming weight를 $w_{\mathrm{raw},i}$, outgoing weight를 $w_{\mathrm{out},i}$라고 하자. BatchNorm의 learned affine parameter는 $\gamma_i$, $\beta_i$이고, checkpoint에 저장된 running statistics는 $\mu_i$, $\sigma_i^2$다.

HOPE는 BatchNorm을 incoming linear map에 흡수해 effective parameter를 만든다.

\[w_{\mathrm{in},i}^{\mathrm{eff}} = \frac{\gamma_i} {\sqrt{\sigma_i^2+\epsilon}} w_{\mathrm{raw},i}\] \[b_i = \beta_i - \frac{\gamma_i \mu_i} {\sqrt{\sigma_i^2+\epsilon}}\]

그 다음 neuron의 end-to-end contribution을 다음 function으로 정의한다.

\[f_i(x) = \Psi \left( (w_{\mathrm{in},i}^{\mathrm{eff}})^\top x+b_i \right) w_{\mathrm{out},i}\]

여기서 $\Psi$는 positively homogeneous of degree 1, 즉 PH-1 activation이다.

\[\Psi(cz)=c\Psi(z) \quad \text{for } c \geq 0\]

ReLU, LeakyReLU, PReLU, linear function이 이에 해당한다.

이 definition은 incoming side만 보지 않는다.

  • Incoming direction
  • Effective bias
  • BatchNorm scaling
  • Nonlinearity
  • Outgoing vector

를 하나의 function으로 묶는다.

이제 neuron importance는 parameter norm이 아니라 input distribution $P_X$ 위의 function norm으로 측정할 수 있다.

\[\langle f_i, f_j \rangle_{\mathcal{H}} = \mathbb{E}_{x \sim P_X} \left[ f_i(x)^\top f_j(x) \right]\] \[\|f_i\|_{\mathcal{H}}^2 = \langle f_i, f_i \rangle_{\mathcal{H}}\]

이 Hilbert space에서 pruning은 $f_i$를 zero function으로 보내는 projection이고, merging은 $f_i$와 $f_j$가 span하는 rank-2 structure를 하나의 rank-1 parent function으로 근사하는 projection이 된다.

Problem setting은 다음과 같다.

Question HOPE의 답
Atomic unit Incoming weight부터 outgoing weight까지 포함한 full neuron function
Importance space Raw parameter space가 아닌 continuous function Hilbert space
Input distribution BN statistics가 정의하는 maximum-entropy Gaussian surrogate
Pruning Neuron operator를 zero subspace로 projection
Merging Two-neuron rank-2 operator를 optimal rank-1 parent로 projection
Block removal Residual pathway를 macro function subspace에서 eviction
Selection Distortion per parameter reduction
Execution Continuous solution을 discrete network parameter로 project back

1-2. Why previous approaches are insufficient

1) Raw magnitude는 function-preserving scale symmetry에 취약하다

BatchNorm 앞의 weight를 $\lambda$배하고 standard deviation도 같은 scale로 변하면 normalized activation은 바뀌지 않을 수 있다.

\[\frac{\lambda w^\top x-\lambda \mu} {\sqrt{\lambda^2 \sigma^2}} = \frac{w^\top x-\mu} {\sqrt{\sigma^2}}\]

그런데 raw L1 or L2 norm은 $\lambda$에 따라 바뀐다. Function은 같아도 pruning priority가 달라지는 모순이 생긴다.

Cross-layer에서도 incoming weight를 키우고 outgoing weight를 줄이면 전체 function이 유지될 수 있다. 그래서 neuron 전체를 relational unit으로 봐야 한다.

2) Pruning과 merging heuristic이 서로 다른 scale을 사용한다

Structured pruning은 channel magnitude나 BN gamma를 사용하고, neuron merging은 cosine similarity나 clustering을 사용한다. Residual block removal은 또 다른 sensitivity score를 쓴다.

이 score들은 단위와 의미가 달라 global competition이 어렵다.

  • Neuron 하나를 지울지
  • 유사 neuron 둘을 합칠지
  • Residual block을 통째로 지울지

를 하나의 objective에서 비교할 수 없다.

3) Dataset-based activation matching은 expensive하고 sample-dependent하다

Functional importance를 실제 activation으로 측정하면 data manifold를 반영할 수 있다. 하지만 progressive compression에서 매 action마다 dataset forward pass를 반복하면 cost가 커진다.

또한 finite calibration set은 rare feature를 놓칠 수 있다. Compression score가 특정 sample subset에 과적합될 위험이 있다.

4) Layer-local score는 architectural bias를 만든다

Layer width, kernel size, output dimension이 다르면 raw norm이나 local reconstruction error의 scale도 달라진다. Score normalization을 위해 layer별 hyperparameter가 필요할 수 있다.

HOPE는 continuous function norm과 parameter reduction을 같은 rate-distortion ratio에 넣어 heterogeneous action을 비교하려 한다.

5) Compression과 continual adaptation이 분리되어 있다

Compression은 redundant capacity를 찾고, continual learning은 old knowledge를 보존하면서 new task를 학습하려 한다. 두 문제 모두 core representation과 plastic capacity를 구분해야 한다.

기존 PEFT나 EWC는 별도 regularizer 또는 adapter를 사용한다. HOPE는 compression cost가 낮은 component를 plastic slack으로 보고 fine-tuning에 재사용한다.

2. Core Idea

2-1. Main contribution

1) Neuron as a rank-1 Hilbert-Schmidt operator

Neuron function을 scalar activation과 outgoing vector의 tensor product로 볼 수 있다.

\[f_i = \phi_i \otimes w_{\mathrm{out},i}\]

여기서

\[\phi_i(x) = \Psi \left( (w_{\mathrm{in},i}^{\mathrm{eff}})^\top x+b_i \right)\]

다.

이 representation은 scalar feature $\phi_i$를 downstream vector direction으로 보내는 rank-1 operator다. 여러 neuron의 합은 higher-rank operator가 된다.

두 neuron을 합치는 문제는 다음처럼 바뀐다.

\[f_i + f_j \approx f_{\mathrm{parent}}\]

단, $f_{\mathrm{parent}}$는 rank-1 form을 가져야 한다. Optimal parent는 Hilbert-Schmidt norm에서 distortion을 최소화하는 low-rank projection으로 얻는다.

2) Maximum-entropy Gaussian surrogate

Functional inner product를 계산하려면 neuron input distribution이 필요하다. BN checkpoint는 각 pre-activation의 mean과 variance를 제공한다.

HOPE는 이 moment constraint를 만족하는 distribution 중 entropy가 가장 큰 Gaussian을 사용한다. Additional assumption을 최소화한다는 의미다.

이 surrogate 아래에서 ReLU 계열 activation의 expectation과 pairwise inner product를 analytic하게 계산할 수 있다.

Data-free라는 주장은 이 조건에 의존한다.

  • Global BN running statistics가 checkpoint에 있어야 한다.
  • Architecture가 BN을 사용하지 않으면 small calibration batch로 pre-activation statistics를 한번 수집해야 한다.

따라서 Transformer나 LayerNorm architecture에 그대로 data-free라고 적용할 수는 없다.

3) Unified pruning and merging cost

Pruning은 neuron을 zero로 보내는 special case다.

\[J_{\mathrm{prune}}(i) = \|f_i\|_{\mathcal{H}}^2\]

Merging은 pair의 sum을 optimal parent로 근사하는 error다.

\[J_{\mathrm{merge}}(i,j) = \min_{f \in \mathcal{R}_1} \| f_i+f_j-f \|_{\mathcal{H}}^2\]

여기서 $\mathcal{R}_1$은 realizable rank-1 neuron function set이다.

두 action이 같은 distortion unit을 사용하므로 global comparison이 가능해진다.

4) Macro residual block eviction

HOPE는 neuron-level geometry를 residual block으로 확장한다.

Residual network의 block이 다음과 같다고 하자.

\[x_{l+1} = x_l + F_l(x_l)\]

$F_l$의 functional contribution이 작으면 block eviction은 $F_l$을 zero operator로 projection하는 것과 같다. Skip path는 유지된다.

이렇게 하면 depth reduction도 neuron pruning 및 merging과 같은 metric에서 경쟁할 수 있다.

5) Rate-distortion progressive encoding

Compression action $k$의 functional distortion을 $J_k$, initial parameter reduction을 $\Delta P_k^{\mathrm{init}}$라고 하자.

HOPE는 다음 ratio를 사용한다.

\[\mathrm{DR}_k = \frac{J_k} {\Delta P_k^{\mathrm{init}}}\]

가장 작은 ratio를 가진 action을 선택한다.

중요한 부분은 denominator에 current dynamic parameter saving이 아니라 initial yield를 사용한다는 점이다. Neighboring action 때문에 layer width가 변하면 parameter saving이 달라질 수 있는데, 이를 그대로 쓰면 early action이 later decision을 편향할 수 있다.

Algorithm은 receding-horizon 방식이다.

  1. 모든 candidate action의 cost를 계산한다.
  2. 가장 낮은 distortion-rate action 하나를 실행한다.
  3. Local geometry와 candidate cost를 update한다.
  4. 다시 최선의 action을 고른다.
  5. Target compression까지 반복한다.

6) DEFT: core and slack separation

HOPE cost가 높은 component는 source task representation을 보존하는 core로 보고, low-cost component는 plastic slack으로 본다.

DEFT, Dispersed Elastic Fine-Tuning은 다음 방식으로 target task를 학습한다.

  • High-capacity core는 freeze한다.
  • Redundant feature를 merge해 capacity를 비운다.
  • Freed component를 target task에 plastic하게 사용한다.
  • Structural mask로 plastic upstream feature가 frozen downstream core를 오염시키지 않게 한다.
  • Downstream elasticity에 따라 gradient scale을 조절한다.

HOPE base framework는 hyperparameter-free를 목표로 하지만, DEFT extension은 percentile $P$ 같은 allocation hyperparameter를 사용한다. 두 claim을 구분해야 한다.

2-2. Design intuition

1) Importance는 parameter가 아니라 transformation의 property다

같은 function을 여러 parameterization으로 표현할 수 있다. Function space로 이동하면 parameter symmetry를 quotient out할 수 있다.

2) Merge는 delete보다 더 expressive한 compression action이다

유사 neuron 둘이 같은 feature를 조금씩 나눠 표현한다면 하나를 단순 삭제하는 것보다 optimal parent로 합치는 것이 distortion이 작다.

Pruning만 쓰면 representation superposition 또는 feature splitting을 놓칠 수 있다.

3) Progressive compression은 representation hierarchy를 드러낼 수 있다

Low-cost action은 쉽게 제거되는 slack이고, high-cost action은 끝까지 남는 core일 가능성이 있다. Compression trajectory 자체가 network knowledge structure를 해석하는 도구가 된다.

4) Different granularity를 같은 geometry에서 경쟁시켜야 한다

Neuron, pair, residual block은 parameter count와 function scale이 다르다. Common Hilbert distortion과 rate를 사용하면 architecture decision을 별도 heuristic 없이 비교할 수 있다.

5) Data-free는 distribution-free가 아니다

BN statistics가 만든 Gaussian surrogate는 training distribution의 compressed summary다. Actual data를 다시 읽지 않는다는 뜻이지, input distribution assumption이 없다는 뜻은 아니다.

3. Architecture / Method

3-1. Overview

Item Description
Goal Trained network representation을 progressive compression으로 deconstruct
Atomic unit Full neuron function
Mathematical space Hilbert space of continuous functions
Operator view Rank-1 Hilbert-Schmidt operator
Distribution model Maximum-entropy Gaussian from BN statistics
Actions Prune, merge, residual block eviction
Selection objective Functional distortion per initial parameter reduction
Search Greedy receding-horizon
Fine-tuning extension DEFT
Evaluation status Proof of concept

3-2. Module breakdown

1) Effective neuron parameterization

Raw incoming parameter와 BN을 합친 effective linear form을 만든다.

이 step은 normalization scale invariance를 제거한다. 이후 activation과 outgoing vector를 결합해 full neuron function을 정의한다.

Neuron을 incoming filter 하나로 보지 않는 점이 중요하다. Convolutional channel도 kernel, BN, activation, next-layer outgoing slice를 함께 atomic unit으로 취급한다.

2) Local input surrogate

각 neuron 또는 layer input에 대해 mean과 covariance를 구성한다. BN은 scalar pre-activation statistics를 제공하므로 cross-neuron correlation을 복원하기 위해 effective weight geometry와 surrogate input model을 사용한다.

Maximum-entropy principle은 moment constraint 외에 추가 structure를 넣지 않는 Gaussian을 선택한다.

3) Functional Gram matrix

Neuron pair의 Hilbert inner product를 계산해 Gram matrix를 만든다.

\[K_{ij} = \langle f_i,f_j\rangle_{\mathcal{H}}\]

Diagonal $K_{ii}$는 neuron function energy이고, off-diagonal $K_{ij}$는 functional overlap이다.

  • $K_{ii}$가 작으면 prune candidate다.
  • $K_{ij}$가 크고 pair가 near-collinear하면 merge candidate다.
  • Layer 또는 block aggregate norm이 작으면 macro eviction candidate다.

4) Optimal parent construction

두 neuron을 merge할 때 단순 average weight를 쓰지 않는다. Function-space best rank-1 approximation을 찾고, 그 continuous operator를 realizable neuron parameter로 다시 map한다.

이 map-back step이 필요하다. Hilbert space에서 optimal function을 구해도 neural network parameter form으로 구현할 수 없으면 compression action이 아니다.

PH-1 property는 scale을 incoming side와 outgoing side 사이에서 재배치할 수 있게 해 parent parameter construction을 단순화한다.

5) Candidate cache and updates

Naive implementation은 모든 action을 매 step 다시 계산하면 매우 비싸다.

HOPE는 pairwise geometry를 초기 계산하고 candidate cost를 cache한다. Action 하나를 실행한 뒤 영향을 받는 local neighborhood만 update한다.

  • Initial pairwise construction: Layer당 대략 $O(N^2)$ candidate
  • Cached candidate lookup: $O(1)$
  • Local update: Affected layer에서 대략 $O(N)$

다만 progressive trajectory가 길고 layer width가 크면 total cost는 여전히 커질 수 있다.

6) Macro block competition

Residual block eviction candidate도 rate-distortion heap에 들어간다. 따라서 algorithm은 특정 point에서 neuron 몇 개를 줄이는 대신 block 전체를 제거할 수 있다.

이 결정은 architecture search처럼 보이지만 extra gate training이나 validation loop 없이 functional metric으로 이뤄진다.

7) DEFT structural isolation

DEFT는 source core와 target plastic parameter를 단순히 mask로 나누는 데서 끝나지 않는다.

Plastic upstream component가 frozen downstream core에 연결되면 source representation을 오염시킬 수 있다. Structural mask는 이 path를 차단한다.

또한 downstream component가 얼마나 plastic한지에 따라 upstream gradient를 scale해 update가 frozen core 경계를 침범하지 않도록 한다.

4. Training / Data / Recipe

4-1. Compression experiment

Compression proof of concept는 public Keras ResNet-50과 ImageNet을 사용한다.

비교 baseline은 다음과 같다.

  • Incoming-weight L1 structured pruning
  • Joint incoming/outgoing L1 criterion
  • BatchNorm scale-based structured pruning
  • HOPE progressive pruning and merging

Evaluation은 compression ratio 또는 density에 따른 accuracy curve를 본다. HOPE는 parameter magnitude baseline보다 better accuracy-density trade-off를 보인다.

이 결과는 framework feasibility를 보여주지만 exhaustive compression benchmark는 아니다.

  • Architecture는 ResNet-50 중심이다.
  • BN과 ReLU structure가 HOPE assumption에 잘 맞는다.
  • Modern Transformer, ConvNeXt, ViT, LLM에서의 result는 없다.
  • Latency-aware hardware metric보다 parameter reduction이 중심이다.

4-2. DEFT transfer setting

DEFT proof of concept는 CIFAR-100 source와 SVHN target을 사용한다.

Source task는 CIFAR-100의 4개 superclass에서 구성한 20-class classification이다. Target은 SVHN 10-digit classification이다.

비교 method는 다음과 같다.

  • Head-only fine-tuning
  • Full fine-tuning
  • EWC
  • PEFT-style baseline
  • DEFT

두 objective를 함께 본다.

  • Target task accuracy
  • Source task retention

Harmonic score는 둘 사이의 balance를 나타낸다.

4-3. Main DEFT result

논문 table에서 다음 결과를 보고한다.

Method Target accuracy Source retention H-score
Head-only 36.11 +/- 2.79 63.13 +/- 4.62 45.79 +/- 2.05
Full fine-tuning 94.09 +/- 0.28 7.52 +/- 1.63 13.88 +/- 2.84
EWC 93.94 +/- 0.22 6.74 +/- 1.74 12.54 +/- 2.99
PEFT 81.91 +/- 0.49 5.44 +/- 0.98 10.18 +/- 1.63
DEFT 89.79 +/- 0.84 52.14 +/- 5.29 65.82 +/- 3.96

Full fine-tuning은 target accuracy가 높지만 source retention이 크게 무너진다. Head-only는 source를 보존하지만 target adaptation이 약하다. DEFT는 target과 source의 balance에서 높은 H-score를 보인다.

다만 task pair가 하나이고 architecture도 제한적이므로 continual learning 전반에 일반화했다고 보기는 어렵다.

4-4. Data-free and calibration recipe

BN network에서는 checkpoint의 running mean과 variance를 사용한다. Original training sample이나 synthetic image generation이 필요하지 않다.

BN이 없는 architecture에서는 small calibration batch로 pre-activation statistics를 한번 수집한다. 이후 progressive action evaluation은 analytic surrogate를 사용한다.

여기서 data-free의 scope를 정확히 적어야 한다.

Architecture Requirement
BN with valid global statistics No external data pass
No BN or unreliable running stats One-time calibration batch
Distribution shift after training Surrogate statistics update 필요 가능
Dynamic or conditional path Single local Gaussian assumption이 부족할 수 있음

4-5. Engineering notes

1) BN statistics quality가 metric quality를 결정한다

Running stats가 stale하거나 small-batch noise에 오염되어 있으면 functional norm도 잘못될 수 있다.

2) Action cost와 actual latency reduction은 다르다

Parameter reduction이 hardware speedup으로 바로 이어지지 않는다. Channel alignment, kernel support, memory bandwidth를 고려한 deployment-aware rate가 추가로 필요하다.

3) Pairwise candidate 수가 width에 따라 커진다

Layer width $N$에서 all-pair merge candidate는 $O(N^2)$다. Wide network나 LLM FFN에서 exact pairwise construction은 큰 병목이 될 수 있다.

4) Map-back stability를 검증해야 한다

Function-space parent를 parameter로 변환한 뒤 numerical error와 downstream normalization interaction이 생길 수 있다. Progressive step마다 sanity check가 필요하다.

5. Evaluation

5-1. Main results

1) ResNet-50 compression

HOPE는 magnitude and BN-scale baselines보다 accuracy를 더 잘 보존하는 compression trajectory를 제시한다.

이 결과에서 중요한 것은 single target sparsity score보다 progressive curve다. Compression ratio가 증가할 때 어떤 action이 먼저 선택되고, pruning과 merging, block eviction이 어떻게 섞이는지가 framework의 representation deconstruction claim과 연결된다.

2) Heterogeneous action competition

HOPE는 neuron pruning만 연속으로 수행하지 않는다. Functional redundancy에 따라 merge가 선택되고, 특정 point에는 residual block eviction이 경쟁한다.

이 behavior는 manually fixed layerwise sparsity schedule이 없다는 점에서 의미가 있다. Layer와 granularity 사이의 architecture decision을 common rate-distortion score가 만든다.

3) DEFT의 stability-plasticity balance

DEFT는 full fine-tuning보다 target accuracy가 낮지만 source retention을 크게 높인다. Head-only보다 target learning이 강하다.

H-score 기준으로 source core와 target slack을 분리하는 접근이 유효함을 보인다.

4) Data-free analysis의 practical potential

BN checkpoint만으로 functional metric을 계산할 수 있다는 점은 original training data가 unavailable한 deployment scenario에서 유용하다.

예를 들어 다음 상황을 생각할 수 있다.

  • Privacy 때문에 original data에 접근할 수 없음
  • Foundation model vendor가 checkpoint만 제공
  • Legacy model의 training pipeline이 사라짐
  • Compression audit를 offline에서 수행

5-2. What really matters in the experiments

1) HOPE의 main contribution은 benchmark SOTA가 아니다

논문 자체도 proof-of-concept를 강조한다. Compression score를 최신 pruning method와 광범위하게 비교하기보다, unified function-space formulation이 실제 network에서 작동하는지 보여준다.

2) Data-free claim은 BN architecture에서 가장 강하다

ResNet-50은 BN statistics와 PH-1 ReLU가 framework에 잘 맞는다. LayerNorm과 GELU를 쓰는 Transformer에 바로 옮기면 key assumption이 깨진다.

3) DEFT result는 geometry의 downstream utility를 테스트한다

Compression cost가 단순히 “지워도 되는 parameter”만 찾는지, 아니면 “source knowledge를 보존하는 core”도 찾는지 평가한다. Source retention이 중요한 이유다.

4) Rate denominator choice가 trajectory를 바꾼다

Initial parameter yield를 고정 denominator로 사용하는 것은 subtle하지만 중요하다. Current layer width에 따라 dynamic yield를 쓰면 early compression이 later action ranking을 self-reinforcing하게 만들 수 있다.

5) Interpretability claim은 아직 indirect하다

HOPE는 progressive compression을 representation deconstruction으로 해석한다. 하지만 specific concept나 feature가 어떤 neuron group에 담겼는지 직접 semantic label을 붙이지는 않는다.

Compression resistance가 core importance의 proxy라는 주장과 mechanistic interpretability는 구분해야 한다.

6. Limitations

  1. PH-1 activation assumption이 강하다.
    • ReLU, LeakyReLU, PReLU, linear에는 맞지만 GELU, SiLU, sigmoid, attention softmax에는 그대로 적용되지 않는다.
    • Modern Transformer에 확장하려면 새로운 analytic kernel 또는 approximation이 필요하다.
  2. Data-free property는 BN statistics에 의존한다.
    • BN이 없으면 calibration data가 필요하다.
    • Running statistics가 current deployment distribution을 대표하지 않으면 functional metric도 왜곡된다.
  3. Gaussian maximum-entropy surrogate가 multimodal distribution을 단순화한다.
    • Same mean and covariance를 가진 distribution이 실제 activation tail과 rare mode를 보존하지는 않는다.
    • Long-tail feature가 low-cost로 오판될 수 있다.
  4. Proof-of-concept scale이 제한적이다.
    • ResNet-50 ImageNet compression과 CIFAR-to-SVHN transfer만으로 LLM, VLM, diffusion model에 대한 generality를 입증하지 않는다.
  5. Pairwise merge candidate가 $O(N^2)$다.
    • Very wide layer에서는 initial Gram and candidate construction이 비싸다.
    • Approximate nearest-neighbor 또는 blockwise screening이 필요할 수 있다.
  6. Parameter reduction과 hardware speedup이 다르다.
    • Irregular channel count나 block removal이 target accelerator kernel에서 실제 latency gain으로 이어지는지 별도 측정이 필요하다.
  7. Greedy receding-horizon search는 global optimum을 보장하지 않는다.
    • Early merge가 later feature geometry를 바꿀 수 있다.
    • Local low-distortion action sequence가 globally best compressed network라고 단정할 수 없다.
  8. Hyperparameter-free claim의 scope를 구분해야 한다.
    • HOPE compression engine은 explicit weighting hyperparameter를 피한다.
    • DEFT는 plastic subset을 정하기 위한 percentile $P$ 같은 choice를 포함한다.
  9. Interpretability는 semantic attribution까지 가지 않는다.
    • High-cost core가 어떤 concept, algorithm, invariant를 표현하는지는 추가 probe가 필요하다.
  10. Continual learning result가 narrow하다.
    • Single source-target pair와 image classification setting이다.
    • Multiple sequential tasks, class-incremental learning, language adaptation에서 forgetting behavior를 확인해야 한다.

7. My Take

7-1. Why this matters for my work

HOPE의 가장 흥미로운 부분은 compression method 자체보다 “network edit action을 common functional currency로 환산한다”는 점이다.

실무에서는 pruning, merging, layer dropping, adapter allocation이 서로 다른 tool로 존재한다. 각 tool의 score가 달라 global decision을 사람이 수동으로 정한다.

HOPE는 다음 질문을 하나의 queue로 바꾼다.

  • 이 neuron을 지울 것인가.
  • 저 neuron pair를 합칠 것인가.
  • Residual block을 제거할 것인가.
  • 어떤 capacity를 freeze하고 어떤 capacity를 target task에 열 것인가.

이런 unified action space는 architecture surgery, continual adaptation, model modularization으로 확장할 수 있다.

다만 현대 LLM에 적용하려면 BN plus ReLU 중심 derivation을 LayerNorm, RMSNorm, SiLU, attention, MoE routing으로 다시 설계해야 한다. 이 부분이 가장 큰 연구 기회이자 가장 큰 난점이다.

7-2. Reuse potential

1) Data-free CNN compression audit

BN-based document vision backbone이나 image classifier에서 다음 pipeline을 실험할 수 있다.

  1. Checkpoint BN statistics를 validate한다.
  2. Neuron functional Gram matrix를 계산한다.
  3. Prune and merge candidate를 rate-distortion ranking한다.
  4. Small number of actions마다 validation set으로 drift를 audit한다.
  5. Hardware-aware parameter yield로 denominator를 교체해 latency curve를 측정한다.

2) Core and slack mapping

Progressive compression resistance를 이용해 layer별 core map을 만들 수 있다.

  • Early removable capacity
  • Mergeable redundant cluster
  • Persistent high-distortion core
  • Block-level disposable path

이 map을 fine-tuning mask, quantization sensitivity, fault injection과 연결할 수 있다.

3) HOPE-style adapter allocation

LLM에 직접 적용하기 전, BN-based network에서 low-cost slack이 있는 layer에 adapter capacity를 집중하는 experiment를 설계할 수 있다.

  • Low functional-cost layer: More plastic capacity
  • High functional-cost layer: Freeze or low LR
  • Mixed layer: Structured gradient mask

4) Semantic follow-up

Compression trajectory를 concept probe와 결합한다.

  1. 특정 concept dataset으로 neuron activation을 label한다.
  2. HOPE action order와 concept retention을 추적한다.
  3. High-cost component가 robust feature인지 spurious feature인지 구분한다.
  4. Merge 후 concept superposition이 줄어드는지 본다.

5) Transformer extension agenda

Modern architecture로 확장하려면 다음 요소가 필요하다.

  • LayerNorm or RMSNorm-aware effective parameterization
  • GELU or SiLU analytic or numerical kernel
  • Attention head as operator unit
  • MLP gated pair as atomic unit
  • Residual stream distribution surrogate
  • MoE expert and router joint functional cost
  • Low-rank adapter merge and prune action

7-3. Follow-up papers

  • Optimal Brain Damage
  • Network Slimming
  • Deep Compression
  • Data-Free Knowledge Distillation
  • Feature Zipping
  • The Platonic Representation Hypothesis
  • Elastic Weight Consolidation
  • LoRA: Low-Rank Adaptation of Large Language Models
  • Model Compression as a Lens for Representation Analysis

8. Summary

  • HOPE는 neuron을 raw weight가 아니라 incoming map, BN, activation, outgoing map을 결합한 continuous function으로 정의한다.
  • Neuron function을 rank-1 Hilbert-Schmidt operator로 보고 pruning과 merging을 같은 low-rank projection으로 통합한다.
  • BN statistics에서 maximum-entropy Gaussian surrogate를 만들기 때문에 BN network에서는 original data 없이 functional norm을 계산한다.
  • Functional distortion per parameter reduction으로 neuron, pair, residual block action을 하나의 progressive queue에서 선택한다.
  • DEFT는 compression-resistant core를 freeze하고 low-cost slack을 target adaptation에 사용해 source retention과 target accuracy를 절충한다.
  • PH-1 activation, BN dependence, Gaussian surrogate, $O(N^2)$ pair construction, limited proof-of-concept scale은 중요한 한계다.

댓글남기기

참고