MMAE: A Massive Multitask Audio Editing Benchmark Review
0. Introduction
MMAE는 audio editing model을 평가할 때 질문을 바꾸는 논문이다. 지금까지 audio generation이나 audio editing 데모는 특정 task 하나를 잘 보여주는 방식이 많았다. 예를 들어 speech enhancement, source separation, music editing, voice conversion, sound effect removal처럼 subdomain별 benchmark와 demo는 있었지만, 사용자가 실제로 줄 법한 instruction-based editing을 넓은 audio modality와 난이도에서 한 번에 평가하는 공통 testbed는 부족했다.
이 논문이 보는 핵심 문제는 general-purpose audio editing evaluation이다. 사용자는 단순히 “noise를 줄여줘”라고만 말하지 않는다. 어떤 경우에는 speech와 music이 섞인 clip에서 vocal을 키우고, 특정 sound effect를 제거하고, timing이나 timbre까지 바꾸길 요구한다. 또 multi-round instruction이나 multi-hop reasoning처럼, output을 만들려면 audio event의 위치, speaker identity, background structure, target operation을 함께 추적해야 하는 경우도 있다.
MMAE는 이 문제를 7개 audio modality, 6개 task complexity, 2개 granularity, 8개 operation type으로 taxonomy화하고, 2,000개 high-fidelity sample과 17,741개 verifiable rubric criterion으로 benchmark를 구성한다. 중요한 점은 model output을 대략적으로 선호 평가하는 것이 아니라, instruction following과 context consistency를 rubric 단위로 쪼개 평가한다는 것이다.
한 줄 요약: MMAE는 instruction-based audio editing을 sound, speech, music, mixed modality, multi-hop, multi-round setting까지 확장하고, free-form editing task를 17,741개 rubric criterion으로 분해해 현재 audio editing model의 precise execution failure를 진단하는 benchmark다.
이 논문을 지금 볼 가치가 있는 이유는 다음과 같음.
- Image와 video editing에서는 complex instruction benchmark가 빠르게 늘고 있지만, audio editing은 evaluation infrastructure가 상대적으로 fragmented하다.
- MMAE는 audio editing을 task별 demo가 아니라 benchmark apparatus로 정리한다.
- Modality, complexity, granularity, operation을 분리해 어떤 조건에서 model이 깨지는지 더 잘 볼 수 있다.
- Rubric-based judge를 통해 free-form audio output을 Instruction Following Rate, Consistency Rate, Exact Match Rate로 구조화한다.
- Code와 Hugging Face dataset이 공개되어 있어, audio editing model evaluation pipeline을 실제로 재사용할 수 있다.
이 논문의 진짜 메시지는 “audio editing benchmark가 하나 더 나왔다”가 아니다. 더 정확히는, next-generation audio editing model을 평가하려면 audio quality만 볼 것이 아니라, instruction execution과 source context preservation을 criterion level에서 분리해야 한다는 주장이다.
1. Problem Setting
1-1. Problem definition
이 논문이 겨냥하는 문제는 instruction-based audio editing model의 general evaluation이다.
문제를 조금 더 풀면 다음과 같다.
- 입력으로 하나 이상의 audio clip과 natural language instruction이 주어진다.
- Instruction은 extraction, removal, replacement, alteration, foreground change, background change 같은 operation을 포함할 수 있다.
- 모델은 instruction이 요구하는 target edit을 수행해야 한다.
- 동시에 instruction에서 바꾸라고 하지 않은 content, speaker, music structure, event timing, background context는 보존해야 한다.
- 출력 audio는 사람이 들어도 자연스럽고, rubric criterion을 만족해야 한다.
예를 들어 다음과 같은 instruction을 생각해볼 수 있다.
- Mixed speech and music audio에서 vocal을 더 크게 만든다.
- Background music은 제거하지 않는다.
- Speech content는 그대로 유지한다.
- 전체 loudness artifact를 크게 만들지 않는다.
이 task는 단순한 audio enhancement가 아니다. Vocal foreground는 바꾸되, linguistic content와 background relation은 유지해야 한다. 그래서 editing model은 perception, localization, transformation, preservation을 동시에 해야 한다.
1-2. Why previous approaches are insufficient
기존 audio benchmark가 부족한 이유는 세 가지로 정리할 수 있다.
첫째, subdomain이 쪼개져 있다. Speech enhancement, music source separation, sound event editing, voice conversion은 각각 의미가 있지만, 실제 user instruction은 이 경계를 자주 넘는다. Sound, speech, music이 섞인 audio를 하나의 instruction으로 편집하는 능력은 기존 single-domain benchmark로 보기 어렵다.
둘째, operation coverage가 좁다. Basic removal이나 enhancement만 보면 model이 좋아 보일 수 있다. 하지만 실제 editing은 addition, extraction, replacement, timing change, foreground/background control, multi-step modification을 포함한다. MMAE는 이 조합을 taxonomy로 명시한다.
셋째, metric이 coarse하다. Audio quality score나 human preference score는 output이 그럴듯한지 보여줄 수는 있지만, instruction의 어느 조건을 만족했는지, 원래 audio context가 어디서 깨졌는지는 잘 보여주지 못한다. MMAE는 이 문제를 rubric-based evaluation으로 다룬다.
결국 이 논문이 보는 병목은 audio generation capability 자체보다 evaluation resolution이다. Model이 “듣기 좋은 audio”를 만들었는가와 “요청한 edit을 정확히 수행했는가”는 다른 문제다.
2. Core Idea
2-1. Main contribution
MMAE의 핵심 기여는 크게 세 가지다.
- Broad audio editing taxonomy
- 7개 audio modality를 다룬다.
- Sound, speech, music과 이들의 mixture를 포함한다.
- 6개 complexity level을 통해 basic modification부터 multi-hop reasoning과 multi-round editing까지 본다.
- 2개 granularity와 8개 operation type을 사용해 task를 구조화한다.
- Human-agent collaboration 기반 dataset curation
- 단순 scraping이 아니라 brainstorming, taxonomy construction, instruction-centric data collection, rubric annotation, quality inspection으로 이어지는 pipeline을 사용한다.
- 최종적으로 2,000개 high-fidelity sample을 만든다.
- 각 sample은 input audio, instruction, operation metadata, rubric criteria를 포함한다.
- Rubric-based evaluation
- Free-form editing task를 17,741개 verifiable criterion으로 분해한다.
- Criterion은 Instruction Following과 Consistency 관점에서 output을 점검한다.
- Per-sample result는 Instruction Following Rate, Consistency Rate, Exact Match Rate로 집계된다.
이 구조 덕분에 MMAE는 leaderboard benchmark라기보다 diagnostic benchmark에 가깝다. 어떤 model이 몇 점을 얻었는지도 중요하지만, 더 중요한 것은 어떤 modality, complexity, operation에서 실패하는지다.
2-2. Design intuition
이 논문의 설계 직관은 꽤 명확하다.
첫째, audio editing은 selective transformation이다. Target은 바꾸고 non-target은 유지해야 한다. 단순 audio generation보다 평가가 까다로운 이유가 여기에 있다.
둘째, audio는 modality boundary가 흐리다. Speech는 linguistic content와 speaker timbre를 동시에 갖고, music은 melody, chord, rhythm, instrument timbre를 함께 갖는다. Sound effect와 speech가 섞인 clip에서는 event order와 semantic content를 같이 봐야 한다. 그래서 editing instruction을 modality별로 고정하면 실제 사용성을 놓치기 쉽다.
셋째, free-form output은 rubric으로 쪼개야 한다. Audio editing 결과는 text answer처럼 exact string match를 하기 어렵다. 하지만 “speaker content가 유지되었는가”, “background music이 더 커졌는가”, “target event가 제거되었는가” 같은 질문으로 나누면 더 checkable한 평가가 된다.
MMAE의 핵심은 audio benchmark의 scale보다 evaluation interface다. Audio output을 직접 들어야 하는 문제를 MLLM judge와 verifiable rubric으로 구조화해서, model developer가 failure type을 추적할 수 있게 만든다.
3. Architecture / Method
3-1. Overview
| Item | Description |
|---|---|
| Goal | General-purpose instruction-based audio editing evaluation |
| Benchmark scale | 2,000 high-fidelity samples |
| Rubrics | 17,741 verifiable criteria |
| Modalities | 7 audio modalities across sound, speech, music, and mixtures |
| Complexity | 6 levels from basic modification to multi-hop and multi-round editing |
| Granularity | 2 levels, local and global |
| Operation coverage | 8 operation types |
| Judge | Qwen3-Omni based rubric evaluation |
| Output metrics | Instruction Following Rate, Consistency Rate, Exact Match Rate |
| Released artifacts | GitHub code and Hugging Face dataset |
3-2. Module breakdown
1) Taxonomy construction
MMAE는 benchmark item을 세 가지 큰 축으로 본다.
첫째는 modality다. 논문은 sound, speech, music 그리고 이들의 mixture를 포함한다고 설명한다. Dataset examples에서도 music, sound, speech, music-speech, sound-speech, sound-music, sound-music-speech 같은 label이 보인다. 이 축은 audio source의 종류를 나타낸다.
둘째는 complexity다. Dataset schema와 examples를 보면 single, multi-part, multi-instruction, multi-audio, multi-round, multi-hop 같은 label이 포함된다. 이 축은 instruction이 얼마나 복합적인지, 그리고 여러 audio나 여러 round를 요구하는지 나타낸다.
셋째는 operation과 granularity다. Granularity는 local 또는 global로 표시된다. Operation에는 extraction, alteration, replacement, addition, removal, foreground change, background change 같은 유형이 포함된다. 논문은 총 8개 operation type을 사용한다고 보고한다.
이 taxonomy가 중요한 이유는 aggregate score를 해석 가능하게 만들기 때문이다. Audio editing model이 낮은 EMR을 보였을 때, 단순히 “모델이 약하다”로 끝내지 않고, mixed modality 때문인지, multi-round 때문인지, global foreground control 때문인지 분해해서 볼 수 있다.
2) Data curation pipeline
GitHub README 기준 MMAE의 data curation pipeline은 5단계다.
| Stage | Role |
|---|---|
| Brainstorming | 실제 audio editing scenario와 instruction 후보를 모은다 |
| Taxonomy and Paradigm Construction | modality, complexity, granularity, operation 체계를 만든다 |
| Instruction-Centric Data Collection | instruction을 중심으로 audio sample을 수집하거나 구성한다 |
| Rubrics Annotation | output을 검증할 criterion을 작성한다 |
| Quality Inspection | sample과 rubric 품질을 점검한다 |
이 pipeline에서 흥미로운 점은 audio를 먼저 모으고 나중에 label을 붙이는 방식보다 instruction-centric design에 가깝다는 것이다. Editing benchmark에서는 “어떤 audio가 있는가”보다 “어떤 edit을 요구하는가”가 더 중요하다. 그래서 instruction이 benchmark의 중심이 된다.
3) Dataset schema
Hugging Face dataset card 기준 MMAE는 train split에 2k rows가 있고, 각 row는 다음 필드를 포함한다.
| Field | Meaning |
|---|---|
| id | sample id |
| complexity | task complexity label |
| modality | audio modality label |
| granularity | local or global granularity |
| operations | operation metadata |
| instruction | natural language editing instruction |
| num_messages | multi-round message count |
| num_audios | number of input audio clips |
| audio_files | input audio file paths |
| num_rubrics | number of rubric criteria |
| rubrics | verifiable evaluation questions |
| tags | task tags |
예시를 보면 다음과 같은 task가 들어 있다.
- Extract the music component from the audio.
- Change the current A chord to A7.
- Remove the last segment among the final three sound effects, then convert the speaker’s speech to Chinese.
- Add basketball dribbling sound to the background, remove the background music, then remove a target speech phrase.
- Replace the speaker identity in the first audio clip with the vocal timbre from the second audio clip while preserving the original linguistic content.
이 예시만 봐도 MMAE가 단순 denoising benchmark가 아니라는 점이 보인다. 특히 multi-audio, multi-round, mixed modality examples는 editing model이 audio understanding과 generation을 동시에 해야 한다는 것을 보여준다.
4) Rubric annotation
MMAE의 가장 중요한 설계는 rubric이다. 하나의 audio editing instruction은 여러 criterion으로 분해된다. Criterion은 대체로 output audio와 input audio를 비교하거나, output의 특정 time span에서 target property가 만족되는지 묻는다.
예를 들어 “Change the current A chord to A7”이라는 instruction은 단순히 output이 음악처럼 들리는지만 보지 않는다. Output segment가 input보다 seventh color를 더 잘 갖는지 같은 criterion으로 바뀐다. Speech replacement task에서는 output speech content가 요구한 문장과 일치하는지 확인한다. Background control task에서는 특정 sound event나 music component가 더 잘 들리는지 또는 제거되었는지를 묻는다.
이 방식은 audio editing evaluation을 QA-like decision problem으로 바꾼다. 물론 judge model이 완벽하다는 뜻은 아니다. 하지만 free-form audio output을 직접 scalar로 평가하는 것보다, criterion별 pass/fail 또는 choice로 나누는 편이 훨씬 diagnostic하다.
5) Evaluation runner
공개 repo는 evaluation runner를 제공한다. 흐름은 다음과 같다.
- Qwen3-Omni를 judge model로 deploy한다.
- Editing model이 MMAE input에 대해 output audio를 생성한다.
- 원본 metadata에 assistant turn을 추가해 output audio path를 연결한다.
python -m eval.score를 실행한다.- 결과는
results.jsonl,per_sample.json,taxonomy.json으로 저장된다.
README는 reference deployment script가 Qwen3-Omni instance 두 개를 띄우고, 각 instance를 tensor parallel 4로 실행해 8 GPU를 사용한다고 설명한다. 이 부분은 benchmark 재현 비용을 이해할 때 중요하다. MMAE는 dataset만 있으면 끝나는 benchmark가 아니라, audio-capable judge serving과 batch scoring infrastructure까지 필요한 evaluation recipe다.
4. Training / Data / Recipe
4-1. Data
MMAE는 training recipe 논문이라기보다 benchmark and evaluation paper다. 따라서 이 섹션에서는 model training data가 아니라 benchmark data construction을 중심으로 봐야 한다.
핵심 데이터 구성은 다음과 같다.
| Component | Description |
|---|---|
| Samples | 2,000 high-fidelity audio editing samples |
| Rubrics | 17,741 verifiable criteria |
| Modalities | sound, speech, music, and mixtures |
| Metadata | complexity, modality, granularity, operation, instruction, audio paths, rubrics |
| Release | Hugging Face dataset and GitHub metadata |
한 sample에 여러 rubric이 붙기 때문에, evaluation signal은 sample 수보다 훨씬 촘촘하다. 단순히 2,000개 sample이라는 숫자보다 17,741개 criterion이 더 중요하다. Editing failure는 sample-level success로만 보면 가려지기 쉽고, criterion-level score가 있어야 어떤 요구사항이 빠졌는지 볼 수 있다.
4-2. Evaluation strategy
MMAE의 evaluation strategy는 세 가지 metric으로 요약할 수 있다.
| Metric | Meaning |
|---|---|
| Instruction Following Rate | 요청한 edit 조건을 얼마나 잘 수행했는지 |
| Consistency Rate | 바꾸지 말아야 할 source context가 얼마나 유지되었는지 |
| Exact Match Rate | 해당 sample의 rubric criteria를 모두 만족하는 strict success |
Exact Match Rate가 특히 엄격하다. Audio editing에서는 여러 criterion 중 하나만 실패해도 user experience가 깨질 수 있다. 예를 들어 background music을 제거하라는 요청은 성공했지만 speech content가 바뀌면 실사용에서는 실패에 가깝다. 그래서 EMR은 평균적인 부분 성공보다 end-to-end correctness를 보여주는 지표로 읽어야 한다.
논문 abstract 기준으로 leading models의 EMR은 일관되게 5% 아래에 머물고, complex mixed-modality task에서는 0%까지 떨어진다. 이 결과는 현재 audio editing model이 개별 transformation에서는 어느 정도 능력을 보일 수 있어도, multi-condition precise execution에서는 아직 reliability가 낮다는 것을 보여준다.
4-3. Engineering notes
실제로 MMAE를 재사용하려면 다음 포인트를 확인해야 한다.
- Prediction file format
- 원본
messages에 assistant turn을 추가하고, output audio path를 지정해야 한다. - Audio path는 absolute path이거나 prediction file 기준 relative path일 수 있다.
- 원본
- Judge serving
- Qwen3-Omni를 vLLM endpoint로 띄운다.
--base_urls에 여러 endpoint를 넣어 scoring workload를 분산할 수 있다.
- Rubric retry
- README 기준
--retries는 rubric별 valid judge response를 3개 모으도록 설정된다. --max_attempts는 실패를 포함한 최대 attempt 수이며 default는 10이다.
- README 기준
- Output analysis
results.jsonl은 rubric-level detailed result를 저장한다.per_sample.json은 sample별 IFR, CR, EMR을 저장한다.taxonomy.json은 modality, complexity, operation 기준 grouping score를 제공한다.
이 구조는 실무적으로 꽤 유용하다. Audio editing model을 만들 때 단순 평균 점수만 보면 무엇을 고쳐야 할지 알기 어렵다. MMAE처럼 taxonomy-level report가 있으면, 예를 들어 speech replacement는 되지만 music-speech background change가 약한지, single task는 되지만 multi-round가 깨지는지 볼 수 있다.
5. Evaluation
5-1. Main results
논문이 제시하는 가장 큰 결과는 현재 leading audio editing systems가 MMAE에서 매우 낮은 strict success를 보인다는 것이다.
| Result axis | Reported finding |
|---|---|
| Overall strict success | EMR is consistently below 5% |
| Complex mixed-modality tasks | EMR drops to 0% |
| Benchmark size | 2,000 samples and 17,741 rubrics |
| Evaluation target | Instruction following and context consistency |
| Failure interpretation | Precise execution and structural robustness are still weak |
이 결과를 단순히 “모델이 못한다”로 읽으면 아쉽다. 더 정확한 해석은 다음과 같다.
- Average audio quality는 어느 정도 나올 수 있다.
- 일부 criterion은 통과할 수 있다.
- 그러나 사용자가 요구한 조건을 모두 만족하는 strict exact match는 아직 어렵다.
- 특히 mixed modality와 complex operation에서는 failure가 누적된다.
Editing task에서는 부분 성공이 실제 사용성으로 바로 이어지지 않는다. Speech content를 유지해야 하는데 일부 단어가 바뀌거나, background sound를 제거해야 하는데 target speech까지 손상되면 output은 사용하기 어렵다. 그래서 MMAE의 EMR은 보수적이지만 의미 있는 metric이다.
5-2. What really matters in the experiments
1) EMR은 harsh하지만 실사용 관점에 가깝다
Audio editing은 generation보다 acceptance criterion이 엄격하다. 사용자는 output이 대충 그럴듯하기보다, 자신이 요구한 edit이 정확히 수행되길 기대한다. EMR은 이 strictness를 반영한다.
특히 multi-condition instruction에서는 평균 IFR이 어느 정도 나와도 EMR이 낮을 수 있다. 이 차이가 중요하다. Model이 여러 요구사항 중 7개는 맞추고 3개를 놓쳤다면, benchmark 평균으로는 괜찮아 보일 수 있지만 user workflow에서는 실패일 수 있다.
2) Mixed modality가 진짜 bottleneck이다
Sound, speech, music을 따로 다루는 것은 이미 많은 subfield가 있다. 어려운 것은 이들이 섞였을 때다. 예를 들어 music-speech mixture에서 vocal timbre를 바꾸면서 speech content를 유지하고, background music volume도 조정해야 한다면 model은 source separation, semantic preservation, generation을 동시에 해야 한다.
MMAE가 mixed modality를 전면에 둔 이유는 이 때문이다. Real-world audio는 clean speech나 clean music으로만 주어지지 않는다. Podcast, video clip, game audio, meeting recording, short-form content에는 speech, ambient sound, music이 함께 들어간다.
3) Rubric design이 benchmark의 핵심이다
MMAE에서 가장 재사용 가치가 높은 부분은 model comparison table이 아니라 rubric design이다. Output audio를 평가하기 어렵다는 문제를, time span과 property를 가진 checkable question으로 바꾼다.
이 접근은 다른 multimodal generation evaluation에도 그대로 적용할 수 있다. Image editing, video editing, audio editing, UI generation은 모두 “target change plus non-target preservation” 문제를 갖는다. 하나의 global preference보다 atomic criterion이 더 많은 debugging signal을 준다.
4) Judge model은 evaluation infrastructure의 일부다
MMAE는 Qwen3-Omni를 judge로 사용한다. 이 선택은 편리하지만 동시에 benchmark dependency이기도 하다. Judge model version, serving setting, retry policy, prompt format이 결과에 영향을 줄 수 있다.
따라서 MMAE score를 production regression test로 쓰려면, dataset snapshot뿐 아니라 judge snapshot도 고정해야 한다. 특히 audio-capable judge는 빠르게 바뀔 수 있으므로, benchmark result를 비교할 때 judge version을 같이 기록하는 것이 좋다.
5) Benchmark가 training target이 될 수 있다
MMAE는 evaluation benchmark지만, 실제로는 training signal design에도 힌트를 준다. 17,741개 rubric criterion은 model이 어떤 property를 놓치는지 보여준다. 이 criterion을 그대로 reward로 쓰기는 조심스럽지만, data augmentation, rejection sampling, targeted fine-tuning, human review dashboard를 설계하는 데는 유용하다.
6. Limitations
- MLLM judge 의존성이 있다.
- Qwen3-Omni judge가 audio property를 안정적으로 판단해야 한다.
- Judge가 timbre, music structure, speech content, background event를 얼마나 reliable하게 평가하는지는 계속 검증해야 한다.
- Exact Match Rate는 매우 strict하다.
- EMR은 실사용 관점에서 유용하지만, partial progress를 가릴 수 있다.
- Model research에서는 IFR, CR, taxonomy-level score를 함께 봐야 한다.
- Dataset scale은 large training corpus가 아니라 evaluation set에 가깝다.
- 2,000 sample은 benchmark로는 의미 있지만, general-purpose audio editing model을 학습시키기에는 충분한 규모라고 보기 어렵다.
- 이 논문은 solution paper가 아니라 evaluation infrastructure paper로 읽는 것이 맞다.
- Operation taxonomy의 edge case가 남는다.
- Real audio editing workflow에는 EQ, reverb, compression, spatialization, safety filtering, language style control 같은 세부 operation이 더 많다.
- MMAE의 8 operation type이 모든 deployment scenario를 덮지는 않는다.
- Audio quality와 instruction correctness가 충돌할 수 있다.
- 어떤 output은 자연스럽지만 instruction을 덜 따른다.
- 어떤 output은 instruction을 따르려다 artifact가 생긴다.
- MMAE는 이 trade-off를 잘 드러내지만, 최종 product metric으로 어떻게 weight를 줄지는 application별로 다르다.
- benchmark contamination도 장기적으로 조심해야 한다.
- MMAE가 공개 benchmark가 되면, future audio editing model이 이 distribution에 맞춰 tuning될 수 있다.
- Long-term leaderboard로 쓰려면 hidden split이나 rotating evaluation set이 필요할 수 있다.
7. My Take
7-1. Why this matters for my work
이 논문은 audio editing benchmark지만, 더 넓게 보면 multimodal editing evaluation paper다. 특히 최근 VLM, video generation, audio generation이 모두 instruction-following generation으로 묶이는 흐름을 보면, evaluation의 핵심은 점점 비슷해지고 있다.
중요한 질문은 다음이다.
- 모델이 요청한 target을 정확히 바꾸는가.
- 바꾸지 말아야 할 context를 유지하는가.
- 여러 조건이 동시에 들어왔을 때 failure가 어떻게 누적되는가.
- Judge가 그 failure를 사람에게 설명 가능한 단위로 분해해주는가.
MMAE는 이 네 가지 질문을 audio domain에서 꽤 선명하게 보여준다. 특히 taxonomy.json까지 제공하는 evaluation runner는 model debugging에 직접 도움이 된다. 단일 score보다 modality, complexity, operation breakdown을 보는 것이 실제 개선 방향을 잡는 데 더 유용하다.
7-2. Reuse potential
재사용할 만한 포인트는 다음과 같다.
- Rubric-first evaluation
- Prompt 하나를 여러 verifiable criterion으로 나눈다.
- Criterion을 Instruction Following과 Consistency로 나누면 target edit과 preservation을 분리할 수 있다.
- Taxonomy-level reporting
- Overall score보다 modality, complexity, operation breakdown을 먼저 본다.
- Regression test에서도 이 구조가 좋다.
- Judge infrastructure as part of benchmark
- Dataset만 versioning하지 말고 judge model, retry policy, prompt format도 같이 versioning해야 한다.
- Audio-capable judge는 cost와 latency가 크기 때문에 serving recipe까지 benchmark spec에 포함하는 것이 좋다.
- Exact Match as deployment proxy
- Research leaderboard에서는 partial metric이 중요하다.
- 하지만 product QA에서는 모든 required criterion이 맞는지 보는 EMR이 더 실용적일 수 있다.
- Mixed modality stress test
- Clean speech나 clean music만 보지 말고, sound-speech, music-speech, sound-music-speech를 별도 stress test로 둔다.
- 실제 user content는 대부분 mixed modality다.
7-3. Follow-up papers
- MMAU: Massive Multi-Task Audio Understanding and Reasoning Benchmark.
- MAEB: Massive Audio Embedding Benchmark.
- CoVEBench: complex instruction video editing benchmark.
- TASTE: agent benchmark coverage and difficulty generation.
- Audio Interaction Model: interactive audio-language modeling direction.
8. Summary
- MMAE는 instruction-based audio editing을 위한 broad benchmark다.
- 7개 modality, 6개 complexity level, 2개 granularity, 8개 operation type으로 task space를 구조화한다.
- 2,000개 sample과 17,741개 rubric criterion을 통해 free-form audio output을 checkable evaluation으로 바꾼다.
- 현재 leading systems는 EMR이 5% 아래이고, complex mixed-modality task에서는 0%까지 떨어진다고 보고된다.
- 이 논문은 새 audio editing model보다, audio editing model을 어떻게 진단하고 regression test할지에 대한 evaluation infrastructure로 읽는 것이 가장 유용하다.
댓글남기기