Attention to Mamba: A Recipe for Cross-Architecture Distillation Review
0. Introduction
Tag
- LLM 12
- PyTorch-Lightning 9
- PyTorch 8
- Hydra-core 6
- WandB 6
- Optuna 6
- VLM 6
- Architecture 5
- OCR 5
- Multi-GPU 4
- LightGBM 4
- XGBoost 4
- Transformer 4
- LongContext 4
- TorchMetrics 3
- DDP 3
- DeepSeek 3
- MoE 3
- Mamba 3
- LinearAttention 3
- TrainRecipe 3
- Mamba-2 3
- Nemotron 3
- DocumentAI 3
- DataParallel 2
- DP 2
- DistributedDataParallel 2
- UpStage 2
- FastCampus 2
- Competition 2
- Reasoning 2
- Tulu 2
- ViT 2
- DeltaNet 2
- CascadeRL 2
- Distillation 2
- Post-Training 2
- Embedding 2
- Evaluation 2
- VideoGeneration 2
- ChatGPT 1
- ChatGPT API 1
- Streamlit 1
- Chatbot 1
- Voice Chatbot 1
- Illustration 1
- EDA 1
- Machine Learning 1
- ML 1
- 머신러닝 1
- LGBM 1
- Weight & Bias 1
- Sweep 1
- Attention is all you need 1
- Multi-Head Self-Attention 1
- Weighted Sum 1
- Inner product 1
- Word embedding 1
- MLOps 1
- Hyper-Parameter tuning 1
- Version check 1
- FSDP 1
- Fully Sharded Data Parallel 1
- DeepSpeed 1
- CV 1
- Computer-Vision 1
- Document-Classification 1
- NLP 1
- Text-Summarization 1
- HuggingFace 1
- ConvNext 1
- Convolution 1
- Grouped convolution 1
- Depthwise seperable convolution 1
- Feed Forward 1
- DeepSeek-V3 1
- MLA 1
- MTP 1
- Mixed-precision 1
- Hopper architecture 1
- DeepSeek-R1 1
- DeepSeek-R1-Zero 1
- Reasoning Model 1
- Cold Start 1
- MiniMax 1
- Lightning Attention 1
- Linear Attention 1
- Attention Algorithm 1
- Foundation model 1
- Train Recipe 1
- SmolLM2 1
- Dataset 1
- Fine-tuning 1
- Janus 1
- GPT4o 1
- Autoregrssive 1
- Auto-Regressive 1
- Image Generation 1
- Native Image Generation 1
- OpenAI 1
- Wan2.1 1
- Diffusion 1
- Video Diffusion 1
- Text to Video 1
- Image to Video 1
- DiT 1
- Alibaba 1
- Qwen-VL 1
- DeepSeek-OCR 1
- CoT 1
- Hybrid-thinking 1
- Think-fusion 1
- Qwen 1
- SSM 1
- Attention 1
- OLMo2 1
- RLHF 1
- PivotRL 1
- Agentic-RL 1
- Jamba 1
- MM1.5 1
- MLLM 1
- Molmo 1
- PixMo 1
- Phi-4 1
- SyntheticData 1
- NV-Embed 1
- Retrieval 1
- Qwen3 1
- Reranking 1
- LiveBench 1
- HLE 1
- Benchmark 1
- GLM-5 1
- Agentic-Engineering 1
- EfficientInference 1
- PaddleOCR 1
- DeepSeekOCR 1
- LTXVideo 1
- LatentDiffusion 1
- HunyuanVideo 1
- DiffusionTransformer 1
LLM
Phi-4 Technical Report Review
0. Introduction
2 OLMo 2 Furious Review
0. Introduction
Tulu 3 Review
0. Introduction
Kimi Linear Review
0. Introduction
고전 Transformer 구조의 진화: LLM과 ViT 아키텍처 비교 분석
0. Introduction
LLM Train Recipe
LLM Train Recipe
PyTorch-Lightning
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
PyTorch
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
Hydra-core
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
WandB
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Optuna
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
VLM
MinerU2.5: A Decoupled Vision-Language Model for Efficient High-Resolution Document Parsing Review
0. Introduction
Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models Review
0. Introduction
Qwen VLs vs DeepSeek-OCR: 멀티모달 LLM 아키텍처, 목적, 학습 전략 심층 리뷰
0. Introduction
Architecture
고전 Transformer 구조의 진화: LLM과 ViT 아키텍처 비교 분석
0. Introduction
Qwen VLs vs DeepSeek-OCR: 멀티모달 LLM 아키텍처, 목적, 학습 전략 심층 리뷰
0. Introduction
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
OCR
DeepSeek-OCR: Contexts Optical Compression Review
0. Introduction
PaddleOCR 3.0 Technical Report Review
0. Introduction
MinerU2.5: A Decoupled Vision-Language Model for Efficient High-Resolution Document Parsing Review
0. Introduction
Qwen VLs vs DeepSeek-OCR: 멀티모달 LLM 아키텍처, 목적, 학습 전략 심층 리뷰
0. Introduction
Multi-GPU
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
LightGBM
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
XGBoost
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Transformer
고전 Transformer 구조의 진화: LLM과 ViT 아키텍처 비교 분석
0. Introduction
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
LongContext
DeepSeek-OCR: Contexts Optical Compression Review
0. Introduction
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale Review
0. Introduction
Kimi Linear Review
0. Introduction
TorchMetrics
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DDP
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DeepSeek
Any-to-Any: Autoregressive Image Generation
0. Introduction
DeepSeek-R1 Review
DeepSeek-R1 Review
DeepSeek-V3 Review
DeepSeek-V3 Review
MoE
DeepSeek-V3 Review
DeepSeek-V3 Review
Mamba
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale Review
0. Introduction
LinearAttention
Gated Delta Networks: Improving Mamba2 with Delta Rule Review
0. Introduction
Kimi Linear Review
0. Introduction
TrainRecipe
Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning Review
0. Introduction
2 OLMo 2 Furious Review
0. Introduction
Tulu 3 Review
0. Introduction
Mamba-2
Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning Review
0. Introduction
Gated Delta Networks: Improving Mamba2 with Delta Rule Review
0. Introduction
Transformers are SSMs Review
0. Introduction
Nemotron
Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning Review
0. Introduction
DocumentAI
PaddleOCR 3.0 Technical Report Review
0. Introduction
DataParallel
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DP
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DistributedDataParallel
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
UpStage
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
FastCampus
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Competition
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Reasoning
DeepSeek-R1 Review
DeepSeek-R1 Review
Tulu
Tulu 3 Review
0. Introduction
LLM Train Recipe
LLM Train Recipe
ViT
고전 Transformer 구조의 진화: LLM과 ViT 아키텍처 비교 분석
0. Introduction
DeltaNet
Gated Delta Networks: Improving Mamba2 with Delta Rule Review
0. Introduction
CascadeRL
Distillation
Post-Training
GLM-5: from Vibe Coding to Agentic Engineering Review
0. Introduction
Embedding
Evaluation
Humanity’s Last Exam Review
0. Introduction
VideoGeneration
LTX-Video: Realtime Video Latent Diffusion Review
0. Introduction
ChatGPT
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
ChatGPT API
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Streamlit
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Chatbot
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Voice Chatbot
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Illustration
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
EDA
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Machine Learning
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
ML
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
머신러닝
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
LGBM
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Weight & Bias
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Sweep
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Attention is all you need
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Multi-Head Self-Attention
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Weighted Sum
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Inner product
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Word embedding
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
MLOps
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
Hyper-Parameter tuning
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
Version check
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
FSDP
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
Fully Sharded Data Parallel
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DeepSpeed
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
CV
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Computer-Vision
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Document-Classification
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
NLP
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
Text-Summarization
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
HuggingFace
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
ConvNext
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Grouped convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Depthwise seperable convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Feed Forward
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
DeepSeek-V3
DeepSeek-V3 Review
DeepSeek-V3 Review
MLA
DeepSeek-V3 Review
DeepSeek-V3 Review
MTP
DeepSeek-V3 Review
DeepSeek-V3 Review
Mixed-precision
DeepSeek-V3 Review
DeepSeek-V3 Review
Hopper architecture
DeepSeek-V3 Review
DeepSeek-V3 Review
DeepSeek-R1
DeepSeek-R1 Review
DeepSeek-R1 Review
DeepSeek-R1-Zero
DeepSeek-R1 Review
DeepSeek-R1 Review
Reasoning Model
DeepSeek-R1 Review
DeepSeek-R1 Review
Cold Start
DeepSeek-R1 Review
DeepSeek-R1 Review
MiniMax
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Lightning Attention
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Linear Attention
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Attention Algorithm
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Foundation model
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Train Recipe
LLM Train Recipe
LLM Train Recipe
SmolLM2
LLM Train Recipe
LLM Train Recipe
Dataset
LLM Train Recipe
LLM Train Recipe
Fine-tuning
LLM Train Recipe
LLM Train Recipe
Janus
Any-to-Any: Autoregressive Image Generation
0. Introduction
GPT4o
Any-to-Any: Autoregressive Image Generation
0. Introduction
Autoregrssive
Any-to-Any: Autoregressive Image Generation
0. Introduction
Auto-Regressive
Any-to-Any: Autoregressive Image Generation
0. Introduction
Image Generation
Any-to-Any: Autoregressive Image Generation
0. Introduction
Native Image Generation
Any-to-Any: Autoregressive Image Generation
0. Introduction
OpenAI
Any-to-Any: Autoregressive Image Generation
0. Introduction
Wan2.1
Wan2.1 Review
0. Introduction
Diffusion
Wan2.1 Review
0. Introduction
Video Diffusion
Wan2.1 Review
0. Introduction
Text to Video
Wan2.1 Review
0. Introduction
Image to Video
Wan2.1 Review
0. Introduction
DiT
Wan2.1 Review
0. Introduction
Alibaba
Wan2.1 Review
0. Introduction
Qwen-VL
Qwen VLs vs DeepSeek-OCR: 멀티모달 LLM 아키텍처, 목적, 학습 전략 심층 리뷰
0. Introduction
DeepSeek-OCR
Qwen VLs vs DeepSeek-OCR: 멀티모달 LLM 아키텍처, 목적, 학습 전략 심층 리뷰
0. Introduction
CoT
맨 위로 이동 ↑Hybrid-thinking
맨 위로 이동 ↑Think-fusion
맨 위로 이동 ↑Qwen
맨 위로 이동 ↑SSM
Transformers are SSMs Review
0. Introduction
Attention
Transformers are SSMs Review
0. Introduction
OLMo2
2 OLMo 2 Furious Review
0. Introduction
RLHF
PivotRL
맨 위로 이동 ↑Agentic-RL
맨 위로 이동 ↑Jamba
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale Review
0. Introduction
MM1.5
맨 위로 이동 ↑MLLM
맨 위로 이동 ↑Molmo
PixMo
Phi-4
Phi-4 Technical Report Review
0. Introduction
SyntheticData
Phi-4 Technical Report Review
0. Introduction
NV-Embed
Retrieval
Qwen3
Reranking
LiveBench
맨 위로 이동 ↑HLE
Humanity’s Last Exam Review
0. Introduction
Benchmark
Humanity’s Last Exam Review
0. Introduction
GLM-5
GLM-5: from Vibe Coding to Agentic Engineering Review
0. Introduction
Agentic-Engineering
GLM-5: from Vibe Coding to Agentic Engineering Review
0. Introduction
EfficientInference
맨 위로 이동 ↑PaddleOCR
PaddleOCR 3.0 Technical Report Review
0. Introduction
DeepSeekOCR
DeepSeek-OCR: Contexts Optical Compression Review
0. Introduction
LTXVideo
LTX-Video: Realtime Video Latent Diffusion Review
0. Introduction
LatentDiffusion
LTX-Video: Realtime Video Latent Diffusion Review
0. Introduction