UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
Tag
- PyTorch-Lightning 9
- PyTorch 8
- Hydra-core 6
- WandB 6
- Optuna 6
- Multi-GPU 4
- LightGBM 4
- XGBoost 4
- TorchMetrics 3
- DDP 3
- DeepSeek 3
- DataParallel 2
- DP 2
- DistributedDataParallel 2
- Transformer 2
- UpStage 2
- FastCampus 2
- Competition 2
- ChatGPT 1
- ChatGPT API 1
- Streamlit 1
- Chatbot 1
- Voice Chatbot 1
- Illustration 1
- EDA 1
- Machine Learning 1
- ML 1
- 머신러닝 1
- LGBM 1
- Weight & Bias 1
- Sweep 1
- Attention is all you need 1
- Multi-Head Self-Attention 1
- Weighted Sum 1
- Inner product 1
- Word embedding 1
- MLOps 1
- Hyper-Parameter tuning 1
- Version check 1
- FSDP 1
- Fully Sharded Data Parallel 1
- DeepSpeed 1
- CV 1
- Computer-Vision 1
- Document-Classification 1
- NLP 1
- Text-Summarization 1
- HuggingFace 1
- ConvNext 1
- Convolution 1
- Grouped convolution 1
- Depthwise seperable convolution 1
- Feed Forward 1
- Architecture 1
- DeepSeek-V3 1
- MLA 1
- MoE 1
- MTP 1
- Mixed-precision 1
- Hopper architecture 1
- DeepSeek-R1 1
- DeepSeek-R1-Zero 1
- Reasoning 1
- Reasoning Model 1
- Cold Start 1
- MiniMax 1
- Lightning Attention 1
- Linear Attention 1
- Attention Algorithm 1
- Foundation model 1
- LLM 1
- Train Recipe 1
- Tulu 1
- SmolLM2 1
- Dataset 1
- Fine-tuning 1
- Janus 1
- GPT4o 1
- Autoregrssive 1
- Auto-Regressive 1
- Image Generation 1
- Native Image Generation 1
- OpenAI 1
- Wan2.1 1
- Diffusion 1
- Video Diffusion 1
- Text to Video 1
- Image to Video 1
- DiT 1
- Alibaba 1
PyTorch-Lightning
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
PyTorch
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
Hydra-core
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
WandB
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Optuna
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Multi-GPU
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
LightGBM
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
XGBoost
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
딥러닝, 머신러닝 파이프라인 업데이트
업데이트 계기
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
TorchMetrics
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DDP
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
DeepSeek
Any-to-Any: Autoregressive Image Generation
0. Introduction
DeepSeek-R1 Review
DeepSeek-R1 Review
DeepSeek-V3 Review
DeepSeek-V3 Review
DataParallel
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DP
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
DataParallel 사용 시 TorchMetrics 동기화 문제 해결
문제 많은 DataParallel
DistributedDataParallel
DP와 DDP에 대해 정리하고 넘어가자
DataParallel, DistributedDataParallel
딥러닝 파이프라인 리팩토링
프로젝트 개발 계기
Transformer
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
UpStage
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
FastCampus
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Competition
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
ChatGPT
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
ChatGPT API
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Streamlit
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Chatbot
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Voice Chatbot
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
Illustration
ChatGPT API와 Streamlit을 이용한 간단한 음성 챗봇 개발
Upstage AI Lab 교육 과정 파이썬 프로젝트
EDA
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Machine Learning
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
ML
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
머신러닝
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
LGBM
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Weight & Bias
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Sweep
머신러닝을 위한 EDA? EDA를 위한 머신러닝!
Upstage AI Lab 교육 EDA 프로젝트
Attention is all you need
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Multi-Head Self-Attention
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Weighted Sum
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Inner product
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
Word embedding
내 방식으로 Multi-Head Self-Attention 설명하기
Multi-Head Self-Attention을 내 방식대로 정리해보자.
MLOps
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
Hyper-Parameter tuning
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
Version check
Optuna hyper-parameter search를 hydra-core로 관리해보자
Optuna with Hydra
FSDP
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
Fully Sharded Data Parallel
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
DeepSpeed
DDP보다 더 발전된 전략 탐색
FSDP, DeepSpeed
CV
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Computer-Vision
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
Document-Classification
UpStage CV competition 회고
UpStage AI Lab 과정 Computer Vision Competition 회고록
NLP
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
Text-Summarization
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
HuggingFace
UpStage NLP competition 회고
UpStage AI Lab 과정 NLP Competition 회고록
ConvNext
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Grouped convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Depthwise seperable convolution
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Feed Forward
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
Architecture
Transformer architecture and Depthwise separable convolution
Transformer architecture and Depthwise separable convolution
DeepSeek-V3
DeepSeek-V3 Review
DeepSeek-V3 Review
MLA
DeepSeek-V3 Review
DeepSeek-V3 Review
MoE
DeepSeek-V3 Review
DeepSeek-V3 Review
MTP
DeepSeek-V3 Review
DeepSeek-V3 Review
Mixed-precision
DeepSeek-V3 Review
DeepSeek-V3 Review
Hopper architecture
DeepSeek-V3 Review
DeepSeek-V3 Review
DeepSeek-R1
DeepSeek-R1 Review
DeepSeek-R1 Review
DeepSeek-R1-Zero
DeepSeek-R1 Review
DeepSeek-R1 Review
Reasoning
DeepSeek-R1 Review
DeepSeek-R1 Review
Reasoning Model
DeepSeek-R1 Review
DeepSeek-R1 Review
Cold Start
DeepSeek-R1 Review
DeepSeek-R1 Review
MiniMax
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Lightning Attention
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Linear Attention
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Attention Algorithm
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
Foundation model
MiniMax Lightning Attention Review
MiniMax Lightning Attention Review
LLM
LLM Train Recipe
LLM Train Recipe
Train Recipe
LLM Train Recipe
LLM Train Recipe
Tulu
LLM Train Recipe
LLM Train Recipe
SmolLM2
LLM Train Recipe
LLM Train Recipe
Dataset
LLM Train Recipe
LLM Train Recipe
Fine-tuning
LLM Train Recipe
LLM Train Recipe
Janus
Any-to-Any: Autoregressive Image Generation
0. Introduction
GPT4o
Any-to-Any: Autoregressive Image Generation
0. Introduction
Autoregrssive
Any-to-Any: Autoregressive Image Generation
0. Introduction
Auto-Regressive
Any-to-Any: Autoregressive Image Generation
0. Introduction
Image Generation
Any-to-Any: Autoregressive Image Generation
0. Introduction
Native Image Generation
Any-to-Any: Autoregressive Image Generation
0. Introduction
OpenAI
Any-to-Any: Autoregressive Image Generation
0. Introduction
Wan2.1
Wan2.1 Review
0. Introduction
Diffusion
Wan2.1 Review
0. Introduction
Video Diffusion
Wan2.1 Review
0. Introduction
Text to Video
Wan2.1 Review
0. Introduction
Image to Video
Wan2.1 Review
0. Introduction
DiT
Wan2.1 Review
0. Introduction
Alibaba
Wan2.1 Review
0. Introduction