GPU 두 대로 학습 속도 개선한 후기(data parallel 활용)

모델 학습 속도를 높이기 위해 RTX 6000 GPU 2대를 활용했습니다.

처음에는 여러 병렬화 기법을 검토했는데, 상황에 따라 효율이 크게 달라서 선택이 중요했습니다.

 

---

 

1. 병렬화 방식 검토

 

딥러닝 모델을 여러 GPU에서 학습시킬 때 주로 사용하는 병렬화 방식은 다음과 같습니다:

 

1. Data Parallel
   → 학습 후 각 GPU의 gradient를 평균내 업데이트.
   → CNN 계열 모델에서 가장 일반적이고 구현이 간단함.
   → 각 GPU에 동일한 모델을 복제하고, 데이터를 분할해 병렬 학습.
2. Model Parallel / Tensor Parallel
   → 거대한 파라미터(수십억 단위)를 가진 대형 모델에서 유용하지만, CNN처럼 상대적으로 작은 모델에서는 오히려 통신 비용이 커서 비효율적임.

 

---

 

2.  선택한 방식: Data Parallel

 

이번 프로젝트는 CNN 기반 모델이라,

Tensor Parallel은 오히려 오버헤드가 커서 사용하지 않았습니다.

대신, PyTorch의 torch.nn.DataParallel 방식을 적용하여

2개의 RTX Pro 6000 GPU를 활용했습니다.

 

---

 

3. 결과

 

• 단일 GPU 대비 약 1.8배 속도 향상 확인
• 구현이 간단하면서도 안정적인 학습 속도 개선
• 메모리 분산 효과로 batch size를 더 크게 설정 가능

 

---

 

4.  한줄 요약

 

대형 언어모델이 아니라면, 복잡한 병렬화 대신

Data Parallel이 가장 깔끔하고 실용적인 선택입니다.