모델 학습 속도를 높이기 위해 RTX 6000 GPU 2대를 활용했습니다.처음에는 여러 병렬화 기법을 검토했는데, 상황에 따라 효율이 크게 달라서 선택이 중요했습니다. 1. 병렬화 방식 검토 딥러닝 모델을 여러 GPU에서 학습시킬 때 주로 사용하는 병렬화 방식은 다음과 같습니다: Data Parallel→ 학습 후 각 GPU의 gradient를 평균내 업데이트.→ CNN 계열 모델에서 가장 일반적이고 구현이 간단함.→ 각 GPU에 동일한 모델을 복제하고, 데이터를 분할해 병렬 학습.Model Parallel / Tensor Parallel→ 거대한 파라미터(수십억 단위)를 가진 대형 모델에서 유용하지만, CNN처럼 상대적으로 작은 모델에서는 오히려 통신 비용이 커서 비효율적임. 2. 선택한 방식: ..