9566

nn.Sequential(nn.Linear(2000, 4000), GELU(), nn.BatchNorm1d(4000)) nn.Sequential nn.ModuleList nn.Linear(입력층 차원, 출력층 차원) nn.BatchNorm1d : 정규화 기능 nn.Dropout(p) : 정규화 기능 + 신경망 과적합 방지 nn.Module nn.Parameter 잔차연결(skip connection) : 이전층의 정보를 이용하기 위해 이전층의 정보를 연결 계층정규화 활성화함수(GELU())-> 배치정규화(nn.BatchNorm1d)->계층정규화(클래스 LayerNorm ->> (x-평균)/표준편차) ->드롭아웃()-> 손실함수 -> 옵티마이저/옵티마이저 학습률 실제값-예측값을 바탕으로 퍼셉트론계수 최적화..