기본 모델

nn.Sequential(nn.Linear(2000, 4000), GELU(), nn.BatchNorm1d(4000))

nn.Sequential
nn.ModuleList
nn.Linear(입력층 차원, 출력층 차원)
nn.BatchNorm1d : 정규화 기능
nn.Dropout(p) : 정규화 기능 + 신경망 과적합 방지
nn.Module
nn.Parameter


잔차연결(skip connection) : 이전층의 정보를 이용하기 위해 이전층의 정보를 연결
계층정규화

활성화함수(GELU())-> 배치정규화(nn.BatchNorm1d)->계층정규화(클래스 LayerNorm ->> (x-평균)/표준편차) ->드롭아웃()-> 손실함수 -> 옵티마이저/옵티마이저 학습률

 

실제값-예측값을 바탕으로 퍼셉트론계수 최적화
1. 목적함수=손실함수 ex.평균절대오차(MAE=L1 Loss), 평균제곱오차(MSE=L2 Loss)
2. optimizer(옵티마이저)=최적화 ex. SGD, Adam, AdamW
 Adam Parameters:
        lr (float): learning rate. Default 1e-3.
        betas (tuple of 2 floats): Adams beta parameters (b1, b2). Default: (0.9, 0.999)
        eps (float): Adams epsilon. Default: 1e-6
        weight_decay (float): Weight decay. Default: 0.0
        correct_bias (bool): can be set to False to avoid correcting bias in Adam (e.g. like in Bert TF repository). Default True.

3. 옵티마이저의 학습률 ex. 코사인학습률스케쥴러(0-1까지 선형증가, 이후 하드리스타트->코사인함숫값으로 학습률감소), StepLR(일정 에포크마다 학습률을 줄여줌), ReduceLROnPlateau(검증손실값, 정확도를 기준으로 학습률 조정)