Hyperparameter tuning
Hyperparameter tuning Hyperparameter는 모델을 구성하는 변수들을 의미하고 Hyperparameter tuning은 이 변수들을 알맞게 설정하는 것을 의미한다. Hyperparameter의 대표적인 예시로는 학습률(learning rate) 같은 것이 있다. learning rate란 경사하강법(Gradient descent)에서 한번에 얼마나 오류를 수정할건지를 결정하는 상수로 가중치를 변경할 때 어느 정도로 변경하는지 조정할 때 사용한다. 근데 여기서 수식만 봐서는 감이 안올수도 있다. 풀어서 설명하자면 이 식은 가중치를 미분해서 기존 가중치의 반대방향으로 가게끔 하는데 이렇게 해서 loss가 가장 적은 방향으로 가중치를 수정하는 작업을 한다. 아래 그림을 보면서 이야기해보..
[AI]
2020. 12. 10. 22:57
