BoostCourse(DL)(week1)-Mini Batch Gradient Descent

본 포스팅은 부스트 코스의 [파이토치로 시작하는 딥러닝 기초]를 수강한 뒤 [ Pytorch로 시작하는 딥러닝 입문 ] 을 통해 보충및 복습을 진행한 내용입니다.

파이토치로 시작하는 딥러닝 기초

 

PyTorch로 시작하는 딥 러닝 입문

Mini Batch Gradient Descent 란?

• 학습과정에서 사용되어지는 데이터는 보통 크기와 수가 방대한 편이다.
• 한번에 모든 데이터를 학습하면 학습의 정확도가 오르지만 학습의 속도가 많이 떨어지게 된다.
• 학습의 정확도 만큼 학습의 속도 또한 고려되어야 하고 이를 위해 고려된 방법이 Mini Batch GD 이다.
• 말 그대로 전체 dataset을 한번에 학습하는 것이 아닌 작게 작게 분리하여 최종적으로 학습 결과를 취합하는 방식으로 진행된다.
• 취합과정에서 오차가 증가하는 경향으로 정확도가 약간 떨어지긴 하지만 그만큼 학습속도에서 이점을 가진다.

 

이터레이션(iteration) 이란?

• 학습 data의 갯수가 1000개 이고 batch size를 10으로 잡는다면 한 epoch 안에 결과를 업데이트하는 횟수가 100번 필요하게 되며 이때 이터레이션이 100이 된다.