BoostCourse(DL)(week2)-Softmax Regression_1

본 포스팅은 부스트 코스의 [ 파이토치로 시작하는 딥러닝 기초 ] 와 [ Pytorch로 시작하는 딥러닝 입문 ] 의 내용을 통해 학습한 내용입니다.

파이토치로 시작하는 딥러닝 기초

PyTorch로 시작하는 딥 러닝 입문

---

SoftmaxRegeression은 앞서 사용한 Logistic Regression 의 이진 분류보다 세개 이상의 선택지로 분류가 가능한 다중 클래스 분류(Multi-class Classification) 가 가능하다.

 

따라서 기존 0,1로 지정되는 방법 이외에 3개이상의 선택지에서 사용될 수 있는 레이블 표현 방식인 원-핫 인코딩(One-Hot Encoding) 방식이 사용될 수 있다.

 

---

원-핫 인코딩은 주로 선택지간에 순위, 선호도등에 무작위성이 필요할 때 주로 사용된다.

 

기존 레이블 방법을 예시로 든다면 {bus, boat, train} 를 [1, 2, 3]으로 순차적으로 레이블 했을때를 예시로 들수 있다.

레이블 결과(예측 값을)를 실제 [bus] 값 과 비교하여 오차를 산출 할 때, MSE의 경우 

 

보트의 경우

기차의 경우

위와 같이 단순히 다르다는 것을 출력하는 목적에서는 오차값에 차이가 발생하게 되므로 결과적으로는 " 버스는 기차보다 보트에 가깝다 " 라는 결과가 출력되게 되며, 단순 비교에 있어서는 적절하지 못한 방식이다. 

 

 

---

따라서 원-핫 인코딩을 통해 모든 클래스 간의 관계를 균등하게 설정하여 비교를 진행하여야 한다.

{bus, boat, train} 를 각각 

위와 같은 레이블 방식으로 지정하여 MSE 를 실행하였을 때 오차값이 아래와 같이 계산되며 클래스 간의 균등한 관계가 형성될 수 있도록 한다.