SVM(Support Vector Machine)

SVM이란 데이터 분류를 위해 마진(margin)이 최대가 되는 결정 경계선(decision boundary)를 찾아내는 머신러닝 방법입니다.

 

SVM은 크게 5가지의 구성요소로 나누어 생각해 불 수 있습니다.

1. 결정 경계선(Decision Boundary)
2. 서포트 벡터(Support Vector)
3. 마진(Margin)
4. 비용(Cost)
5. 커널 트릭(Kernel Trick)

1. 결정 경계선

: 서로 다른 분류 값을 결정하는 경계

 

2. Support Vector

: 2차원 공간 상 데이터 포인트

 

3. Margin

: Support Vector과 Decision Boundary간 사이 거리

***마진을 최대로 하는 결정 경계선을 찾는 것이 중요하다

 

4. Cost

:얼마나 많은 데이터 샘플이 다른 클래스에 놓이는 것을 허용하는 정도

즉, cost가 높을 수록 마진이 작고 학습에러율이 감소하는 방향으로 -> 과대적합이 나올 확률이 높음, 새로운 데이터에서 에러율 증가

cost가 낮을수록 마진이 크고 에러율이 높아도 괜찮은 방향으로 설정합니다.

 

5. Kernel Trick

: 3차원 이상으로 보낸 것과 동일한 효과를 주어서 빠른 속도로 결정 경계선을 찾는 방법

3차원 공간을 2차원공간으로 표현

 

SVM 알고리즘은 다양한 특성의 데이터를 파라미터를 통해 미세조정하여 적은 학습 데이터로도 학습율이 좋지만 특성이 너무 많을 경우 데이터 시각화가 어려울 수 있다.