The Kernel Trick Is the Oldest Move in Engineering

개요

커널 트릭은 고차원 공간으로 데이터를 실제로 투영하지 않고도 내적을 계산하여 복잡한 비선형 문제를 선형적으로 해결하는 기법으로, SVM(Support Vector Machine)의 핵심 원리입니다.

주요 내용

* 커널 트릭의 원리: SVM은 데이터를 고차원 공간으로 변환하여 선형 분류기를 적용하는데, 커널 트릭은 실제 고차원 공간을 구축하지 않고도 두 데이터 포인트 간의 내적이 고차원 공간에서 어떻게 되는지를 직접 계산합니다. 이를 통해 실제로는 매우 높은 차원(심지어 무한 차원)의 공간에서 작업하면서도 효율성을 유지할 수 있습니다.
* SVM의 핵심 아이디어: SVM은 최대 마진 분류를 통해 가장 견고한 결정 경계를 찾으며, 이 경계는 양측의 가장 가까운 데이터 포인트(서포트 벡터)에 의해서만 결정됩니다. 다수의 데이터 포인트를 평균화하는 트리/랜덤 포레스트와 달리, SVM은 경계선에 가까운 '경계선상의' 사례에 집중합니다.
* SVM의 장점: SVM은 명시적인 손실 함수, 볼록 최적화, 반복 최적화를 포함하여 회귀 도구들을 다시 도입하며, 최대 마진 목표는 L2 정규화와 유사하게 가중치 노름을 제어하여 안전성과 단순성을 제공합니다.
* 올바른 구현을 위한 고려 사항:
* 특성 스케일링: SVM에서 특성 스케일링은 선택 사항이 아니라 필수적입니다. 스케일링되지 않은 특성은 마진 계산에 영향을 미쳐 모델이 다른 질문에 답하게 만듭니다.
* 하이퍼파라미터 튜닝: 'C' (이상치에 대한 민감도)와 'gamma' (RBF 커널에서 개별 훈련 포인트의 영향력 범위)는 함께 튜닝해야 하며, 커널 선택은 도메인에 대한 가설로 취급되어야 합니다.
* 확률 예측: SVM은 결정 점수를 반환하며, 이는 보정된 확률이 아닙니다. 확률이 필요한 경우 플랫 스케일링과 같은 별도의 보정 단계가 필요합니다.
* SVM의 한계:
* 확장성: 데이터 샘플 수가 증가함에 따라 훈련 복잡성이 제곱 또는 그 이상으로 증가하여 대규모 데이터셋에는 비효율적입니다.
* 확률: 직접적으로 보정된 확률을 제공하지 않습니다.
* 비선형성 처리 방식: SVM은 데이터를 변환하여 선형 분류가 가능하게 함으로써 비선형성을 처리하는 네 가지 주요 방식(다항식, 트리, 랜덤 포레스트, SVM) 중 하나입니다.
* 알려진 오해: 커널 트릭이 데이터를 고차원 공간으로 투영하는 것은 아니며, '경사 하강법'은 손실 함수가 아니라 최적화기입니다. 볼록성은 튜닝 가능한 매개변수가 아니라 문제의 속성입니다.

시사점

SVM의 커널 트릭은 고차원 공간으로의 명시적 변환 없이도 복잡한 패턴을 효율적으로 학습할 수 있는 강력한 방법을 제공하며, 특성 스케일링과 올바른 하이퍼파라미터 튜닝이 정확한 모델 성능을 위해 필수적임을 강조합니다.