파이썬을 이용하여 커널법 배우기

머리말

커널법 기반의 다양한 비선형 알고리즘(서포트벡터머신, 커널 주성분 분석 등)에 관한 연구가 활발히 진행되고 있지만, 대부분 최신 기술이라 영문으로 쓰여진 책이나 논문에 의존하여 연구할 수 밖에 없는 것이 현실이다. 사실 수학적인 기초 부터 커널법에 접근한다면 이해하기 어려운 내용임에 틀림이 없다. 하지만 컴퓨터과학에서 바라보는 커널법은 응용에 초점을 맞추고 있기 때문에 실제 응용에 이용되는 프로그래밍 코드를 예를 들어 설명한다면 쉽게 커널법을 이해할 수 있으리라 생각한다. 자료구조, 메모리 관리 등 프로그래밍에 너무 많은 힘을 쓰지 않았으면 하는 바람에서 C/C++, 자바가 아닌 파이썬 넘파이(Numpy)를 이용하여 내용을 설명할 것이다.

주성분 분석

주성분 분석(Principal Component Analysis)은 높은 차원의 정보를 유지하는낮은 차원의 기저를 구하고, 그 기저로 특징을 사상하여 데이터를 표현하는 분석 방법이다. 이를 통해 정보의 손실을 줄이면서 특징의 차원을 줄일 수 있을 뿐만아니라 비주성분을 버림으로써 잡음 제거 효과를 얻을 수 있다.

1. 선형 주성분 분석 이론
2. 선형 주성분 분석 구현
3. 커널 주성분 분석 이론
4. 커널 주성분 분석 구현