AI 이야기 #7 - 오버피팅, 왜 천재도 시험에선 틀릴까?

기계가 배우는 과정을 곁에서 보면 때때로 기묘한 일이 벌어진다.
학습할 때는 뭐든 척척 맞히는데, 막상 새로운 문제를 주면 어이없게 틀려버리는 것이다.

교실에서 모의고사 성적은 늘 1등인데 정작 본시험에서는 낯선 문제 앞에서 주저앉는 천재와 닮았다.
인공지능 연구자들은 이 현상을 오버피팅(overfitting)이라 부른다.

말 그대로 ‘지나치게 끼워 맞춘 상태’.
배우긴 배웠는데, 배운 것에만 과도하게 익숙해져서 새로운 상황에는 적용하지 못하는 상태다.

 

오버피팅을 이해하기 위해 고양이와 개의 분류기를 떠올려보자.
고양이 사진 1만 장을 학습시켰더니 모델은 고양이를 완벽히 맞히는 것 같다.

그런데 새로 찍은 고양이 사진을 넣었더니 이건 개라고 한다.
이유를 따져보니, 훈련 데이터에 들어 있던 고양이 사진들은 우연히도 전부 창가에서 찍힌 것들이었다.

그래서 모델은 고양이의 귀나 눈보다 창가의 커튼을 더 중요한 단서로 학습해버린 것이다.
결과적으로 창가가 없는 새로운 고양이 사진은 고양이라고 인식하지 못한다.

겉보기엔 천재처럼 모든 답을 아는 것 같지만, 사실은 문제집을 통째로 외운 것에 불과하다.

 

인간도 다르지 않다.
수학 공식을 외워 시험에선 빠르게 풀지만, 실생활에서 “이 할인율이 몇 퍼센트 이득인지” 같은 문제에는 머뭇거린다.

외운 패턴을 넘어 실제 상황에 적용하는 능력이 부족하기 때문이다.
기계 역시 마찬가지다.

학습 데이터의 세부사항까지 달달 외워버린 모델은 그 범위를 벗어난 순간 속수무책이 된다.

 

오버피팅은 특히 데이터가 적거나, 모델이 지나치게 복잡할 때 자주 나타난다.
작은 교과서만 반복해 본 학생이 큰 세상에 나와 당황하는 것처럼, 적은 데이터로 거대한 신경망을 학습시키면 모델은 세상의 다양성을 배우지 못한다.

결국 데이터의 잡음(noise: 의미 없는 우연한 특징)까지 암기해버린다.
예를 들어 고양이 사진에서 귀 모양을 보는 대신, 특정 사진에 찍힌 사람 손가락 그림자까지 규칙처럼 기억해버리는 식이다.

 

이 문제를 막기 위해 연구자들은 여러 방법을 고안했다.
데이터를 더 많이 모으는 것은 기본이다.

학생에게 더 많은 예제를 보여주듯, 다양한 상황의 데이터를 경험하게 하면 외운 답이 아닌 일반적인 패턴을 찾을 수 있다.

드롭아웃(dropout) 같은 기법도 있다. 일부 연결을 무작위로 끊어내 학습하게 하는 방식인데, 시험 준비할 때 일부러 책을 덮고 문제를 풀어보는 연습과 비슷하다.

모델은 불완전한 정보 속에서도 답을 찾아야 하므로 점차 일반적인 규칙에 집중하게 된다.

검증 데이터(validation set)라는 장치도 중요한 역할을 한다.
학습에는 쓰지 않고 성능 평가에만 쓰이는 데이터인데, 실제 시험 전에 보는 모의고사와 같다.

학습 데이터에서는 100점을 맞아도 검증 데이터에서 점수가 떨어진다면 이미 오버피팅 신호가 감지된 것이고, 연구자들은 이 신호를 보며 학습을 멈추거나 조정한다.

 

흥미로운 건 오버피팅이 무조건 나쁜 것만은 아니라는 점이다.
데이터에 정밀하게 맞춘 모델은 특정 상황에서는 놀라운 성능을 발휘할 수 있다.

특정 병원에서 찍은 엑스레이만 학습한 의료 AI는 그 병원에서는 의사보다 더 정확할 수 있다.
하지만 다른 병원으로 옮겨가면 성능이 급격히 떨어진다.

결국 오버피팅은 좁은 영역의 천재성을 주지만, 일반화 능력은 빼앗아간다.

 

AI를 바라볼 때 오버피팅은 인간 학습의 은유로도 다가온다.
문제집을 외우는 건 단기적으로 성적을 올려주지만, 진짜 배움은 낯선 문제에서도 길을 찾는 힘이다.

기계에게 오버피팅을 막으려는 노력은 인간 교육의 고민과도 닮아 있다.
우리는 아이에게 단순히 정답만 외우게 하는 대신, 상황을 이해하고 응용하는 능력을 키워주려 한다.

기계도 마찬가지다.
데이터 속 정답만 암기하는 대신, 세상에서 통하는 규칙을 잡아내야 한다.

 

결국 오버피팅은 기계의 한계이자 동시에 인간이 늘 부딪히는 학습의 아이러니다.
천재도 시험에서 틀릴 수 있고, AI도 낯선 데이터 앞에서는 무너질 수 있다.

중요한 건 얼마나 많이 맞히느냐가 아니라, 얼마나 새로운 문제에 적응할 수 있느냐다.

학습과 현실 사이의 간극을 줄이는 일, 그게 인공지능 연구자들이 밤새 씨름하는 이유다.
그리고 그 간극을 좁히려는 노력은 인간과 기계 모두에게 끝없는 숙제처럼 주어진다.