AI 매출 예측 시스템의 정확도가 97.7%라고 하면, 보통 두 가지 반응이 나온다.
첫째, "진짜?" — 의심. 둘째, "그럼 나머지 2.3%는?" — 핵심 질문.
사실 두 번째 질문이 더 중요하다. 예측이 맞는 경우는 배울 게 적다. 예측이 틀리는 경우를 분석해야 시스템의 진짜 한계와 개선 방향이 보인다.
BDM Lab은 프랜차이즈 매출 예측 프로젝트에서 예측 오차가 큰 사례를 전수 조사했다. 462개 분석 대상 중 오차가 큰 24개, 총 199건의 매출 급등/급락 사례를 하나하나 들여다봤다.
전체 그림: 462개 중 얼마나 틀렸나
먼저 전체 분포를 보자.
- 약 320개 (69%): 오차 2% 미만 — 사실상 정확
- 약 93개 (20%): 오차 2~5% — 실무에서 충분히 활용 가능
- 약 29개 (6%): 오차 5~10% — 양호하지만 주의 필요
- 약 20개 (4%): 오차 10% 이상 — 분석 대상
89%가 5% 이내. 문제는 나머지 11%, 특히 오차 10%를 넘기는 4%다.
이 4%를 무시하면 안 된다. 기업 입장에서 한 건의 대형 오차는 수천만 원의 잘못된 의사결정으로 이어질 수 있다. 그래서 이 케이스들을 전수 조사했다.
오차가 큰 케이스의 두 가지 패턴
199건의 이상 사례를 분석한 결과, 예측 오차의 원인은 크게 두 가지로 나뉘었다.
패턴 1: 데이터 부족
과거 거래 이력이 1~4건밖에 없는 대상이었다. 모델이 학습할 패턴 자체가 부족한 것이다.
이건 AI의 한계라기보다 데이터의 한계다. 사람이 판단해도 마찬가지다. 한두 번밖에 거래하지 않은 파트너의 다음 매출을 정확히 예측하라고 하면, 누구도 못 한다.
해결 방법은 명확하다. 시간이 지나서 데이터가 쌓이면 자연스럽게 정확도가 올라간다. 그리고 시스템이 이런 대상을 사전에 플래그해준다. "이 대상은 데이터가 적어서 예측 신뢰도가 낮습니다"라고 알려주는 것이다.
패턴 2: 예측 불가능한 외부 이벤트
이게 더 흥미로운 케이스다. 데이터가 충분한 대상인데도 예측이 크게 빗나간 경우.
분석 결과, 거의 모든 대형 오차는 갑작스러운 외부 이벤트 때문이었다.
| 이벤트 유형 | 건수 | 설명 |
|---|---|---|
| 앨범·작품 대히트 | 8건 | 신작 출시 후 폭발적 인기 상승 → 관련 매출 급등 |
| 대규모 행사 | 4건 | 전국 순회 행사, 대형 이벤트 → 장기간 매출 상승 |
| 미디어 노출 | 2건 | TV 프로그램 히트 → 매출 평소의 20배 이상 |
| 기념 이벤트 | 2건 | 특별 기획 이벤트 → 연관 대상 동시 급등 |
| 시상/수상 | 2건 | 대형 수상 직후 매출 점프 |
| 활동 전환 | 2건 | 은퇴/특별 이벤트 → 기념 수요 폭증 |
주목할 점은, 이 이벤트들은 매출 데이터 안에 사전 신호가 없다는 것이다.
앨범이 밀리언셀러가 될지, TV 프로그램이 시청률 17%를 찍을지, 특별 기념 이벤트가 열릴지 — 이건 과거 매출 패턴으로 예측할 수 있는 게 아니다. 모델이 아무리 정교해도, 입력되지 않은 정보는 예측할 수 없다.
가장 극단적인 사례들
몇 가지 대표 사례를 익명화해서 소개한다.
사례 A: 글로벌 히트
한 그룹의 멤버 6명이 전체 매출 급등의 **76%**를 차지했다. 이 그룹이 신작을 발표하고 대형 히트를 기록하자, 관련 매출이 일제히 급등했다. 이어서 전국/해외 행사가 수개월간 이어지면서 매출 상승이 지속됐다. 연말 시상식에서 대상을 받으면서 또 한 번 점프.
예측 시스템은 이 중 어떤 것도 사전에 알 수 없었다.
사례 B: 동시 급등
어느 날 4명의 매출이 같은 날 동시에 급등했다. 원인을 추적해보니, 이 4명이 모두 같은 프로그램 출신이었고, 해당 프로그램의 20주년 기념 이벤트가 열린 날이었다.
이건 개별 대상의 과거 데이터로는 절대 포착할 수 없는 패턴이다. 외부 이벤트 캘린더가 모델에 입력되어 있어야만 가능하다.
사례 C: 23배 급등
한 대상의 매출이 하루 만에 평소의 23배로 뛰었다. 원인: 관련 TV 프로그램이 전국 시청률 17%를 기록하고, 글로벌 스트리밍 플랫폼에서 2주 연속 1위를 한 것. 이전까지의 매출 패턴과는 완전히 단절된 수치였다.
이것이 의미하는 것
AI의 한계? 아니다. 정보의 한계다.
예측 모델은 입력된 정보의 범위 안에서 작동한다. 과거 거래 데이터, 검색 트렌드, 프로필 정보 — 이 세 가지가 모델이 아는 전부다. 이 정보만으로 97.7%를 맞추는 것은 사실상 모델이 할 수 있는 최대치에 가깝다.
나머지 2.3%의 오차는 모델 밖의 세계에서 온다. 앨범 발매 일정, 행사 캘린더, 미디어 편성표 — 이 정보를 시스템에 추가하면, 2.3%의 오차 중 상당 부분을 줄일 수 있다.
오차가 크면 "잘못된 예측"인가?
반드시 그렇지는 않다. 위 사례들에서 예측이 빗나간 방향은 대부분 과소추정(실제 매출이 예측보다 훨씬 높음)이었다. 즉, 모델은 "평소 수준의 매출"을 예측했는데, 현실에서 예상치 못한 대히트가 터진 것이다.
이건 기업에게 나쁜 뉴스가 아니다. "예상보다 매출이 훨씬 높았다"는 건 놓친 기회가 아니라 보너스다. 문제가 되는 건 과대추정(매출이 높을 거라고 예측했는데 실제로 낮은 경우)인데, 이 시스템에서는 그런 경향이 거의 없었다.
투명하게 보여주는 이유
많은 AI 솔루션이 정확도 숫자만 내세우고, 틀리는 경우에 대해서는 말하지 않는다. 하지만 기업이 실제로 의사결정에 쓰려면, 언제 믿어도 되고 언제 조심해야 하는지를 알아야 한다.
이 시스템은:
- 데이터가 적은 대상을 자동으로 플래그한다
- 예측 신뢰 구간을 함께 제시한다
- 과거 오차가 큰 대상을 리스트업한다
97.7%를 맹신하라는 게 아니라, 어디서 97.7%이고 어디서 아닌지를 투명하게 보여주는 것. 그래야 실무에서 쓸 수 있다.
개선 방향
현재 시스템에 추가하면 오차를 더 줄일 수 있는 정보:
- 외부 이벤트 캘린더 — 신작 출시일, 행사 일정, 미디어 편성표 등을 사전에 입력하면 매출 급등을 예측할 수 있다
- SNS 실시간 데이터 — 검색 트렌드보다 더 빠른 실시간 신호 (화제성 급등 감지)
- 시간 경과에 따른 자동 갱신 — 데이터가 쌓일수록 과거 이력이 적었던 대상의 정확도가 자연스럽게 올라간다
이 글은 AI 매출 예측 프로젝트 전체 기록과 정확도를 81%에서 97%로 끌어올린 과정에 이은 시리즈 마지막 편이다.