Research
연구실에서 하는 일
AI에게 소비자를 물어보면 답은 곧바로 돌아온다. 문제는 그 답이 맞는지를 AI가 스스로 알지 못한다는 데 있다.
LLM은 자기 답의 정확도를 판정하지 못한다. 틀린 답에도 맞는 답과 같은 확신을 보인다. 여러 사람을 시켜도 비슷한 답만 내놓아 사람 사이의 차이가 사라진다. 나중에 받을 값은 실제 소비자보다 심하게 깎는다. 질문의 형식을 조금만 바꿔도 답이 달라지고, 영어권 밖의 소비자는 제대로 복제하지 못한다.
이 한계를 모르고 쓰면 그럴듯한 문장을 근거로 착각하게 된다. BDM Lab은 AI의 한계를 먼저 측정하고, 그 자리를 실제 기록으로 채운 뒤에 쓴다. 한 사람의 6년치 구매 기록과 설문과 인터뷰를 묶어 그 사람을 에이전트로 세우고, 에이전트가 내놓은 답은 본인의 실제 답과 대조해 일치율로 잰다. 맞은 만큼만 결과로 쓴다.
그렇게 검증한 에이전트로는 현실에서 못 하는 실험을 돌릴 수 있다. 가격을 올린 세상과 올리지 않은 세상을 나란히 돌려 두 결과를 비교하는 일이, 가상에서는 가능하다. 같은 데이터 위에서 머신러닝은 다음 달 매출을 맞히고, 에이전트는 그 숫자가 왜 그렇게 나오는지 말한다.
소비자 복제와 미래 예측
같은 데이터를 두 방향으로 씁니다. 사람을 복제해 가상에서 실험을 돌리는 쪽과, 숫자로 미래를 예측하는 쪽입니다. 인과분석, 머신러닝, LLM 시뮬레이션 세 방법이 두 방향을 떠받칩니다.
두 방향이 함께 쓰이는 곳
Methodology
연구를 떠받치는 세 가지 분석 방법
인과분석 (Causal Inference)
Why
마케팅에서 가장 위험한 착각은 상관관계를 인과관계로 오해하는 것이다. “이 캠페인 이후 매출이 20% 올랐다” — 캠페인 때문일까? 같은 시기에 경쟁사가 가격을 올렸거나, 계절 효과이거나, 아니면 그냥 우연일 수 있다. 단순 전후 비교로는 진짜 효과를 절대 알 수 없다.
인과분석은 “만약 그 캠페인을 하지 않았어도 매출이 올랐을까?”라는 반사실적(counterfactual) 질문에 답하는 방법론이다. 기업이 가장 알고 싶지만 제대로 답하기 가장 어려운 질문.BDM Lab의 연구 핵심이 여기에 있다.
How
핵심 아이디어는 “비교 가능한 대조군”을 찾는 것이다. 처리를 받은 그룹과 비슷하지만 받지 않은 그룹을 찾아서, 두 그룹의 변화 차이를 측정한다. 이중차분법(Difference-in-Differences), 회귀불연속설계(RDD), 도구변수법(IV) 등 준실험(quasi-experiment) 설계를 사용해서 관찰 불가능한 교란 변수를 통제하고 순수한 인과 효과를 추정한다.
여기에 구조 모델링(Structural Modeling)도 함께 쓴다. New Empirical IO라고도 불리는 이 접근법은 소비자와 기업의 의사결정 구조를 경제학 이론으로 모형화하고, 데이터로 추정한다. 단순히 “무엇이 일어났는지”가 아니라 “왜, 어떤 메커니즘으로 일어나는지”까지 밝힐 수 있다.
Difference-in-Differences (이중차분법)
인과 효과 = (처리군 변화) − (대조군 변화)
대조군도 자연적으로 변하므로, 단순 전후 비교가 아닌 “차이의 차이”를 측정
AI/ML 기반 예측
Why
인과관계를 모른다고 예측을 못 하는 건 아니다. “왜”를 몰라도 “무엇이 일어날지”는 데이터 패턴만으로 추정할 수 있다. 신규 매장을 어디에 열지, 다음 달 재고를 얼마나 준비할지, 어떤 연예인 IP가 매출을 올릴지 —정확히 예측하면 기업에겐 바로 돈이 된다.
전통적으로는 담당자의 경험과 직감에 의존했다. 문제는 변수가 수십 개만 넘어가도 사람의 머리로는 최적 답을 찾을 수 없다는 것이다. 머신러닝은 이 한계를 넘는다.
How
XGBoost, LightGBM 같은 앙상블 알고리즘은 수백 개의 변수를 동시에 고려해서 패턴을 찾는다. 과거 데이터에서 “어떤 조건에서 매출이 올랐는지”를 학습하고, 새로운 상황에 적용한다. 단순히 숫자를 뱉는 게 아니다. SHAP value로 “왜 이런 예측이 나왔는지”까지 해석해서, 의사결정에 실제로 쓸 수 있는 근거를 함께 만든다.
ML Prediction Pipeline
LLM 멀티 에이전트 시뮬레이션
Why
인과관계를 밝히는 가장 이상적인 방법은 실험이다. 조건을 바꿔보고, 결과가 달라지는지 직접 관찰하는 것. 문제는 현실 실험은 비용이 수억 원이고, 시간은 수개월이 걸린다는 것이다. 가격을 바꿔보려면 진짜 매장에서 진짜 가격을 바꿔야 하고, 리뷰 정렬 정책을 실험하려면 진짜 플랫폼을 설득해야 한다. 그래서 많은 연구가 시도조차 못 한다.
BDM Lab은 이 한계를 인과분석 + AI의 결합으로 돌파한다. GPT 기반 AI 에이전트에게 소비자, 매장, 플랫폼 역할을 부여하고 가상의 마켓을 통째로 만든다. 이 안에서 가격을 바꾸고, 정책을 실험하고, 경쟁을 시뮬레이션하면서 소비자와 기업의 행동을 관찰하고, 인과관계를 검증한다. 현실에서 수억 원짜리 실험을, 가상에서 수십만 원에 돌린다.
How
네 단계로 진행한다. 먼저 에이전트를 설계한다 — 각 AI에게 성격, 선호도, 예산, 과거 경험을 부여한다. 그 다음 환경을 구축한다 — 레스토랑, 리뷰 시스템, 경쟁 구조 등 시장을 코드로 만든다. 시뮬레이션을 돌리면 에이전트들이 자율적으로 의사결정하고, 서로 상호작용한다. 마지막으로 수십~수백 일치 데이터를 분석해서 “이 정책이 시장을 어떻게 바꾸는지” 인과적 메커니즘을 발견한다.
Multi-Agent Simulation Architecture
소비자 에이전트
성격 · 선호 · 예산 · 기억
매장 에이전트
메뉴 · 가격 · 전략 · 광고
플랫폼 에이전트
리뷰 정렬 · 추천 · 정책
가상 마켓
에이전트들이 자율적으로 선택 · 거래 · 리뷰 · 경쟁 · 학습
인과 효과 검증
시장 역학 패턴
정책 시뮬레이션