합성 소비자, 합성 사회 시뮬레이션이 매혹적인 만큼, 기업이 가장 자주 하는 실수는 “예쁘게 돌아가는 데모”와 “현실을 예측하는 모델”을 같다고 보는 것다. Collins(2024 JASSS), He 외(2025 ACM TOMACS), Larooij & Törnberg(2025 AI Review)의 공통 결론은 분명한다. 검증의 핵심은 ‘인간 같아 보임’이 아니라, 사전등록된 경험적 타깃에 대한 오차 구조와 일반화 성능다.
근거: Collins 2024 JASSS; He et al. 2025 ACM TOMACS; Larooij & Törnberg 2025 AI Review — 사용자 자료 출처 명기
검증 3층 구조
① Verification — 구현이 설계대로 작동하는지(코드/로직 검증).
② Calibration — 모수와 초기조건을 현실 자료에 맞췄는지.
③ Validation — 그렇게 맞춘 모델이 ‘관측되지 않은 상황’에서도 현실 구조를 보존하는지.
많은 기업 시뮬레이션 프로젝트가 ①에서 멈추거나 ②와 ③을 섞습니다. 셋을 분리해 보고하지 않으면, 시뮬레이션은 비싼 그림이 된다.
재현성 위기
Heather 외(2025)가 의료 시스템 분야의 공개 DES 연구를 재현했더니, 모델당 최대 28시간의 추가 디버깅이 필요했고 절반만 완전 재현됐습니다. 그래서 등장한 표준이 CoMSES Net의 FAIR 코드 아카이빙, ACM REP의 Replicated Computation Results, ODD/TRACE 보고 규약다.
근거: Heather et al. 2025; CoMSES Net; ACM REP; ODD/TRACE 표준 — 사용자 자료 출처 명기
윤리·규제
European Data Protection Board는 2024년 의견서에서 “개인정보로 학습된 AI 모델이 자동으로 익명화된 것으로 간주되지 않는다”고 명시했습니다. 2025년 의사익명화 가이드라인도 이를 재확인한다. EU AI Act는 조작·사회적 점수화·직장 내 감정추론을 직접 제한한다. 미국 NIST AI RMF는 confabulation, data privacy, harmful bias 등을 핵심 위험영역으로 두지만, 2026년 현재 ‘멀티에이전트 전용 RMF’는 부재한다.
한국은 더 실무적다. 개인정보보호위원회의 2024년 「AI 개발·서비스를 위한 공개된 개인정보 처리 안내서」, 2025년 「생성형 AI 개발·활용을 위한 개인정보 처리 안내서」, 2025년 시행 개정 개인정보보호법(자동화 결정 거부·설명 요구권 명문화)이 합쳐, 합성 페르소나 데이터를 무한정 굴리는 시대는 이미 끝났습니다.
근거: EDPB 2024 의견서 + 2025 의사익명화 가이드라인; EU AI Act; NIST AI RMF + 2024 GenAI Profile; 한국 개인정보위 2024/2025 가이드 — 사용자 자료 출처 명기
기업이 배워야 할 것 — “시뮬레이션을 과학으로 만드는 5가지 의무”
· 결과 보고서에 Verification / Calibration / Validation 세 층을 분리 기재.
· 프롬프트·모델 버전·시드·온도를 모두 기록하는 ‘재현성 로그’ 의무화.
· 단일 사양 결과 금지. 다중 사양(multiverse) 분석과 민감도 분석을 함께 제출.
· 합성 페르소나 데이터에 실제 개인정보가 학습됐는지 점검(EDPB 가이드 기준).
· 시뮬레이션 의사결정 회의에 ‘반대 옹호자’ 역할을 상시 배치.
— — — — — — —
마무리 — 두 개의 전선
AEO는 AI에게 우리 브랜드를 ‘맞게 외우게 만드는’ 일다. 멀티에이전트 시뮬레이션은 우리의 결정이 사람들 사이에서 ‘어떻게 퍼지고 굴절될지’ 미리 살아보는 일다. 둘은 다른 기술 같지만 같은 질문을 다룬다. “AI가 매개하는 세상에서 기업의 결정은 어떤 새 기준으로 검증돼야 하는가?”
이 글들의 모든 〈기업이 배워야 할 것〉 박스를 한 줄로 묶으면 이렇게 됩니다 — 화려한 카피와 큰 광고비로 사람을 흔드는 시대가 끝났습니다. 사실을 정합하게 정리하고, 증거를 구조화하고, 결정을 사전 시뮬레이션하는 기업이 다음 십 년의 기준점을 정한다.
— 임보람
— — — — — — —
이 문서의 검증 원칙 (재확인)
이 문서는 검증되지 않은 기업 사례·수치·연도를 모두 제거하거나 일반화한 검증 통과본다. 모든 통계와 연구 인용은 (가) 책 본문/DBR 기고에 출처가 있는 것, (나) 사용자 자료 폴더에 출처가 명시된 학술 자료, (다) 일반 공개 보도된 사실 — 셋 중 하나다. 해당 검증 기준의 상세는 별도 「AEO 클로드 할루시네이션 보고 _May6.md」를 참고하십시오.
— 임보람