[논문리뷰] Large Language Models as Simulated Economic Agents (NBER 2023)
새롭게 개발된 대형 언어 모델(LLM)은 인간의 암묵적 계산모델로, 경제학의 호모 이코노미쿠스처럼 시뮬레이션을 통해 인간 행동을 탐구하고 사회과학 연구의 초기 실험 도구로 활용될 수 있다.
새롭게 개발된 대형 언어 모델(LLM)은 인간의 암묵적 계산모델로, 경제학의 호모 이코노미쿠스처럼 시뮬레이션을 통해 인간 행동을 탐구하고 사회과학 연구의 초기 실험 도구로 활용될 수 있다.
GPT-4, text-davinci-002, text-davinci-003, Claude 2, 그리고 Llama 2 70B 모델을 사용하여 다양한 2 × 2 게임을 평가함. 두 가지 특정 게임에 대해, 모든 LLM과 인간과 유사한 전략들이 서로 대결하도록 설정함. 연구...
본 논문은 기존의 2인 게임 중심 평가의 한계를 극복하고, 다중 에이전트 환경에서 LLM의 게임 능력을 정량적으로 평가하는 GAMA(γ)-Bench 프레임워크를 제안하여, LLM들의 강인성, 일반화 능력 및 전략 개선 가능성을 종합적으로 분석하였다.
본 논문은 대규모 언어 모델(LLM) 에이전트를 활용한 게임 이론 연구를 위한 체계적 플랫폼 ‘Alympics’를 제안하며, 이를 통해 복잡한 전략적 상호작용을 시뮬레이션하고 분석하는 방법을 제시한다.
본 연구는 게임 이론의 핵심 원리인 합리성을 기준으로 대형 언어 모델(LLM)의 행동을 분석한 결과, 최신 LLM도 인간과 상당한 차이를 보여 사회과학 게임 실험에 LLM을 도입할 때 신중한 접근이 필요함을 제시한다.