[논문리뷰] What Can Game Theory Tell Us about an AI ‘Theory of Mind’? (Games 2022)

이 논문은 타인의 비관측적 인지 제약을 모델링해 복잡한 사회적 상호작용의 행동 예측을 단순화할 수 있으며, 이를 마음 이론과 게임 이론의 연결으로 설명한다. 또한 내성(내적 성찰)과 마음 이론의 관계를 밝히고 생물학적·인공지능 에이전트의 대인관계 모델링에서 게임 이론의 역할을 논의하되 아직 완전한 이야기가 아니며 심리학적 정교화가 필요하다고 제시한다.

---

1. Introduction

• 인공 에이전트와 인간 간의 협력 조정은 AI가 인간의 노력을 더 잘 지원하도록 만드는 데 있어 가장 도전적인 과제 중 하나가 될 것임. 이를 위해서는 서로 다른 지능적 에이전트가 맥락 속에서 어떻게 선택을 하는지 이해해야 함.

• 인간은 다른 에이전트의 의도와 행동을 파악하는 고도로 발달된 인지 과정을 가지며, 이는 초기 발달 단계에서도 관찰됨. 예를 들어, 집단 형성에서의 내집단 동조(intra-group homophily)는 타인을 이해하는 인지적 부담을 줄이고 위협 평가를 좁히는 역할을 함.

• 동조 현상은 에코-챔버 효과의 근원이 되기도 하며, 서로 다른 동조 집단의 개별 네트워크 구조가 크게 다를 수 있음을 시사. 이는 동조 연결의 구체성이 사회 네트워크 토폴로지에 영향을 준다는 점과 관련이 있음(Section 3 참조).

• 협력으로 공동 목표를 달성하는 메커니즘과, 전략적 위협을 분석하는 경쟁의 메커니즘에 대한 이해가 필요.

• 두 에이전트로 구성된 게임은 사회적 상호작용의 기초를 제공하는 가장 간단한 사회 네트워크를 형성하며, 인간뿐 아니라 다른 종의 행태나 유전자 간 상호작용에 대한 통찰도 제공해 왔음.

• 최근의 발전 방향으로는 마음 이론(ToM), 사회 네트워크 이론, 그리고 이들을 AI에 연결해 새로운 아이디어를 개발하는 노력이 있음. 이를 심리학적 프레임에 위치시키고자 하며, 게임 이론이 이를 뒷받침하는 이론적 다리를 제공함.

• 이 글은 심리학적 프레임워크 속에서 게임 이론의 Mind를 구현하는 방향을 제시하려 하며, 본 논문은 두 가지 주요 주제에 초점을 둠: (i) ToM과 내성의 운영적 측면을 AI에 적용하는 방법, (ii) 이를 복잡한 사회 네트워크 구축 및 유지와 연결하는 방안.

• 1.1. 개인 인지: Barrett의 인지 과학 연구를 통해 개인 인지의 다학제적 맥락이 제시되며, Peterson 등 의사결정 연구에서 기대값 이론, 전망 이론 등과 같은 계산적 모델들이 대규모 데이터에서 실증적으로 타당하다는 것이 확인됨. 이는 타인 인지 모델이 어느 정도의 정교함을 필요로 하는지에 대한 중요한 시사점을 제공.

• 그림 1의 요지: Barrett의 다학제적 인지 프레임워크(개인 인지의 다차원성)와 Peterson 등의 AI용 인지 모델 계층화가 각각의 맥락에서 제시됨.

• 1.2. 사회 제약: Barrett의 사회 인지(도덕, 문화, 종교 규범 포함) 수준에서의 분석과 함께 Awad의 Moral Machine 연구가 큰 규모의 교차문화적 차이를 보여줌. 233개국 참가자들의 4천만 건 의사결정에서 클러스터가 형성되고, 이러한 차이는 제도 및 문화적 특성과 상관관계가 있음. 이는 개인 차원의 의사결정에 제약으로 작용하는 대규모 패턴으로 해석될 수 있음.

• 1.3. 마음 이론(ToM)과 내성: ToM은 타인의 욕망, 의도, 신념 등의 정신 상태를 추정하는 능력으로 정의되며, 어린이의 대인 발달에 중요한 이정표로 간주됨. 자폐 스펙트럼과의 연관성도 언급되며, 내성은 자신의 사고 과정을 이해하는 능력으로 설명됨. 최근 연구는 두 현상이 뇌 매핑과 어떻게 연결되는지 탐구하고 있으며, ToM과 내성의 상호작용은 단일 에이전트에서 예기치 않은 복잡성을 초래할 수 있음을 시사함.

• 그림 2의 의의: 두 에이전트가 서로의 인지(ToM)와 자기 인지(내성)를 어떻게 표현하고 활용하는지를 시각적으로 설명하며, 이 상호작용의 복잡성을 AI에 어떻게 구현할지에 대한 단서를 제공.

• 본 논문의 구성 의의: 두 가지 핵심 주제(1) ToM과 내성의 운영적 구현 및 게임 이론과의 연계, (2) 이를 바탕으로 한 복잡한 사회 네트워크의 구축 및 유지에의 적용과 향후 연구 방향을 다룸. Rich한 심리학 용어의 남용을 피하고, 실용적이고 운영 가능한 방식으로 논의를 진행하려는 목적을 밝힘.

---

2. The ‘Game Theory of Mind’: Neuroscience and Economics in Strategic Interactions

• 요지: Game Theory of Mind (GToM) 모델은 사람들이 서로의 의도적 인지 상태를 인과적으로 어떻게 표상하고 이를 바탕으로 대인 상호 작용을 최적화하는지를 설명하려고 2008년 Yoshida 등이 제시했다. 핵심은 협력 혹은 개인적 사수(Defect) 선택 상황에서 상대의 목표를 재귀적으로 모델링하는 ToM의 형식적 기술이다.

• 실험 개요:
  • hunting 게임을 모티프로 협력(사회적 협력)으로 큰 보상을 얻거나, 그룹에서 벗어나 개인적으로 소규모 보상을 얻는 선택의 대립을 다룸.
  • 피실험자들은 두 가지 전략을 가진 컴퓨터 상대와 대결: 하위 차원의 경쟁 전략과 상위 차원의 협력 전략.
  • 목표는 상대의 행동에서 전략적 수준의 내부 표현을 구축하는 과정이 어떻게 이루어지는지, 게임 이론이 이를 어떻게 설명하는지 밝히는 것이다.
  • 연구는 사람과 원숭이의 행동/신경 기록으로 확장되어 왔다.
• 전략적 심층과 ToM의 관계:
  • 전략적 심층(depth)은 상대가 자신을 어떻게 추론하는지에 대해 몇 단계까지 생각하는가를 뜻한다.
  • 예: Griessinger & Coricelli는 수준 0(강화학습), 수준 1(가상-게임 학습), 수준 2+(영향 학습)을 모델링했다.
  • ToM과 introspection의 관계를 다루며, Figure 3에서 A1이 A2의 사고를 생각하는 수준(A1가 A2를 생각하는 수준)을 넘어 A1 자신의 사고를 고찰하는 내성(introspection)까지 포함하는 상호 보완적 구조를 제시한다.
• QRE(Quantal Response Equilibrium) 연결:
  • Yoshida 등은 인지적 수준의 모델링을 QRE의 적절한 극한으로 연결한다.
  • 두 플레이어 a, b가 이진 전략 집합 Si = {s1_i, s2_i}를 가질 때 QRE는 자기-일치 매핑으로 표현되며, i의 내부 표현이 -i의 의사결정 모델을 근사적으로 나타낸다고 가정한다.
  • 구체적 형식(수식)은 아래와 같이 제시된다:
  • (1) \(s_i = p(s_{1,i} \vert s'_{-i}) \propto \exp(\beta_i E(u_i \vert s'_{-i}))\)
  • (2) \(s_i = \psi_i(s'_{-i} \vert c_i)\)
  • (3) \(s_i = \psi_i(\psi'_{-i}(s_i \vert c_{-i}) \vert c_i)\)
  • 여기서 \(s_i \in [0,1]\)은 플레이어 i가 전략 1을 선택할 확률, \(p(\cdot \vert \cdot)\)는 상대의 선택 버전에 대한 확률, \(E(u_i \vert s'_{-i})\)는 상대의 선택 확률에 따른 i의 기대효용, \(\beta_i\)는 합리성(‘persona’)을 나타낸다. 파라미터의 공벡터는 \(c_i\)에 수록된다.
  • (4) \(\Gamma_i : \{ s'_i \leftarrow_{\leftarrow} \psi'_i(\psi'_{-i}(s'_i \vert c_{-i}) \vert c_i) \psi'^{-1}_i(s'_i \vert c_i) \leftrightarrow \psi'_{-i}(s'_i \vert c_{-i}) \}\)
  • 이 식은 i의 자기고찰(introspection)과 ToM의 상호작용 간의 대응 관계를 나타내며, 두 표현(line)은 각각 i의 자신에 대한 모델과 상대에 대한 모델 간의 동등성/호환성을 보여준다.
• 내적 표현의 구조(Γi의 해석):
  • 표기 상의 첫 번째 줄은 QRE의 표준 표현이고, 두 번째 줄은 introspection과 ToM 간의 대응을 명시한다.
  • 간단히 말해, Ai는 자신과 상대를 각각 독립적인 두 모델로 보되, 이들 사이에 인과 방향(←)과 대응 관계(↔)를 두어 자기의 사고가 상대의 사고에 어떻게 영향을 주는지 모형화한다.
• 신경경제학적 증거와 주요 시사점:
  • 2004년 Rilling 등은 Prisoner’s Dilemma와 Ultimatum Game을 fMRI로 조사했고, ToM에 관련된 뇌 네트워크가 인간 대 인간 상황에서 강하게 활성화되었다고 밝혔다. 컴퓨터 상대일 때 활성도가 낮아지지만 여전히 나타나, 비인간 시스템에 대해서도 모형화가 가능하다는 해석이 제시되었다.
  • UG와 PD 간의 신경활동 차이는 전략적 상호작용의 숨겨진 상태에 따른 인지 차이를 시사한다.
  • QRE의 ‘persona’ 버전은 UG의 Nash 균형과의 차이를 설명하는 데 주요한 역할을 한다. 예를 들어 공정하지 못한 배분에 대한 상대의 처벌 가능성을 미리 고려하는 것은 상대의 내부 제약 조건을 이해하는 일종의 ToM적 사고임을 보여준다.
  • 이후 연구들에서도 이러한 해석을 지지하는 결과들이 다수 제시되었다.

---

3. The Importance of a Theory of Mind in Human-to-Human Interactions

• 인간의 사회적 규모와 뇌 크기의 관계
  • Dunbar의 수(N)와 층 구조가 관찰됨.
  • \(N \approx 150\) 이고, 주요 층의 평균 크기는 아래와 같은 순서로 형성된다고 제시됨: \(L \in \{1.5,\ 5,\ 15,\ 35,\ 150\} \text{ (층별 평균 크기)}\)
  • 이 수치들은 서로 다른 연구에서 정확한 값이 다르게 보고되기도 함.
• 사회 네트워크의 토폴로지와 한계
  • 이 값들은 인간이 맺는 불연속적 연결들로 구성된 Erdős–Rényi 유형의 네트워크 토폴로지의 결과로 이해됨.
  • 네트워크의 토폴로지는 다음과 같이 표현될 수 있음: \(G(n,p) \quad (\text{Erdős–Rényi 모델})\)
  • 각 연결은 독립적으로 형성되며 확률 \(p\)에 의해 결정되며, 이는 네트워크의 전체 토폴로지를 제약함.
• 사회적 뇌 가설(Social Brain Hypothesis)의 핵심
  • 인간 뇌가 자연 환경을 다루는 데 성공한 이유는 복잡한 사회적 상호작용을 개발·유지하는 능력 때문이라고 설명하는 가설.
  • 뇌 용적에서 신피질(neocortex) 비율의 상대적 크기가 총 뇌 용적 대비 큰 편이며, 이것이 인간의 사회적 능력 확장의 기저가 됨.
  • \[\frac{V_{\text{neocortex}}}{V_{\text{brain}}} \text{ 비율이 인간에서 가장 큼}\]
  • 이와 연결해, 인간의 사회적 능력이 자연환경에 대한 정교한 문제 해결 능력으로 이어진다는 주장.
• 사회적 층의 형성에 관여하는 인지적 기제
  • 내면의 층들(inner layers)인 ‘지원 무리’(support clique)와 ‘동정 그룹’(sympathy group)은 ToM(이론적 마음 이론)과 기억력의 조합으로 서로 다른 개인 간의 연결을 유지하는 능력에 의해 매개됨.
  • MRI 연구의 시사점:
    • Powell 등은 안와전전두피질(orbital prefrontal cortex) 부피가 피험자의 내부 사회 네트워크 크기와 양의 상관관계가 있음을 보임: \(V_{\text{orbitofrontal}} \propto N_{\text{inner}}\)
    • Stiller와 Dunbar의 연구는 기억이 sympathy group(약 12–15명) 설명에 기여하고, ToM이 support clique(약 4–7명) 설명에 기여함을 시사함.
  • Lewis 등은 개인의 사회 네트워크 규모가 특정 유형의 ‘정신화(mentalising)’에 할당된 신경 물질의 양에 좌우됨을 보여줌.
• 네트워크 유지의 인지적 복잡성
  • 현실 세계에서 각 연결 L1,i를 유지하기 위해서는 그것에 대응하는 인지적 표현 TL1,i가 필요하고, 이 표현은 서로 독립적이지 않으며 상호연계적임.
  • 이는 Figure 5에 요약된 바와 같이 사회 세계를 성공적으로 탐색하기 위한 에이전트의 내부 표상 필요성과 직결됨.
  • TL1,i는 L1,i와 연결되며, 여러 링크 간의 상호작용이 전체 네트워크의 동태를 좌우하는 구조로 작동.
• 사회적으로 능숙한 AI를 위한 시사점
  • 향후 사회적으로 능숙한 AI 에이전트가 되려면 인간 파트너를 더 잘 내부적으로 표상하고, 파트너가 자신을 어떻게 보는지 이해하며, 이 이해가 집단 행동에 어떤 영향을 미치는지에 대한 내부 표현 능력이 필요함.
  • 실제 사회적 기술의 축적은 네트워크의 관리와 예측에 중요한 역할을 하며, 따라서 AI 설계에서도 이러한 ToM 기반 내부 표현의 개선이 중요하다고 제시됨.
• 요약적 메시지
  • 인간의 사회적 네트워크 구조와 층화는 ToM과 기억의 상호작용을 통해 형성되며, 뇌의 특정 영역(예: orbitofrontal cortex) 용적과도 밀접하게 연결됨.
  • 이러한 인지적 기반은 복잡한 사회 관계를 유지하는 데 필요한 전략들을 만들어내며, AI 연구에서도 인간 중심의 사회적 이해를 위한 내재적 표상 시스템의 개발이 중요하다는 점을 시사함.

---

4. Conclusions

• 본 연구의 핵심은 Introspection(자기성찰)과 Theory of Mind(ToM)가 심리적으로는 구분되지만 서로 긴밀하게 연결되어 있으며, 이를 통해 전략적 상호작용에 대한 더 미묘한 이해를 얻을 수 있다는 점이다. 특히 의사결정의 실제 표상(ψi)과 이를 에이전트가 학습한 근사 표상(ψ′i)의 차이를 명확히 구분한다.

• ψi(·)와 ψ′i(·)의 구분
  • ψi(·): 에이전트의 ‘진짜’ 의사결정 과정의 표현
  • ψ′i(·): 에이전트가 학습한 인지의 근사 표현
• ToM과 introspection의 조합으로 보이는 세 가지 균형(또는 균형 상태)의 구분
  • 일반적으로 QRE에서의 균형: ψi(ψ−i(si)) = si
  • ToM을 사용해 타인을 생각하는 경우의 균형: \(\psi_i(\psi'_{-i}(s_i)) = s_i\)
  • ToM과 introspection을 모두 해석에 적용한 상호작용의 균형: \(TA_i[\psi'_i(\psi'_{-i}(s'_i)) = s'_i]\) 위 각 식은 서로 다른 심리적 상태를 시사하며, 이를 통해 에이전트가 자신과 타자를 어떻게 다르게 이해하고 해석하는지 확인할 수 있다.
• 모델은 제약이자 가설이라는 점
  • 각 ψi(·)는 다양한 인지 유형을 나타낼 수 있으며, 이 모델들이 인간 인지의 한계, 자신과 타자를 표현하는 방식, 그리고 이러한 한계를 활용해 서로의 행동을 이해하고 예측하는 데 사용될 수 있는 테스트 가능한 가설들을 제공한다.
• 실전적 예시: 바둑과 AlphaGo의 맥락
  • 바둑의 가능 수의 수가 게임 초반에 기하급수적으로 많아지지만, 사람과 AI 모두 초기의 몇 가지 포지션을 중심으로 탐색을 좁히고, 그 범위 내에서 향후 수를 결정하는 경향이 있다. 이는 인간과 인간의 상대도 동일한 인지적 한계의 영향 아래 움직임을 선택한다는 점을 보여준다.
  • 전문가 간의 차이는 주로 두는 수의 품질이나 스타일에서 나타난다.
• 학제간 이해의 필요성
  • 경제학, 신경과학, 심리학, AI 등 여러 분야가 협력해 좌우되는 사회적 행동의 문제를 다루어야만, 인간과 유사한 인지적 특성을 가진 AI를 필요한 충실도로 모델링하고 구현할 수 있다. 이를 통해 AI가 우리에게 주는 이점들을 최대한 활용할 수 있다.
• 관련 연구의 맥락
  • 인간 인지의 한계와 전문성의 형성에 관한 심리학 연구의 핵심 발전들을 다루는 최근 논의 예시(Ericsson, Gobet & Charness 등)들을 통해, 지각과 지각-인지의 관계 및 전문성의 형성에 대한 이해를 Go나 인공 신경망 모델링과 연결지어 생각해볼 수 있다.