[논문리뷰] PicPersona-TOD: A Dataset for Personalizing Utterance Style in Task-Oriented Dialogue with Image Persona (NAACL 2025)
본 논문은 사용자 이미지 기반 페르소나를 활용해 개인 맞춤형 대화를 가능케 하는 PicPersona-TOD 데이터셋과, 이를 활용해 보다 자연스럽고 몰입감 있는 대화를 생성하는 NLG 모델 Pictor를 제안한다.
1 Introduction
- Task-oriented dialogue (TOD)은 고객 서비스 데스크나 관광 안내소 등에서 사용자 요청을 처리하기 위해 설계된 대화 시스템의 핵심 작업 중 하나임 (Rastogi et al., 2020; Zang et al., 2020).
- TOD 시스템은 대체로 세 가지 하위 모듈로 구성됨:
- 대화 상태 추적 (DST): 사용자의 요청을 추적
- 정책 모듈: 데이터베이스(DB) 검색이나 대화 종료와 같은 시스템 행동 결정
- 자연어 생성 모듈 (NLG): 대화 정책과 DB 결과를 자연어 응답으로 변환 (Young et al., 2013)
- NLG 모듈에서 생성된 응답은 사용자와 직접 상호작용하므로, 전체 사용자 경험에 큰 영향을 미침.
- 기존 연구들은 주로 정보 전달의 정확성을 개선하는 데 집중했으며 (Peng et al., 2020; Lin et al., 2020 등), 그 결과 생성된 응답이 단조롭고 개성이 부족하여 사용자와의 감정적 연결 및 연령에 맞춘 대응에 한계가 있음 (McLean et al., 2021).
- 최근에는 사용자 페르소나(persona)를 대화에 통합해 개인화된 응답 스타일을 지원하는 TOD 데이터셋이 개발됨. 예:
- Joshi et al. (2017): 연령 및 성별 정보 포함
- Lin et al. (2023): 감정 정보 통합
- Liu et al. (2024b): 명사 및 동사 구문을 반영한 개인화
- 그러나 이러한 페르소나 정보는 주로 텍스트에 국한되어 있어 사용자에 대한 상세하고 동시적인 정보를 제공하는 데 한계 존재.
- 반면, 오픈 도메인 대화 시스템 분야에서는 사용자 페르소나 통합이 활발히 연구되어 왔으며, 최근 ‘visionary persona’ 접근법이 주목받고 있음 (Ahn et al., 2023; Lee et al., 2024b).
- visionary persona는 사용자의 미묘한 얼굴 표정을 포착하고 사용자의 맥락을 풍부하게 이해함
- 실제 대화에서 비언어적 신호를 해석하는 방식과 유사함
- 특히 이전에 텍스트로 된 사용자 프로필이 없는 첫 대면 상황에서 유용함
-
그러나 visionary persona는 지금까지 주로 잡담(chit-chat)이나 상담 시나리오에 활용되었으며 (Poria et al., 2018; Firdaus et al., 2020; Valstar et al., 2016 등), TOD 시스템에는 적용되지 않음.
- 이를 바탕으로 본 연구는 사용자 이미지를 페르소나 정보에 포함시켜 인사, 격식, 연령 감수성, 감정 인지 등 측면에서 개인화된 시스템 응답을 가능하게 하는 새로운 TOD 데이터셋 ‘PicPersona-TOD’를 제안함 (그림 1).
- PicPersona-TOD 구축 시에는 사용자의 첫인상과 대화 정책에 기반한 프롬프트를 활용해 대규모 언어 모델(LLM)의 개인화 능력을 효과적으로 추출함.
- 또한, Google Maps와 Wikipedia 등 외부 지식을 결합하여 개인화된 응답에서 발생할 수 있는 환각 문제(hallucination)를 줄임.
- 엄격한 필터링 과정을 통해 스타일 적합성, 의미 정확성, 자연스러움을 보장하는 정제된 데이터셋 생성.
- 자동화된 생성 과정에도 불구하고, 본 데이터셋은 사용자 경험 (§4.1) 및 개인화 수준 (§4.2)에서 기존 데이터셋 및 방법들보다 인간 평가 선호도가 높음.
- 레이블 정합성 측면에서도 DST 및 정책 모듈 분석 결과 PicPersona-TOD는 정보의 정확도를 유지함.
-
NLG 모델 ‘Pictor’를 제안하여, 미지의 도메인에서도 개인화의 견고한 성능을 입증함.
- 본 연구의 주요 기여점:
- 사용자 이미지를 통합한 새로운 TOD 데이터셋 PicPersona-TOD를 제안하고 개인화된 시스템 응답을 제공함.
- 현실적이고 개인화된 데이터셋을 효율적으로 생성하는 고도의 자동화된 데이터셋 생성 프레임워크를 개발함.
- 인간 평가를 통해 개인화를 통한 사용자 경험 향상을 입증하고, 벤치마크 결과에서 개인화가 다른 핵심 작업의 성능 저하를 초래하지 않음을 확인함.
2 PicPersona-TOD Dataset
- 소개
- PicPersona-TOD는 사용자 이미지 페르소나를 기반으로 한 최초의 개인화된 Task-Oriented Dialogue (TOD) 데이터셋임.
- 고품질 개인화 TOD 데이터셋의 세 가지 기준:
- 사용자의 발화가 이미지와 일관되어야 함.
- 시스템의 응답이 사용자 이미지에 맞추어 적절히 개인화되어야 함.
- 합성된 데이터셋은 Dialogue State Tracking(DST), 대화 정책 예측 등 TOD 하위 태스크 라벨과 정합성을 유지해야 함.
- 데이터셋 구축 절차는 다섯 단계:
- 사용자 이미지 수집 및 대화 데이터셋 확장
- 사용자 이미지와 발화 정렬
- 사용자 발화 스타일 변환
- 시스템 응답 개인화
- 데이터 필터링
- 주요 언어 모델로 GPT4o를 사용.
2.1 이미지 수집 및 대화 확장
- 사용자 페르소나를 잘 나타내기 위해서는:
- 이미지 내 인물이 1명이고 중앙에 배치
- 얼굴과 의복 등 세부 정보가 명확히 보여야 함
- Flicker-Faces-HQ 데이터셋 선택 (유아 제외)
- 이미지별 메타데이터(추정 나이, 성별, 격식성) 추가
- 대화 데이터셋은 MultiWOZ-2.2와 SGD를 결합 (총 18개 서비스 도메인, 8,438 + 11,398 대화 포함)
- 실제 장소(영화관, 식당, 호텔, 관광지)에 관한 Google Maps 리뷰와 Wikipedia 문장 추가
- 342개 위키피디아 항목에서 2,474문장, 406개 위치별로 3,483개 리뷰 수집
- 개인화 시 환각(hallucination) 현상 감소 목적
2.2 이미지와 대화 데이터 정렬
- 대화 데이터는 나이, 성별 등의 세부 정보 부족 → 감정을 공통 속성으로 선택
- 감정 분류 모델과 LLM을 사용해 이미지와 대화에 대해 감정 라벨링 (positive, neutral, negative)
- 일치하는 감정 라벨 간에 이미지-대화 쌍 생성
- 감정 분포: positive 50.92%, neutral 52.44%, negative 0.55%
2.3 사용자 발화 스타일 이미지에 맞춰 정렬
- 사용자 발화를 이미지를 고려해 스타일 변환 (연령, 성별, 감정, 문맥 고려)
- 각 대화 \(D_i = (u_0, s_0, u_1, s_1, ..., u_T, s_T)\)와 이미지 \(Img_i\)에 대해,
- 변형된 발화 \(\tilde{u}_t = \text{LLM}(s_{t-1}, u_t, Img_i)\)
2.4 시스템 응답 스타일 개인화
- 세 가지 유형으로 분류:
- Basic Personalization (대부분의 경우 적용)
- Greeting Personalization (인사말 관련 동작)
- Recommendation Personalization (추천 관련 동작)
- Basic Personalization
- 사용자 이미지에서 첫인상(인상 \(Imp_i\)) 생성
- 이를 기반으로 격식, 나이 민감성, 감정 문맥에 맞는 시스템 응답 생성
- \[\tilde{s}_t = \text{LLM}(s_t, \tilde{u}_t, Img_i, Imp_i)\]
- Greeting Personalization
- 인사와 작별 인사에 사용자 이미지 기반 맞춤 코멘트 포함
- 예: “멋진 빨간 모자네요!” 등
- Recommendation Personalization
- 추천 시 환각 정보 방지 위해 리뷰 데이터베이스에서 유사 리뷰 3개를 검색해 프롬프트에 포함 (SentenceBERT 임베딩 및 코사인 유사도 활용)
- 사실에 기반한 응답 생성 유도
2.5 데이터 품질 관리 및 필터링
-
품질 향상을 위해 4단계 필터링 진행:
- 스타일 강도 필터링
- 개인화 강도 \(PS_i\) 계산:
\(PS_i = \frac{1}{T} \sum_{t=0}^{T} \text{Dist}(E(\tilde{s}_t), E(s_t))\)
- Dist: 유클리드 거리
- E: Sentence-BERT 임베딩
- 메타데이터 별로 값 수집 후, 임계값 \(< 2.5 \times IQR\) 미만 대화 제거
- 1.49% 제거
- 개인화 강도 \(PS_i\) 계산:
\(PS_i = \frac{1}{T} \sum_{t=0}^{T} \text{Dist}(E(\tilde{s}_t), E(s_t))\)
- 스타일 방향 필터링
- 개인화 벡터 \(PV_i\) 계산: \(PV_i = \frac{1}{T}\sum_{t=0}^{T} \left( E(\tilde{s}_t) - E(s_t) \right)\)
- 메타데이터 별 평균 벡터 \(PV_{class}\) 산출
- 각 대화 벡터와 클래스 평균 차이 \(PD_i = \text{Dist}(PV_{class}, PV_i)\) 계산
- \(PD_i > 4.5 \times IQR\)인 이상치 제거
- 1.98% 제거
- 의미적 정합 필터링
- 사용자 발화는 DST 라벨에 따라 의미 일치 여부 검증
- 시스템 응답은 대화 정책 라벨과 정합성 확인
- 의미 상 불일치 데이터는 LLM을 통해 필터링
- 2.37% 제거
- 자연스러움 필터링
- 전체 대화를 LLM에 제공해 자연스러운 흐름 여부 평가
- 자연스럽지 않은 대화 제거
- 4.39% 제거
- 스타일 강도 필터링
-
최종적으로 초기 데이터의 92.59% 유지됨
2.6 필터링 사례 연구
- 스타일 강도 필터링은 개인화가 거의 없는 경우 제거
- 스타일 방향 필터링은 중세어체 등 부적절한 스타일 변화 혹은 다른 언어 전환 시 제거
- 해당 사례들은 Figure 4 참고
3 PicPersona-TOD Analysis
- 본 섹션에서는 PicPersona-TOD 데이터셋을 기존 데이터셋과 비교 분석(§ 3.1), 단어 난이도 및 공손함(§ 3.2), 감정 표현(§ 3.3) 등 주요 차원별 분석을 수행함.
3.1 기존 데이터셋과의 비교
- Table 1에 따르면 PicPersona-TOD는 개인화(personalization) 및 대화 모달리티(dialogue data modality) 측면에서 독특한 위치를 차지함.
- 유일하게 비전(persona) 요소를 포함한 TOD(Task-Oriented Dialogue) 데이터셋임.
- 여러 TOD 데이터셋을 통합해 다양한 서비스와 방대한 대화 데이터를 포함.
- Google Reviews, Wiki 정보 등 외부 소스 통합을 통한 개인화 강화가 특징임.
| 데이터셋 | Persona | 모달리티 | 대화 유형 | 수집 방식 | #대화건수 | #서비스 | 평균 턴수 | 평균 토큰수 |
|---|---|---|---|---|---|---|---|---|
| MultiWoZ | - | 텍스트 | TOD、DST, Pol | 인간 수집 | 8,438 | 7 | 13.46 | 13.13 |
| ABCD | - | 텍스트 | TOD, Pol | 인간 수집 | 8,034 | 30 | 22.08 | 9.17 |
| SGD | - | 텍스트 | TOD, DST, Pol | 봇+인간 수집 | 16,142 | 16 | 20.44 | 9.75 |
| STAR | - | 텍스트 | TOD, Pol | 인간 수집 | 5,820 | 13 | 21.71 | 11.2 |
| TOAD | - | 텍스트 | TOD, DST, Pol | GPT-3.5 | 8,087 | 11 | 9.23 | 10.6 |
| SIMMC-2.0 | - | 텍스트, 비전 | TOD, Disamb., Coref., DST | 봇+인간 수집 | 11,244 | 2 | 10.4 | 13.7 |
| DialogCC | - | 텍스트, 비전 | 오픈 | GPT-4, CLIP | 83,000 | - | 8.20 | - |
| MPChat | 텍스트, 비전 | 텍스트, 비전 | 오픈 | 15,000 | - | 2.85 | 18.5 | |
| STARK | 텍스트, 비전 | 텍스트, 비전 | 오픈 | GPT-4, Diffusion | 500,000 | - | 5.30 | - |
| PicPersona-TOD(본 연구) | 텍스트, 비전 | 텍스트, 비전 | TOD, DST, Pol | GPT-4, Google Map, Wiki | 18,148 | 18 | 17.23 | 12.67 |
참고: ‘Mod.’=모달리티, ‘Serv.’=서비스, ‘Pol.’=정책 예측
3.2 단어 난이도 및 공손함 분석
단어 난이도 (Word Complexity)
- 어린이, 성인 및 공식/비공식 상황별 시스템 응답의 어휘 난이도를 분석(Figure 5).
- Gunning Fog Scale(교육 연수 기준) 사용, 평균 6.2년 이상의 교육 필요.
- 어린이 대상 응답: 5.2년
- 성인 대상 응답: 6.17년
- 사용자 연령에 따라 적절한 난이도 조절이 이루어짐.
공손함(Politeness)
- 문장 당 평균 공손 전략 수를 측정. 점수가 높을수록 공손함이 큼.
- PicPersona-TOD 전체 공손 점수: 13.2
- 공식적 상황: 14.6, 비공식적 상황: 12.8
- 어린이 대상: 10.0, 성인 대상: 14.2
- 사용자 컨텍스트에 맞춰 공손도 조절 능력 확인됨.
3.3 감정 인식 및 반응
- Table 2는 MultiWoZ와 PicPersona-TOD 시스템 응답 내 감정 분포를 GoEmotions(27개 감정 범주, GPT-4 분류기 사용) 기준으로 비교.
- 중립감정 비율:
- MultiWoZ: 74.97%
- PicPersona-TOD: 61.50% (더 낮아 감정 반응이 풍부함)
- 사용자 감정 상태(이미지 기반)에 따라 시스템 반응 감정 유형 분석:
- 긍정 감정 사용자 반응 시: 기쁨(joy), 감사(gratitude) 등 다양한 감정 표현 증가.
- 중립 또는 부정 감정 사용자 반응 시: 중립감정이 많고 공감(empathy), 배려(care) 강조.
| 감정 유형 | MultiWoZ (%) | PicPersona-TOD (%) | PicPersona-TOD (긍정 사용자) (%) | PicPersona-TOD (중립/부정 사용자) (%) |
|---|---|---|---|---|
| 중립 (neutral) | 74.97 | 61.50 | 44.66 | 66.69 |
| 호기심 (curiosity) | 9.18 | 11.79 | 11.65 | 11.84 |
| 승인 (approval) | 3.56 | 8.65 | 16.51 | 5.90 |
| 감사 (gratitude) | 6.31 | 6.52 | 7.77 | 6.10 |
| 기대 (optimism) | 1.26 | - | 1.88 | 1.36 |
| 흥분 (excitement) | 0.69 | 1.88 | 4.86 | 0.35 |
| 실망 (disappointed) | - | - | - | 0.57 |
| 배려 (caring) | - | - | - | 2.54 |
| 혼란 (confusion) | 0.57 | - | - | 0.38 |
- 요약: PicPersona-TOD는 더 감정 풍부한 반응을 보이며, 사용자 감정에 따라 세밀한 대응 가능함.
4 Human Evaluation
-
4.1 Evaluation for Quality
- 사용자 만족도를 평가하기 위해 개인화 스타일과 정보 유지 정도에 초점을 맞춘 휴먼 평가 수행.
- 세 명의 평가자가 무작위로 선택된 100개의 대화를 4점 리커트 척도로 5가지 질문(부록 G 참고)을 통해 평가.
- 평가 결과 (평균 점수):
- 사용자 스타일 적합성: 3.89
- 사용자 의미 일관성: 3.90
- 시스템 스타일 개인화: 3.69
- 시스템 의미 일관성: 3.87
- 전반적인 사용자 만족도: 3.76
- 평가자 간 일치도는 Krippendorff’s Alpha로 0.85로 매우 높음.
- 평가 결과는 PicPersonaTOD가 다음 기준을 충족함을 확인:
- 사용자와 이미지 간의 일관성
- 개인화된 시스템 응답 제공
- 원본 정보 유지
- 동일 평가를 GPT-4에 적용한 결과, 인간 평가자와 높은 상관관계(0.84)를 보임(부록 G.1).
-
4.2 Other Personalization Methods
- PicPersona-TOD를 기존의 텍스트 기반 개인화 방법 2가지와 비교 평가:
- Liu et al. (2024b): 사용자 명사 및 동사구를 반영하여 개인화
- Joshi et al. (2017): 나이 및 성별 정보를 바탕으로 개인화
- 120개의 다양한 시나리오 대화를 무작위 샘플링하여 3명의 인간 평가자가 개인화 품질 기준으로 우수 방식을 평가(부록 G.2).
- 결과 (승률 %): | 사용자 시나리오 | Liu et al. (2024b) | Joshi et al. (2017) | PicPersona-TOD | Tie | |—————-|——————–|———————|—————-|—–| | 전체 평균 | 2.22 ~ 4.17 (낮음) | 4.04 ~ 16.05 | 67.22 ~ 92.93 | 6.06 ~ 33.33 |
- PicPersona-TOD는 다양한 사용자 시나리오에서 텍스트 기반 방법보다 consistently 우수한 결과를 보여줌.
- 이는 이미지 기반 페르소나가 텍스트 기반 페르소나보다 개인화에 더 풍부하고 즉각적인 영향을 준다는 점 강조.
- 평가자 선호에 영향을 미치는 주요 요소 (그림 7 및 표 3 참고):
- 모든 연령대에서 적절한 존댓말(형식성)이 가장 두드러진 개인화 요소임.
- 아동 및 긍정적 상황에서는 맞춤형 인사가 개인화 느낌을 강화.
- 중립 및 부정적 환경에서는 감정 인지가 개인화 경험 형성에 핵심 역할.
- PicPersona-TOD를 기존의 텍스트 기반 개인화 방법 2가지와 비교 평가:
5 Baselines
- 본 섹션에서는 개인화된 응답 생성을 위한 PicPersona-TOD 데이터셋 기반의 NLG(Natural Language Generation) 베이스라인인 Pictor를 소개함.
- 또한 DST(Dialogue State Tracking)와 정책 예측(policy prediction) 모델도 제공하여 다른 데이터셋과의 비교를 가능하게 함.
5.1 NLG 베이스라인
- PicPersona-TOD 데이터셋을 활용해 멀티모달 TOD 응답 생성 모델 Pictor(그림 8)를 개발함.
- Pictor는 사용자 이미지와 대화 컨텍스트를 이용하여 개인화된 응답 \(\tilde{s}_i\)을 생성함.
- turn \(t\)에 대한 입력은
- 현재 대화 진행 단계(시작, 중간, 끝)
- 사용자의 발화 \(\tilde{u}_t\)
- 대화 정책 \(pol_t\)
- 데이터베이스 결과 \(DB_t\)
- 사용자 이미지 \(Img_i\)
- PicPersona-TOD 데이터셋 구축 과정과 유사하게, 먼저 사용자의 인상을 생성하고 그 인상에 기반하여 개인화된 응답 \(\tilde{s}_i\)를 생성함.
- Pictor는 다양한 비전-언어 태스크에서 우수한 성능을 보이는 LLaVA 7B (Li et al., 2023a)와 1.5B (Zhou et al., 2024) 모델을 기반으로 함.
- LoRA(Hu et al., 2021) 어댑터(랭크 16)를 이용해 Pictor 모델을 학습함.
- 상세 내용은 부록 D에 기술되어 있음.
5.2 DST 및 정책 예측 베이스라인
- PicPersona-TOD 데이터셋은 DST와 정책 예측 등 다양한 TOD 태스크를 지원함.
- 해당 태스크들의 베이스라인으로 PPTOD 모델(Su et al., 2021)을 사용했고, T5-base 및 T5-small(Raffel et al., 2020) 버전으로 DST 및 정책 예측 모델을 학습함.
- DST 태스크에서 turn \(t\)의 입력은 다음과 같이 구성됨: \(Input_{DST,t} = [\tilde{u}_1, \tilde{s}_1, \tilde{u}_2, \tilde{s}_2, \ldots, \tilde{u}_t]\)
- DST의 출력은 슬롯-값 쌍(예: hotel-name: Green Hotel)으로 표현됨.
- 정책 예측 태스크에서 turn \(t\)의 입력은 DST 예측 결과를 추가하여 다음과 같이 구성됨: \(Input_{POL,t} = [\tilde{u}_1, \tilde{s}_1, \tilde{u}_2, \tilde{s}_2, \ldots, \tilde{u}_t, DST_t]\)
- 정책 예측 모델은 추가 정보 요청(예: Request-restaurant-foodtype)과 같은 적절한 시스템 액션을 생성함.
6 Baseline Evaluation
-
6.1 다른 LLM들과의 비교
- Pictor 7B 모델을 Llama3-8b, LLaVA 7B, InstructBLIP 7B, GPT-4o-mini와 비교함.
- 평가 데이터는 100개의 대화 샘플이며, GPT-4가 평가 수행.
- 결과: Pictor는 모든 카테고리에서 개인화 품질 면에서 다른 sLLM보다 우수.
- GPT-4o-mini(파라미터 수가 더 많음으로 추정)보다도 중립/부정 케이스를 제외하고 대부분 더 좋은 성능을 보임.
- PicPersona-TOD 등 개인화에 특화된 데이터셋의 중요성 강조.
-
6.2 일반화 성능 평가
- SGD 데이터셋의 BUS, MOVIE, HOME 도메인(미포함 훈련 데이터)에서 인간 평가 시행.
- 각 도메인마다 100개 대화 샘플링 후 제로샷 추론 및 4점 Likert 척도(3인 평가자)로 평가.
- 평가 항목: Domain Naturalness, Fluency, Personalize, Semantic, User Satisfaction.
- 결과 (표 4)에서 도메인별 평균 점수는 대략 3.5 이상으로, 높은 개인화 및 사용자의 만족도(최대 4점 만점 근접) 달성.
- 두 개의 대규모 TOD 데이터셋 활용으로 넓은 도메인 커버리지 및 강한 일반화 능력 확보.
Domain Natural Fluency Personalize Semantic User Satisfaction BUS 3.67 3.79 3.51 3.78 3.70 MOVIE 3.72 3.79 3.58 3.82 3.81 HOME 3.90 3.96 3.78 3.93 3.88 -
6.3 Pictor에 대한 Ablation Study
- Pictor 생성 성능에 대한 다양한 구성요소 영향 분석.
- 평가 지표: Input BLEU, Style, Semantic, Overall GPT-4 평가.
- 구성 요소:
- Pol + DB: 기본 개인화 및 대화기반
- ˜u: 사용자 임베딩 추가
- Img: 사용자 이미지 추가
- Imp: 인상(impression) 문장 생성 포함 (최종 Pictor 구성)
- 결과:
- 인상을 생략하면 BLEU 점수 상승하지만, 인상을 포함하면 개인화 품질이 크게 향상됨.
- 대형 모델에서는 Style 점수가 인상 포함 시 3.48에서 3.51로 증가.
- 결과 표 (일부, BLEU 및 GPT-4 평가 평균):
Model / Component BLEU Style Semantic Overall LLaVA 1.5B Pol + DB 8.75 2.71 2.95 2.60 + ˜u 14.28 3.15 3.52 3.1 + Img 16.18 3.47 3.74 3.41 + Imp (Pictor) 14.96 3.47 3.76 3.41 LLaVA 7B Pol + DB 15.46 3.00 3.49 2.99 + ˜u 20.21 3.18 3.63 3.22 + Img 22.01 3.48 3.82 3.50 + Imp (Pictor) 20.77 3.51 3.89 3.53 -
6.4 DST 및 Policy 추론 결과
- PicPersona-TOD 데이터셋의 정보 정확도를 DST(Dialog State Tracking) 및 Policy 모델(T5-small, T5-base)로 평가.
- MultiWOZ 데이터셋과 비교하여 대부분 지표에서 유사한 성능 달성.
- 주요 지표: DST 정확도, Policy JGA, 여러 도메인별 성능 등.
- 차이가 작고 일관된 성능으로 개인화가 포함된 복잡한 데이터셋임에도 불구하고 정보 정확도가 유지됨을 확인.
Dataset DST Policy JGA Restaurant Hotel Attraction Train Taxi Entity-F1 T5-small MultiWOZ 47.17 83.0 79.6 86.4 88.7 94.5 46.18 T5-small PicPersona-TOD 49.18 83.8 80.4 88.3 88.9 96.3 41.26 Difference (△) +2.01 +0.8 +0.8 +1.9 +0.2 +1.8 -4.92 T5-base MultiWOZ 49.81 85.9 79.5 88.1 88.3 94.7 44.19 T5-base PicPersona-TOD 47.55 84.8 79.5 87.7 86.5 96.0 46.57 Difference (△) -2.26 -1.1 0.0 -0.4 -1.8 +1.3 +2.38 - 결론:
- PicPersona-TOD 데이터셋은 사용자 및 시스템 개인화를 포함한 복잡성을 지니지만, MultiWOZ와 대등한 정보 정확도를 보유.
- 이는 개인화된 TOD 시스템 개발에 있어 신뢰할 만한 데이터셋임을 시사.
7 Related Works
- TOD 데이터셋의 발전
- Task-oriented dialogue (TOD) 시스템 연구가 오래전부터 진행되어 왔으며 초창기 데이터셋으로는 ATIS (Hemphill et al., 1990), WOZ2.0 (Wen et al., 2016), DSTC2 (Henderson et al., 2014) 등이 있음.
- 이러한 초기 데이터셋은 단일 도메인에 제한적이었음.
- 이후 M2M (Shah et al., 2018), MultiWOZ (Budzianowski et al., 2018), SGD (Rastogi et al., 2020), ABCD (Chen et al., 2021) 등의 다중 도메인 데이터셋이 등장하여 정확도는 향상되었으나 사용자 만족도를 간과하는 경우가 많았음.
- 최근 연구들은 대화 내 잡담(chitchat) 통합 (Sun et al., 2020; Young et al., 2022; Stricker and Paroubek, 2024), 시스템 응답 내 상세 설명 제공 (Kim et al., 2023; Qian et al., 2021), 사용자 감정 상태 반영 (Abolghasemi et al., 2024; Feng et al., 2024) 등을 통해 사용자 경험을 개선하고자 함.
- 개인화(personalization)에 관한 연구는 적으며, 나이·성별(Joshi et al., 2017) 또는 언어 패턴(Liu et al., 2024b)을 포함하는 시도가 있었음.
- 감정 상태 포함 연구도 있지만(Lin et al., 2023; Feng et al., 2024), 본 연구는 풍부하고 동시적인 정보를 제공하는 비전(visionary) 페르소나를 도입하여 사용자 만족도를 더욱 향상시킴.
- 대화에 페르소나 통합
- 개인화된 대화 시스템은 주로 텍스트 정보를 기반으로 개발되어 왔음.
- 페르소나 생성 방법으로는 내러티브 문장(Zhang et al., 2018b; Zhong et al., 2020), 키-값 쌍 사전(Qian et al., 2017; Zheng et al., 2019), 사용자 리뷰 이력(Kim et al., 2024) 등이 있음.
- 최근에는 사용자 이미지 등 멀티모달 정보를 활용한 접근법이 대두됨(Ahn et al., 2023; Lee et al., 2024b; Agrawal et al., 2023).
- 본 연구는 이러한 발전을 바탕으로 TOD 데이터셋에서 사용자 이미지를 페르소나의 주요 근거로 활용하는 새로운 방법을 제안하여 맥락에 보다 적합하고 개인화된 응답을 가능하게 함.
- 증류된 LLM을 이용한 데이터 생성
- 대화 데이터 수집은 프라이버시 문제, 높은 비용, 여러 참여자의 필요성 등으로 인해 어려움이 있음.
- 이를 해결하기 위해 많은 연구에서 LLM(대형 언어 모델)을 데이터셋 생성에 활용함.
- 예시로는 시드 대화 컴파일(Ahn et al., 2023; Kim et al., 2022b), 사회적 이벤트 그래프 구축(Kim et al., 2022a), 장기 대화 생성(Jang et al., 2023) 등이 있음.
- 이외에도 상식에 근거한 대화(Chae et al., 2023), 친사회적 대화(Kim et al., 2022b), TOD 발화 생성(Kulkarni et al., 2024) 등이 있음.
- LLM 기반 데이터셋은 비용 효율적이고 다양성이 높으며 인간이 수집한 데이터셋보다 선호되는 경향이 있음(Kim et al., 2022a; Lee et al., 2024b, 2021).
- 본 연구는 LLM을 활용하여 개인 맞춤형이고 프라이버시를 고려한 다양한 사용자 시나리오를 생성함.
- 참고 수식 예시:
- 확률 분포 비교 등에 사용되는 수식 형태로는 \(p(x) \vert\vert q(x)\) 와 같이 \(\vert\vert\) 기호를 활용할 수 있음.
(본문에서는 특정 수식이 없으나, 요약 시 혹시 필요한 경우 표시 방법 참고)
- 확률 분포 비교 등에 사용되는 수식 형태로는 \(p(x) \vert\vert q(x)\) 와 같이 \(\vert\vert\) 기호를 활용할 수 있음.
8 Conclusion
- 본 논문에서는 사용자 시각적 페르소나에 기반한 시스템 응답을 개인화하는 새로운 데이터셋인 PicPersona-TOD를 소개함.
- PicPersona-TOD는 인사, 나이, 정중함, 감정 등 개인화된 응답을 포함함.
- 사용자 만족도 실험을 통해 PicPersona-TOD가 원래 정보는 유지하면서 개인화를 향상시킴을 입증함.
- NLG (Pictor), DST, 정책 예측을 포함하는 베이스라인 모델을 제안하고 분석함.
- 실험 결과, 제안한 방법이 다른 중요한 작업의 성능 저하 없이 개인화를 향상시킴을 확인함.
- 본 연구는 다중모달 사용자 페르소나를 활용한 개인화된 TOD 연구를 진전시키며, 보다 자연스럽고 인간적인 상호작용을 가능하게 함.
Limitations
- 직접적인 벤치마크 비교의 부재
- 기존 LLM 기반 데이터셋(예: 오픈 대화용, 이미지 전송용)들은 전통적인 인간 제작 테스트 셋과 직접 비교되어 실제적 이점을 입증함.
- 그러나 본 연구의 TOD(Task-Oriented Dialogue) 데이터셋은 사용자 페르소나를 포함하는 전통적인 인간 제작 데이터셋이 존재하지 않음.
- TOD 데이터셋 제작은 오픈 대화 데이터셋 대비 훨씬 더 많은 노력과 높은 라벨링 비용 요구.
- 이에 따라 표준 데이터셋과의 직접 비교가 불가능함.
- 대안적 평가 방법
- 대신, Section 6.1에서 대규모 비전-텍스트 데이터셋으로 학습된 주요 비전-LLM 모델들과의 개인화 성능을 비교 평가함.
- GPT-4 평가를 사용하여 성능을 측정한 결과, 본 데이터셋으로 학습된 모델에 강한 선호도를 보임.
- 시사점
- 전통 TOD 벤치마크와의 직접 비교는 아니지만, 개인화에 특화된 데이터셋(PicPersona-TOD)의 중요성을 강조하는 유효한 대안임을 제시함.
독자의견
- 본 논문은 비전 기반 사용자 페르소나를 Task Oriented Dialogue (TOD)에 도입하여 더욱 자연스럽고 인간다운 상호작용을 가능하게 함.
- 또한 기존의 텍스트 기반 한계를 극복하며, 개인화된 대화 시스템 연구를 한 단계 끌어올림.
- 내가 생각할 때 논문의 한계점으로는:
- PicPersona-TOD 데이터셋이 기존의 인간 제작 데이터셋과 직접 비교되지 않아, 그 성능을 객관적으로 평가하기 어려운 점이 있음.
- 또한, LLM 기반 데이터셋의 특성상, 특정 도메인이나 상황에 대한 일반화 능력이 제한적일 수 있음.
- 마지막으로, 사용자 페르소나의 다양성을 충분히 반영하지 못할 가능성이 있어, 다양한 사용자 유형에 대한 연구가 필요함.
Comments