[논문리뷰] Aligning Medical Images with General Knowledge from Large Language Models (MICCAI 2024)
요약: ViP는 시각 증상 생성기와 이중 프롬프트 네트워크를 활용하여 대형 비전-언어 모델인 CLIP로부터 일반 지식을 전이하여 의료 영상 분석을 개선하는 새로운 프롬프트 학습 프레임워크를 제안하며, 실험 결과 두 개의 어려운 데이터셋에서 최첨단 방법을 능가함을 보여줍니다.
Recent Posts
[논문리뷰] You Don’t Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers’ Private Personas (NAACL 2022)
요약: 대규모 사전 학습 언어 모델을 사용하는 소셜 챗봇에서 사용자 정보 유출 문제가 발생하며, 이를 해결하기 위해 챗봇의 숨겨진 상태로부터 사용자 인격 유출을 방지할 수 있는 효과적인 방어 목표를 제안하고, 실험을 통해 공격 정확도를 크게 감소시킬 수 있음을 입증하였다.
[논문리뷰] Towards Personalized Dialogue Without Pre-defined Profiles through In-Dialogue Learning (EMNLP 2024)
요약: 이 논문은 사전 정의된 프로필 없이 대화 내에서 페르소나 정보를 학습하는 IDL(In-Dialogue Learning) 프레임워크를 제안하며, 이를 통해 BLEU와 ROUGE 점수가 각각 최대 200%, 247% 향상됨을 보여줌.
[논문리뷰] Long Context Transfer from Language to Vision (ArXiv)
요약: 이 논문은 언어 모델의 컨텍스트 길이를 확장하여 기존의 대형 멀티모달 모델이 긴 비디오를 이해할 수 있도록 하는 방법을 제안하며, 이를 통해 LongVA라는 새로운 비디오 어시스턴트를 개발하여 2000프레임 이상의 비주얼 토큰을 처리할 수 있음을 보여줍니다.
[논문리뷰] SoulChat: Improving LLMs’ Empathy, Listening, and Comfort Abilities through Fine-tuning with Multi-turn Empathy Conversations (EMNLP 2023 Findings)
요약: 대용량 언어 모델(LLM)이 심리 상담 분야에 적용될 때, 사용자에게 공감과 신뢰를 제공하는 것이 중요하다는 점을 강조하며, 이를 위해 다중 회차 공감 대화 데이터셋을 구축하고, 실험을 통해 LLM의 공감 능력을 향상시킬 수 있음을 보여주었다.