NSA는 알고리즘·하드웨어 최적화를 결합한 natively trainable 희소 어텐션으로, 토큰을 거칠게 압축한 뒤 세밀히 선택하는 동적 계층적 전략으로 전역 맥락과 국소 정밀도를 동시에 보존합니다. 연산 집약도 균형 설계와 엔드투엔드 학습으로 사전학습 비용을 줄이면서도 Ful...
이 논문은 대형 언어 모델의 정렬 파인튜닝이 실제로 견고한 효과를 가지는지 이론적·실험적으로 처음으로 조사한다. 실험을 통해 정렬된 후에도 모델이 사전학습 분포로 되돌아가려는 ‘엘라스티시티’를 확인하고, 압축 이론으로 파인튜닝이 정렬 효과를 더 크게 약화시킬 수 있음을 보이며, 모...
이 논문은 타인의 비관측적 인지 제약을 모델링해 복잡한 사회적 상호작용의 행동 예측을 단순화할 수 있으며, 이를 마음 이론과 게임 이론의 연결으로 설명한다. 또한 내성(내적 성찰)과 마음 이론의 관계를 밝히고 생물학적·인공지능 에이전트의 대인관계 모델링에서 게임 이론의 역할을 논의...
본 논문은 알고리즘 공정성을 색맹적(집단 차이를 무시하는) 차별 회피에 의존하기보다 맥락에 따라 그룹 간 차이를 인지하는 차이 인식(diff awareness)을 제안한다. 설명적/규범적/상관적 벤치마크를 구분하고 여덟 가지 시나리오로 구성된 16k개 질문의 벤치마드를 통해 차이 ...
본 연구는 LLM이 자율 의사결정에서 방대한 행동 공간의 옵션을 샘플링하는 휴리스틱이 인간의 의사결정과 유사하게 Descriptive(통계적 규범)와 Prescriptive(내재된 이상적 규범)로 구성됨을 보여주고, 이러한 규범의 편향이 공중보건·경제 동향 등 다양한 현실 도메인에...