DEVOCEAN

정확하게 답하는 능력만큼 중요한, 답하지 않을 줄 아는 능력

이 글은 사내 본부 세미나에서 다룬 두 편의 논문

— AbstentionBench(Kirichenko et al., FAIR at Meta, arXiv:2506.09038)와 RefusalBench(Muhamed et al., CMU & Amazon AGI, arXiv:2510.10390) — 를 바탕으로,

"LLM이 모를 때 모른다고 말하는 능력"이라는 한 가지 주제를 다시 정리한 리뷰입니다.

들어가며: 강아지에게 약을 얼마나 먹여야 할까

질문 하나로 시작해 보겠습니다.

"우리 강아지가 5mg/kg Prednisone을 처방받았어요. 얼마나 먹여야 하나요?"

이 질문에 LLM이 "하루 50mg 처방하시면 됩니다"라고 답한다면, 용량을 얼마로 답했건 그건 틀린 답입니다.

정확히는, 틀릴 수밖에 없는 답입니다. 5mg/kg은 체중당 용량이고, 강아지의 체중이 주어지지 않았으니까요.

올바른 응답은 답을 내놓는 것이 아니라 "강아지의 체중을 알려주셔야 답할 수 있어요"라고 되묻는 것입니다.

이 사소해 보이는 예시가 중요한 이유는, 우리가 LLM을 평가할 때 거의 항상 정확하게 답하는 능력만 본다는 데 있습니다.

정답률, accuracy, 벤치마크 점수. 하지만 현실의 사용자 질문은 종종 정보가 부족하거나(underspecified), 잘못된 전제를 깔고 있거나(false premise), 애초에 정답이 존재하지 않습니다(unanswerable).

이런 질문에 대해 신뢰할 수 있는 모델이 보여야 할 행동은 "정답을 맞히는 것"이 아니라 답하지 않을 줄 아는 것입니다.

이 능력을 abstention(기권·회피)이라고 부릅니다. 그리고 우리가 이번에 살펴본 두 논문이 공통적으로 던지는 메시지는 단순하면서도 불편합니다.

현재의 LLM은, 심지어 최신 reasoning 모델조차도, 이걸 아직 잘 못합니다.

1부. Abstention이란 무엇이고, 왜 별도의 능력인가

정확도와 abstention은 다른 축이다

먼저 직관을 하나 깨야 합니다.

"모델이 똑똑해지면, 즉 정확도가 오르면, 모를 때 모른다고 말하는 것도 자연히 잘하게 되지 않을까?" 자연스러운 기대지만, 두 논문 모두 이 가정이 충분하지 않음을 데이터로 보여줍니다.

abstention은 정확도와 별도의 축입니다.

정확하게 답하는 것은 "내가 아는 것을 잘 꺼내는 능력"이고, abstention은 "내가 모른다는 것, 혹은 이 질문 자체에 문제가 있다는 것을 인식하는 능력"입니다.

후자는 답을 생성하는 능력이라기보다, 증거와 불확실성에 대해 추론하는(reason about uncertainty) 능력에 가깝습니다.

먼저, 용어를 한번 정리하고 가겠습니다.

abstention은 hallucination의 반대편에 가깝습니다.

환각이 "정보가 없는데 답을 만들어내는" 실패라면, abstention은 "정보가 없을 때 답을 만들어내지 않는" 올바른 행동입니다.

Abstention이 필요한 상황은 한 종류가 아니다

여기서 두 논문이 갈라집니다. 둘 다 "모를 때 답하지 않기"를 다루지만, 바라보는 상황이 다릅니다.

AbstentionBench는 답하기 어려운 사용자 질문을 6가지 시나리오로 나눕니다.

• Answer Unknown — 정답이 알려지지 않은 질문 (예: "2050년 올림픽 개최지는?")

• False Premise — 잘못된 전제에 기반한 질문 (예: "날개 달린 표범은 새보다 빠른가?")

• Stale — 사전학습 이후 바뀐 정보 (예: 최근 영화의 평점)

• Subjective — 주관적 판단이 필요한 질문 (예: "가장 위대한 발명가는?")

• Underspecified Context — 맥락에 핵심 정보가 빠진 경우

• Underspecified Intent — 사용자 의도가 불분명한 경우

RefusalBench는 한발 더 들어가, RAG(검색 증강 생성) 시스템에서 모델에게 주어진 context에 결함이 있는 경우를 다룹니다.

• Ambiguity — context가 여러 해석을 허용 (예: "the bat"이 야구 배트인지 박쥐인지)

• Contradiction — context 내 논리적 모순 (예: 매출이 $10M이자 동시에 $12M이라고 적혀있는 경우)

• Missing Info — 답하는 데 필요한 핵심 정보가 맥락에 아예 없는 경우 (예: CEO 이름이 context에 부재)

• False Premise — 질문이 맥락에 의해 반박되는 전제 위에 구축된 경우 (예: 존재하지 않는 "Mars 사업부")

• Granularity — 정밀도 불일치 (예: 2명의 자료로 50명 평균을 계산)

• Epistemic — 사실만 있는데 주관적 판단을 요구

두 논문을 함께 읽으면 풍경이 입체적으로 보입니다.

거칠게 요약하면, AbstentionBench는 사용자 질문 자체가 답하기 어려운 경우 전반을 다루고,

RefusalBench는 RAG 환경에서 주어진 근거 context에 결함이 있을 때 모델이 답을 거부할 수 있는지를 다룹니다.

그리고 둘 다, 모델이 이 "이상함"을 인지하지 못한 채 자신만만하게 답해버리는 장면을 반복적으로 포착합니다.

2부. 세 가지 불편한 발견

두 논문의 결론은 놀라울 정도로 겹칩니다. 우리는 이를 세 가지 메시지로 묶어 보았습니다.

발견 1 — Scale은 답이 아니다

가장 먼저 깨지는 기대는 "더 큰 모델을 쓰면 해결된다"는 가정입니다.

AbstentionBench는 Llama 3.1을 8B부터 405B까지 비교했지만, 모델 크기 증가가 abstention 성능에 거의 영향을 주지 않았다고 보고합니다.

GPT-4o·o1·Gemini 1.5 Pro 같은 frontier 모델도 훨씬 작은 Qwen 2.5 32B나 Llama 3.1 8B와 비슷한 수준이었고, 최고 모델조차 평균 abstention recall이 70% 안팎에 머물렀습니다.

일부 데이터셋(MediQ)에서는 거의 0%에 가까웠습니다.

RefusalBench도 같은 신호를 보냅니다.

Qwen을 0.5B에서 72B까지 키워도 refusal 정확도는 매우 낮은 수준에서 정체했고, answer 정확도가 스케일에 따라 상승하는 것과 다른 궤적을 보였습니다.

심지어 Claude-4-Sonnet에 thinking token을 0에서 4096까지 추가해도 refusal 향상은 1%포인트 미만이었습니다.

RefusalBench는 이를 두고 두 능력이 독립적인 학습 메커니즘을 가진다고 해석합니다.

메모. 이 발견이 실무적으로 중요합니다. 신뢰성 문제를 만나면 "더 좋은 모델로 갈아타자"가 거의 반사적인 첫 대응이 되는데, abstention에 관한 한 꼭 그렇지는 않기 때문입니다.

모델 선택이 아니라 학습·정렬·평가 설계의 문제로 접근해야 합니다.

발견 2 — Reasoning fine-tuning이 abstention을 오히려 망가뜨린다

이 발견이 가장 반직관적입니다.

reasoning 모델은 증거를 단계적으로 연결해 결론에 도달하도록 학습됩니다.

그렇다면 "이 질문은 정보가 부족하니 답할 수 없다"는 판단도 더 잘하게 될 것 같습니다. 하지만 AbstentionBench의 측정 결과는 정반대였습니다.

DeepSeek R1 Distill(Llama 70B 기반)과 s1.1(Qwen 2.5 32B 기반)을 각자의 비-reasoning 원본 모델과 비교했을 때, reasoning 모델은 평균 24% 낮은 abstention을 보였습니다.

더 충격적인 것은, 이 하락이 reasoning 모델이 명시적으로 학습한 수학·과학 도메인(GSM8K-Abstain, GPQA-Abstain, MMLU-Math-Abstain, UMWP)에서도 똑같이 나타났다는 점입니다.

AbstentionBench는 Tülu 3의 post-training 체크포인트들을 단계별로 뜯어보며 원인을 더 좁힙니다.

SFT와 DPO 단계까지는 abstention이 대체로 개선되지만, verifiable reward로 학습하는 RLVR 단계에서 abstention이 퇴화합니다.

정답이 명확한 보상 신호에 최적화하는 과정이 "불확실성을 인정하는" 행동에 부정적 영향을 줄 수 있다는 것입니다.

RefusalBench는 여기서 한 가지 위안을 줍니다.

RefusalBench가 OLMo-2를 대상으로 측정한 결과, DPO 기반 alignment는 모든 스케일에서 refusal 정확도를 개선했고, answer accuracy도 평균적으로 개선되는 경향을 보였습니다.

즉 abstention/refusal은 "학습 불가능한 능력"이라기보다, 어떤 방식으로 정렬하느냐에 민감한 능력에 가깝습니다.

정답이 명확한 보상 신호에만 최적화하면 약해질 수 있지만, 정렬 방식을 달리하면 다시 끌어올릴 여지가 있다는 뜻입니다.

메모. "reasoning 모델 = 더 신뢰할 수 있는 모델"이라는 가정이 있지만, 적어도 abstention 축에서는 성립하지 않습니다.

reasoning 도입을 검토 중이라면, 정확도 향상의 대가로 reliability를 일부 내주고 있는 것은 아닌지도 함께 봐야 합니다.

발견 3 — 더 오래 생각하게 하면 더 나빠질 수 있다

발견 2의 연장선입니다. AbstentionBench는 s1.1의 reasoning token budget을 512에서 4096까지 늘려가며 측정했습니다. 결과는 깔끔하게 엇갈립니다.

• reasoning token ↑ → 정확도 ↑

• reasoning token ↑ → abstention ↓

test-time scaling, 즉 "더 오래 생각하게 만들기"는 정답이 있는 문제에서는 효과적이지만, 답할 수 없는 문제에서는 오히려 모델을 더 자신만만하게 만들 수 있습니다.

왜일까요? AbstentionBench가 제시하는 정성적 관찰이 인상적입니다. reasoning chain 내부를 들여다보면 모델은 분명 의심을 표현합니다.

"잠깐, 이 문제는 사다리의 길이가 안 주어졌는데?" 같은 문장이 사고 과정 중에 등장합니다. 그런데 최종 답변은 결국 단정적입니다. 빠진 값을 임의로 채워 넣고 "정답: X"로 마무리합니다.

논문의 UMWP 예시가 이를 잘 보여줍니다.

"Edric은 하루에 many hours 일한다"는 의도적으로 모호한 문제에서, 모델은 'many hours'를 슬그머니 '8시간'으로 가정하고 시급을 계산해 버립니다.

속으로는 의심하지만, 겉으로는 단정하는 것입니다.

AbstentionBench의 가설은 reward misspecification입니다.

verifiable reward로 학습된 모델은 "확실하고 단정적인 답"을 내놓도록 보상받았고, 그래서 아무리 오래 생각해도 "불확실성을 인정하는" 방향으로는 가지 않을 수 있다는 것입니다.

3부. 모델은 왜 이렇게 행동하는가 — RefusalBench의 진단

RefusalBench는 "왜"에 대해 한 단계 더 깊은 분석을 제공합니다.

두 가지 관찰이 특히 곱씹을 만합니다.

Refusal은 사실 두 개의 분리된 능력이다

RefusalBench는 refusal을 두 하위 능력으로 쪼갭니다.

• Detection — 언제 거부해야 하는가 (이 질문에 답하면 안 된다는 판단)

• Categorization — 왜 거부해야 하는가 (모순 때문인지, 정보 부족인지, 잘못된 전제인지)

측정 결과 모델들은 보통 한쪽만 잘합니다. 예컨대 GPT-4o는 detection은 비교적 일관되지만 category 정확도가 낮습니다.

거부할 타이밍은 어느 정도 알지만, 왜 거부해야 하는지는 정확히 구분하지 못하는 것입니다.

Claude-4-Sonnet은 두 능력을 동시에 어느 정도 갖춘 사례로 보이지만, 그조차 refusal accuracy가 70%대에 그칩니다.

즉 "잘 거부하는 모델"조차 아직 완성 단계는 아닙니다.

이유는 그럴듯합니다.

detection은 "모순되는 단어", "정보 부재" 같은 표층 신호만으로도 가능하지만, categorization은 결함의 유형을 정확히 식별해야 하므로 더 깊은 이해를 요구합니다.

어려운 케이스는 전부 "정보 부족"으로 떠밀린다

가장 날카로운 관찰입니다.

RefusalBench는 모델이 어려운 케이스를 만나면 결함의 유형을 제대로 분류하지 않고 그냥 "정보 부족(missing info)"으로 떠넘기는 패턴을 발견합니다.

전체 예측의 25%가 이 범주로 쏠리는, 일종의 universal attractor였습니다.

정밀도 불일치(granularity) 케이스의 82%, 잘못된 전제 케이스의 40%, 주관적 질문의 36%가 "정보 부족"으로 오분류됐습니다.

이건 진짜 이해라기보다 보수적인 default 전략에 가깝습니다.

"잘 모르겠으면 정보가 부족하다고 해두자"는 식의 행동인데, 보수적이긴 해도 사용자에게 informative하지는 않습니다.

매출 데이터가 서로 모순된다는 사실과, 매출 데이터가 아예 없다는 사실은 사용자에게 전혀 다른 의미를 갖기 때문입니다.

4부. 그래서 무엇을 할 수 있나

두 논문 모두 "그냥 안 된다"로 끝나지 않고 실마리를 제시합니다.

응급처치: System prompt

AbstentionBench는 "답이 불확실하면 추측하지 말고 모른다고 답하라, 질문이 모호하면 가정하지 말고 사용자에게 명확화를 요청하라"는 취지의 system prompt를 테스트했습니다.

효과는 있었습니다. 일반 모델과 reasoning 모델 모두에서 abstention이 올라갔습니다.

다만, 이건 실용적 처방이지, 근본 해결이 아닙니다. 모델이 불확실성을 추론하는 능력 자체가 없는 상태는 그대로이기 때문입니다.

system prompt는 증상을 누를 뿐 병을 고치지는 못합니다.

근본 처방: Alignment와 데이터

더 의미 있는 방향은 RefusalBench가 가리킵니다.

DPO 같은 alignment 과정이 refusal을 개선했다는 결과는, abstention이 명시적으로 학습 가능한 목표일 수 있음을 보여줍니다.

AbstentionBench도 같은 곳을 가리킵니다.

underspecified·결함 있는 입력 예시를 SFT 단계에 더 많이 넣고, RLVR 보상 설계를 "불확실성 인정"을 깎아내리지 않도록 다시 설계해야 한다는 것입니다.

핵심은 abstention/refusal을 별도의 평가·학습 목표로 명시하는 것입니다. 정확도만 보상하면 모델은 정확도만 최적화하고, abstention은 부수적으로 희생될 수 있습니다.

평가 방법론도 진화해야 한다

RefusalBench가 던지는 메타적 메시지도 짚을 만합니다. RefusalBench는 고정된 데이터셋만이 아니라 데이터 생성 프레임워크를 제안합니다.

정적 벤치마크는 시간이 지나면 contamination(학습 데이터 오염)과 overfitting으로 무력화될 수 있기 때문입니다.

이는 AbstentionBench 저자들도 스스로 한계로 인정한 부분, 즉 공개 데이터만 쓰기에 시간이 지나면 점수가 부풀려질 수 있다는 점과 맞닿아 있습니다.

마치며: 우리 팀에게 던지는 질문들

두 논문을 함께 읽고 나면, "LLM이 똑똑한가"라는 질문이 충분하지 않다는 게 분명해집니다.

똑같이 중요한 질문은 LLM이 자기가 모른다는 걸 아는가입니다.

세미나를 마치며 우리 팀이 스스로에게 남긴 질문들을 공유합니다. 이 글을 읽는 분들의 팀에도 같은 질문이 유효할 것이라 생각합니다.

• 평가 파이프라인. 우리가 쓰는 평가에 abstention 측정이 들어 있는가? accuracy만 보면 충분하다고 믿어온 도메인이 정말 그러한가?

• Reasoning 모델 도입. 우리 use case에서 reasoning 모델을 쓰고 있다면, 정확도를 얻는 대신 reliability를 잃고 있는 것은 아닌가?

• Post-training. underspecified·결함 있는 입력 예시를 학습 데이터에 더 넣을 수 있는가? 보상 설계가 "확신 있는 답"만 칭찬하고 있지는 않은가?

• Production. system prompt 처방을 우리 시스템에 적용할 수 있는가? 동시에, 모델이 너무 자주 발을 빼는 over-abstention 부작용은 어떻게 모니터링할 것인가?

마지막으로, 한 가지 균형을 덧붙이고 싶습니다. abstention은 "많을수록 좋은" 능력이 아닙니다.

답할 수 있는 질문에까지 "모르겠습니다"를 남발하는 모델은 그 자체로 쓸모가 없습니다. 진짜 목표는 답할 수 있을 때 답하고, 답할 수 없을 때 멈추는, 그 경계를 정확히 아는 것입니다.

두 논문이 보여준 것은 현재 모델들이 바로 이 경계 감각을 아직 충분히 갖추지 못했다는 사실입니다.

LLM은 정확히 답하는 능력만큼, 답하지 않을 줄 아는 능력이 필요합니다. 그리고 그 능력은 모델을 키운다고 저절로 생기지 않습니다.

참고 문헌

• Kirichenko, Ibrahim, Chaudhuri, Bell. AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions. arXiv:2506.09038 (2025). 코드: github.com/facebookresearch/AbstentionBench

• Muhamed, Ribeiro, Dreyer, Smith, Diab. RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models. arXiv:2510.10390 (2025).

이 글은 사내 본부 세미나 발표 내용을 블로그용으로 재구성한 것입니다.