26.32: 앤트로픽 공식 문서에 있는데 아무도 모르는 3가지 설정

🤖 AI가 거짓말하지 않게 만드는 3가지 비밀 설정

📌 Anthropic 공식 문서에 나와 있지만 아무도 잘 모르는 프롬프트 기법. 이 설정만 추가하면 Claude가 함부로 꾸며낸 답변을 확 줄일 수 있어요.

🤔 먼저, '환각'이 뭔가요?

AI는 가끔 완전히 틀린 내용을 아주 자신 있게 말합니다. 이걸 환각(Hallucination) 이라고 불러요.

💬 쉬운 비유 시험을 보는데 답을 모를 때, 어떤 친구는 "모르겠어"라고 솔직하게 쓰고, 어떤 친구는 그럴듯하게 꾸며서 씁니다. AI는 기본적으로 후자예요. 항상 뭔가를 써내려 하거든요. 오늘 소개할 설정들은 AI가 전자처럼 행동하도록 바꿔주는 방법입니다.

얼마나 심각한가요?

지표 | 수치
AI 평균 환각률 | 약 9.2%
법률·의료 분야 최대 환각률 | 최대 88%
2024년 글로벌 기업 손실 | 약 674억 달러

(출처: Suprmind AI Hallucination Report 2026)

1️⃣ "모른다고 말하게 만드세요"

왜 이런 일이 생기나요?

AI는 엄청난 양의 글을 학습해서 만들어졌어요. 그 과정에서 "질문이 오면 답변을 생성한다" 는 패턴을 아주 강하게 익혔습니다.

문제는, "모른다"는 것도 답변으로 학습하긴 했지만 그럴듯하게 만들어낸 답변을 훨씬 더 많이 봐왔다는 거예요. 그래서 근거가 없어도 일단 뭔가를 써냅니다.

기본 동작 흐름

질문 입력
    ↓
어떻게든 답을 만들어야 한다 (기본값)
    ↓
관련 단어들을 조합해서 그럴듯하게 생성
    ↓
😬 근거 없는 답변 출력

✅ 해결책 — 시스템 프롬프트에 이걸 추가하세요

정보가 부족하면 모른다고 답해.

더 구체적으로 쓰고 싶다면:

확실하지 않은 정보는 추측하지 말고,
'이 부분은 확인이 필요합니다'라고 먼저 말해.

왜 효과가 있나요?

AI에게 명확한 "허가" 를 주는 거예요. "모른다고 해도 괜찮아"라는 신호를 주면, AI는 "모릅니다"를 유효한 답변으로 인식하고 훨씬 더 자주 활용하게 됩니다.

Before / After 비교

 | 내용
❌ 설정 전 | "이 성분은 간 기능에 영향을 줄 수 있으며, 임산부에게는 주의가 필요합니다." (근거 없이 생성)
✅ 설정 후 | "해당 성분의 구체적인 부작용 데이터를 확인하지 못했습니다. 의약 전문가에게 문의하시길 권장합니다."

2️⃣ "출처 없으면 스스로 지우게 하세요"

왜 이런 일이 생기나요?

AI가 답변할 때 가장 많이 쓰는 표현 중 하나가 "연구에 따르면…" 입니다. 그런데 어느 연구인지 물어보면 막막해지는 경우가 많아요. 심지어 AI가 논문 제목을 통째로 지어내는 일도 있습니다.

AI는 "신뢰감 있는 글쓰기 스타일"도 학습했거든요. 논문, 기사, 보고서에는 "연구에 따르면", "전문가들은 말한다"는 표현이 가득하고, AI는 이런 표현이 답변에 신뢰감을 준다고 학습했기 때문에, 실제 출처가 있든 없든 자연스럽게 붙여버립니다.

💬 쉬운 비유 학교 숙제에서 "인터넷에서 찾았어요"라고 썼는데, 사실은 그냥 자기가 생각해낸 거라면 어떨까요? AI가 "연구에 따르면"이라고 쓰는 게 딱 그런 상황이에요.

✅ 해결책 — 시스템 프롬프트에 이걸 추가하세요

모든 주장에 출처를 달아.
못 찾으면 그 문장을 지워.

더 구체적으로 쓰고 싶다면:

사실적 주장을 할 때는 반드시 출처(논문명, 기관명, 보고서 등)를 함께 써.
출처를 확인할 수 없는 주장은 아예 쓰지 마.

이 설정이 작동하는 원리

"연구에 따르면 이 방법이 효과적입니다…" 쓰려고 함
    ↓
프롬프트 지시 때문에 출처를 찾으려 함
    ↓
확인 가능한 출처가 없다는 것을 인식
    ↓
✅ "이 주장을 뒷받침할 출처를 찾지 못했습니다"로 대체하거나 삭제

Before / After 비교

 | 내용
❌ 설정 전 | "연구에 따르면 이 다이어트 방법은 3주 만에 체중의 10%를 감량할 수 있습니다."
✅ 설정 후 | "이 주장을 뒷받침하는 구체적인 연구 출처를 확인하지 못해 해당 내용을 포함하지 않겠습니다."

3️⃣ "원문을 그대로 인용하게 하세요"

왜 이런 일이 생기나요?

이 설정은 문서를 분석하거나 요약할 때 특히 중요합니다.

AI에게 계약서, 논문, 뉴스 기사 같은 걸 분석시키면 편리하지만, 사실 살짝 무서운 함정이 숨어 있어요. 바로 의역 드리프트(Paraphrase Drift) 입니다.

💬 쉬운 비유 — 전화 게임 원문: "이 계약은 2025년 12월 31일에 만료됩니다." AI 요약: "계약 기간은 약 1년입니다."

언뜻 비슷해 보이지만, 정확한 날짜가 사라졌어요. 법적 계약이었다면 큰일 날 수 있는 차이입니다.

AI는 자연스러운 글을 만들도록 훈련됐어요. 원문을 그대로 복사하기보다 자기만의 표현으로 바꾸는 게 더 자연스럽다고 느낍니다. 그 과정에서 수치, 조건, 예외 사항 같은 세부 내용이 슬쩍 빠지거나 달라질 수 있어요.

✅ 해결책 — 시스템 프롬프트에 이걸 추가하세요

문서에서 단어별 인용문을 먼저 추출한 뒤 분석해.

더 구체적으로 쓰고 싶다면:

문서를 분석할 때, 먼저 관련 부분을
원문 그대로(따옴표로 감싸서) 인용한 뒤에
그 내용을 설명해. 단어를 바꾸거나 요약하지 마.

이 설정이 만드는 두 단계 분석

1단계 — 원문 인용 먼저

"계약서 3조 2항: '본 계약은 2025년 12월 31일 자정을 기점으로 효력을 상실한다.'"

2단계 — 그 다음 해석

"즉, 이 계약의 만료일은 2025년 12월 31일이며, 그 이후에는 자동으로 계약 효력이 없어집니다."

이렇게 하면 독자가 "원문이 실제로 그렇게 쓰여 있는지" 바로 확인할 수 있어요.

Before / After 비교

 | 내용
❌ 설정 전 | "이 조항에 따르면 계약은 연말에 끝납니다." (정확한 날짜 사라짐)
✅ 설정 후 | 원문: "2025년 12월 31일 자정에 효력을 상실한다" → 즉, 정확한 만료 시점은 12월 31일 자정입니다.

⚠️ 주의할 점

세 가지 다 좋지만, 상황에 따라 켜고 꺼야 해요.

🧪 인용 제약이 강해질수록 창의적 답변 품질이 떨어진다는 실험 결과가 있어요. (arXiv 2307.02185)

언제 켜고, 언제 끄나요?

작업 유형 | 권장 설정
📄 팩트체크, 리서치, 문서 분석 | ✅ 3가지 모두 ON
⚖️ 법률·의료 정보 확인 | ✅ 3가지 모두 ON
🎨 아이디어, 브레인스토밍, 창작 | 🔄 자유롭게 OFF
✍️ 소설·광고 문구 작성 | 🔄 자유롭게 OFF

💡 한 줄 요약: 정확성이 필요할 때만 켜고, 상황에 맞게 토글하는 게 Best.

📌 오늘 배운 것 한눈에 보기

# | 프롬프트 | 효과
1️⃣ | 정보가 부족하면 모른다고 답해. | 근거 없는 추측성 답변 차단
2️⃣ | 모든 주장에 출처를 달아. 못 찾으면 그 문장을 지워. | 검증 안 된 사실 주장 필터링
3️⃣ | 문서에서 단어별 인용문을 먼저 추출한 뒤 분석해. | 문서 분석 시 의미 왜곡 방지

출처: Anthropic 공식 문서 Reduce Hallucinations / Suprmind AI Hallucination Report 2026 / arXiv 2307.02185원본 콘텐츠: @ai.sangkyun