AI 활용·바이브코딩

LLM 환각(할루시네이션) 줄이는 실전 기법: 근거 인용·검증 루프 설계

LLM이 모르는 내용을 지어내는 문제를 줄이기 위해 출처 강제, 인용 형식, 불확실성 처리, 자기검증 루프를 설계하는 실전 가이드입니다.

4분 읽기조코헌트 운영팀
목차

LLM의 환각은 단순히 모델이 “멍청해서” 생기는 문제가 아닙니다. 질문에 답할 근거가 부족한데도 답변을 완성하도록 만든 제품 흐름에서 자주 발생합니다. 따라서 모델을 바꾸기 전에 입력·출력·검증 단계를 나누는 것이 먼저입니다.

조코헌트에 출시된 프로덕트 412개 가운데 AI 도구를 분야로 선택한 비중은 36%입니다. 한 프로덕트가 여러 분야를 선택할 수 있는 집계이지만, 그만큼 1인 메이커가 AI 답변의 신뢰성을 제품 경쟁력으로 다뤄야 할 기회도 많다는 뜻입니다.

1. 환각을 모델 문제가 아닌 검증 실패로 정의하기

먼저 답변의 종류를 나눈다

모든 답변에 같은 수준의 검증이 필요한 것은 아닙니다. 아이디어 발산이나 카피 초안은 약간의 부정확성이 치명적이지 않을 수 있습니다. 반면 법률·의료·결제·고객 데이터처럼 틀렸을 때 손실이 큰 영역은 별도 흐름으로 다뤄야 합니다.

위험도에 따라 허용 범위를 정한다

질문을 받으면 먼저 다음 세 가지를 분류하세요.

  • 참고문서가 있는가?
  • 답변이 사실 주장인가, 의견·창작인가?
  • 틀렸을 때 사용자가 실제 행동을 바꾸는가?

위험도가 높고 근거가 없으면 답변을 생성하는 대신 “확인할 자료가 부족하다”고 반환하는 편이 낫습니다.

2. 근거를 답변의 입력으로 강제하기

환각을 줄이는 가장 실용적인 방법은 모델에게 “정확하게 답해”라고 부탁하는 것이 아니라, 답변에 사용할 근거를 입력으로 함께 주는 것입니다.

출처 계약을 만든다

RAG나 검색 기능을 붙였다면 검색 결과를 단순한 참고자료가 아니라 답변의 경계로 정의하세요. 프롬프트에는 다음 규칙을 명시할 수 있습니다.

  • 제공된 문서에 없는 사실은 추론해 단정하지 않는다.
  • 사실 주장마다 문서명 또는 문단 식별자를 붙인다.
  • 서로 다른 문서가 충돌하면 충돌 사실을 먼저 알린다.
  • 근거가 부족하면 답변 대신 추가로 필요한 정보를 말한다.

인용 형식을 고정한다

인용 형식이 매번 달라지면 화면에 표시하거나 나중에 검수하기 어렵습니다. 예를 들어 [출처: 문서명 > 절 제목]처럼 하나의 형식을 정하고, 인용 없는 주장에는 별도 표시를 붙이세요. 문서 검색 구조를 처음 설계한다면 RAG 직접 만들기: 내 문서를 AI가 답변하게 하는 검색증강 구조 입문도 함께 참고할 만합니다.

3. “모르면 모른다”고 말하는 프롬프트 설계

좋은 프롬프트는 답변을 길게 만드는 지시문이 아니라, 답변하지 말아야 할 조건을 분명히 적은 지시문입니다. 다음처럼 출력 계약을 짧게 작성해보세요.

역할: 제공된 근거만 사용하는 답변 검수기

규칙: 근거에 없는 내용은 추측하지 않는다. 확인되지 않은 고유명사·날짜·수치는 생성하지 않는다. 답변 가능한 주장에는 출처를 붙인다. 판단할 수 없으면 “근거 부족”이라고 표시하고 필요한 자료를 요청한다.

출력: 답변 / 근거 / 불확실한 항목 / 추가 확인이 필요한 질문

여기에 질문 예시와 정답 예시를 몇 개 넣으면 모델이 원하는 경계선을 더 잘 이해합니다. 출력 필드를 코드에서 안정적으로 다뤄야 한다면 LLM 출력이 들쭉날쭉할 때: 구조화 출력과 JSON 강제 응답 다루기의 방식처럼 스키마도 함께 고정하세요.

4. 생성과 검증을 분리하는 루프

한 번의 호출에서 “답변을 만들고 스스로 정확성까지 보증하라”고 하면 검증이 형식적인 문장으로 끝나기 쉽습니다. 생성과 판정을 별도 단계로 나누세요.

1차 호출은 주장 목록을 만든다

먼저 최종 문장보다 핵심 주장 목록을 만듭니다. 각 주장에 필요한 근거가 무엇인지 함께 적게 하면, 근거 없는 문장이 뒤늦게 섞이는 일을 줄일 수 있습니다.

2차 호출은 주장별로 판정한다

검증 모델에는 완성된 답변과 근거 목록을 주고 각 주장을 지원됨, 부분 지원, 지원되지 않음으로 분류하게 합니다. 지원되지 않음이 하나라도 있으면 자동 게시하지 말고 해당 문장만 삭제하거나 사용자 확인 단계로 보내세요.

검증은 자기비판을 잘하는지보다 기준이 코드로 확인 가능한지가 중요합니다. AI가 만든 결과물을 운영에 넣기 전에는 AI가 짠 코드를 믿어도 될까: 바이브코딩 결과물 검증 체크리스트처럼 재현 조건과 실패 기준을 함께 정리하면 좋습니다.

5. 출시 전 테스트와 운영 체크리스트

작은 골든 세트를 만든다

실제 사용자가 자주 묻는 질문을 대표 사례로 모으고, 각 질문에 기대하는 근거와 “답변 불가” 조건을 적어두세요. 문서가 바뀌거나 프롬프트를 수정할 때 같은 세트를 다시 실행하면 품질 변화를 비교할 수 있습니다.

로그에는 답변보다 판정 정보를 남긴다

운영 중에는 최종 답변만 저장하지 말고 검색된 문서, 인용된 근거, 검증 판정, 사용자 수정 여부를 함께 기록하세요. 그래야 환각이 검색 실패에서 시작됐는지, 프롬프트 해석에서 시작됐는지 추적할 수 있습니다.

마지막으로 다음 항목을 점검해보세요.

  • 근거 없는 수치와 고유명사를 차단했는가?
  • 인용이 실제 검색 문서와 연결되는가?
  • 불확실한 답변을 별도 상태로 표시하는가?
  • 검증 실패 시 자동 게시를 멈추는가?
  • 문서가 없을 때도 정직한 실패 응답을 하는가?

환각을 완전히 없애는 단일 프롬프트는 기대하기 어렵습니다. 대신 근거를 넣고, 주장을 쪼개고, 검증 실패를 정상적인 상태로 취급하면 작은 팀도 신뢰할 수 있는 AI 기능에 가까워질 수 있습니다.

이 글 공유하기

같은 주제를 다룬 다른 글도 살펴보세요.