이 단원의 카드 5개
먼저 볼 카드 — 근거가 있는 말만 남기기
개념 검사
적힌 것을 검사하기
검사 대상이 결과물이 아니라 내 머릿속 계획으로 바뀌는 순간이 있습니다. 문서에 파일 주소를 줄여 적어 놓고, 확인할 때는 원래 쓰려던 전체 주소를 떠올리는 경우입니다. 전체 주소는 실제로 있어 확인은 통과하지만, 적힌 주소는 눌러도 열리지 않습니다.
그래서 검사는 결과물에서 글자를 뽑아내서 합니다. 목록을 손으로 다시 옮겨 적는 순간, 검사 대상이 결과물에서 내 기억으로 바뀝니다.
AI에게 시킬 때도 같습니다. “이 문서 확인해 줘”가 아니라 “이 문서에 적힌 링크를 전부 뽑아서 하나씩 열어 보고 되는 것과 안 되는 것을 나눠 줘”라고 시킵니다.
직접 해보기
이 문서에 적힌 링크와 파일 경로를 **문서에서 그대로 뽑아서** 목록으로 만들어줘. 네가 기억하는 주소가 아니라 문서에 적힌 글자 그대로여야 해. 그다음 하나씩 실제로 열어 보고 되는 것과 안 되는 것을 나눠줘. 안 되는 것은 문서의 몇 번째 줄에 있는지도 알려줘.
대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.
[내 자료]에서 확인이 필요한 값을 전부 뽑아줘. 링크, 가격, 날짜, 색상 값, 인용한 문장 전부. 뽑을 때는 자료에 적힌 글자 그대로 가져와줘. 그다음 각각을 어디서 어떻게 확인할 수 있는지 알려주고, 네가 확인할 수 있는 것은 확인해줘.
최근 문서 하나에서 링크를 전부 뽑아 열어 보세요. 깨진 것이 하나라도 나오면, 그것이 왜 검토에서 안 걸렸는지 한 줄로 적어 보세요.
헷갈리기 쉬운 것
링크가 파랗게 보이는 것을 확인으로 착각하기 쉽습니다. 화면은 주소처럼 생긴 글자에 자동으로 링크를 걸어 열리지 않는 주소도 눌리는 것처럼 보이므로, 눌러 보기 전까지는 확인한 것이 아닙니다. 반대로 문서를 통째로 다시 읽는 것으로 대신하지도 않습니다. 사람 눈은 자기가 쓴 글에서 자기가 의도한 것을 읽기 때문입니다.
왜 이렇게 작동하나요
원고를 소리 내어 읽어 보는 교정 방식과 비슷합니다. 눈으로만 읽으면 쓰려던 문장이 읽히고, 소리를 내면 실제로 적힌 글자가 드러납니다. 이해를 돕기 위한 비유입니다.
확인은 대상이 무엇이냐에 따라 결과가 갈립니다. 결과물에서 글자를 뽑아내면 대상이 결과물이 되고, 손으로 옮겨 적으면 대상이 내 기억으로 바뀝니다.
더 알고 싶다면
무엇을 뽑아내야 하나요?
- 링크와 파일 경로, 인용한 문장, 가격, 날짜, 색상 값처럼 결과물 밖의 원본과 대조할 수 있는 값입니다. 문장의 흐름이나 어조처럼 대조할 원본이 없는 것은 뽑아내기의 대상이 아닙니다.
- 뽑을 때는 자료에 적힌 글자를 그대로 가져오게 합니다. "이 문서의 링크를 문서에 적힌 글자 그대로 목록으로 만들어 줘"처럼 그대로라는 조건을 요청문에 명시해야, AI가 기억하는 비슷한 주소로 바꿔 적는 일을 막을 수 있습니다.
- 행사 안내문 하나를 검사한다면 뽑히는 것은 신청 링크 주소, 마감 날짜, 담당자 메일, 인용한 규정 문구 정도입니다. 이 목록이 곧 발행 전에 하나씩 열어 볼 확인 대상입니다.
통째로 다시 읽으면 안 되나요?
- 사람 눈은 자기가 쓴 글에서 자기가 의도한 것을 읽습니다. 줄여 적은 주소를 보면서 원래 쓰려던 전체 주소를 떠올리는 식이라, 통째로 다시 읽어도 잘못 적힌 값은 눈에 걸리지 않습니다.
- 다시 읽기가 쓸모없다는 뜻은 아니고 맡는 대상이 다릅니다. 문장이 자연스러운지, 설명 순서가 맞는지는 다시 읽기로 확인하고, 링크·숫자·인용처럼 맞고 틀림이 정해진 값은 뽑아내서 대조합니다.
- 같은 문서라면 흐름은 한 번의 통독으로 보고 값은 뽑아낸 목록으로 따로 확인하는 식으로 두 번에 나누면, 한 번의 정독으로 둘을 겸하려는 것보다 빠지는 값이 적습니다.
공식 안내도 같은 방향인가요?
- Anthropic의 환각 줄이기 문서는 긴 자료를 다룰 때 원문 그대로의 인용을 먼저 뽑아내고 그 인용에 근거해 작업하게 하라고 안내합니다. 근거를 기억이 아니라 문서에 실제로 적힌 글자에 묶어 두는 것이라, 이 카드의 뽑아내기와 같은 원리입니다.
- 평가를 다루는 문서도 결과물을 인상으로 훑는 대신 실제 출력물을 정해진 기준과 대조해 채점하라고 안내합니다. 검사 대상을 머릿속 계획이 아니라 적힌 것에 두는 방향이 같습니다.
용어 풀이
전체 용어집 →2026-07-28 기준 · 출처 · Anthropic — Reduce hallucinations, Anthropic — Define success criteria and build evaluations