적힌 것을 검사하기

검사를 다 통과했는데도 결과물이 깨져 있다면, 검사한 대상이 결과물이 아니라 내 머릿속 계획이었을 가능성이 큽니다.

검사 대상이 결과물이 아니라 내 머릿속 계획으로 바뀌는 순간이 있습니다. 문서에 파일 주소를 줄여 적어 놓고, 확인할 때는 원래 쓰려던 전체 주소를 떠올리는 경우입니다. 전체 주소는 실제로 있어 확인은 통과하지만, 적힌 주소는 눌러도 열리지 않습니다.

그래서 검사는 결과물에서 글자를 뽑아내서 합니다. 목록을 손으로 다시 옮겨 적는 순간, 검사 대상이 결과물에서 내 기억으로 바뀝니다.

AI에게 시킬 때도 같습니다. “이 문서 확인해 줘”가 아니라 “이 문서에 적힌 링크를 전부 뽑아서 하나씩 열어 보고 되는 것과 안 되는 것을 나눠 줘”라고 시킵니다.

다르게 해보기

이 문서에 적힌 링크와 파일 경로를 **문서에서 그대로 뽑아서** 목록으로 만들어줘.
네가 기억하는 주소가 아니라 문서에 적힌 글자 그대로여야 해.
그다음 하나씩 실제로 열어 보고 되는 것과 안 되는 것을 나눠줘.
안 되는 것은 문서의 몇 번째 줄에 있는지도 알려줘.

문서에 적힌 그대로의 주소 목록이 나오고, 열리는 것과 404가 나뉩니다. 줄 번호가 있어 바로 고칠 수 있습니다.

[내 자료]에서 확인이 필요한 값을 전부 뽑아줘. 링크, 가격, 날짜, 색상 값, 인용한 문장 전부.
뽑을 때는 자료에 적힌 글자 그대로 가져와줘.
그다음 각각을 어디서 어떻게 확인할 수 있는지 알려주고, 네가 확인할 수 있는 것은 확인해줘.

확인 대상 목록이 원문 그대로 나오고, 확인된 것과 내가 직접 확인해야 하는 것이 나뉩니다.

더 알아보기

링크와 파일 경로, 인용한 문장, 가격, 날짜, 색상 값처럼 결과물 밖의 원본과 대조할 수 있는 값입니다. 문장의 흐름이나 어조처럼 대조할 원본이 없는 것은 뽑아내기의 대상이 아닙니다.

뽑을 때는 자료에 적힌 글자를 그대로 가져오게 합니다. "이 문서의 링크를 문서에 적힌 글자 그대로 목록으로 만들어 줘"처럼 그대로라는 조건을 요청문에 명시해야, AI가 기억하는 비슷한 주소로 바꿔 적는 일을 막을 수 있습니다.

행사 안내문 하나를 검사한다면 뽑히는 것은 신청 링크 주소, 마감 날짜, 담당자 메일, 인용한 규정 문구 정도입니다. 이 목록이 곧 발행 전에 하나씩 열어 볼 확인 대상입니다.

사람 눈은 자기가 쓴 글에서 자기가 의도한 것을 읽습니다. 줄여 적은 주소를 보면서 원래 쓰려던 전체 주소를 떠올리는 식이라, 통째로 다시 읽어도 잘못 적힌 값은 눈에 걸리지 않습니다.

다시 읽기가 쓸모없다는 뜻은 아니고 맡는 대상이 다릅니다. 문장이 자연스러운지, 설명 순서가 맞는지는 다시 읽기로 확인하고, 링크·숫자·인용처럼 맞고 틀림이 정해진 값은 뽑아내서 대조합니다.

같은 문서라면 흐름은 한 번의 통독으로 보고 값은 뽑아낸 목록으로 따로 확인하는 식으로 두 번에 나누면, 한 번의 정독으로 둘을 겸하려는 것보다 빠지는 값이 적습니다.

Anthropic의 환각 줄이기 문서는 긴 자료를 다룰 때 원문 그대로의 인용을 먼저 뽑아내고 그 인용에 근거해 작업하게 하라고 안내합니다. 근거를 기억이 아니라 문서에 실제로 적힌 글자에 묶어 두는 것이라, 이 카드의 뽑아내기와 같은 원리입니다.

평가를 다루는 문서도 결과물을 인상으로 훑는 대신 실제 출력물을 정해진 기준과 대조해 채점하라고 안내합니다. 검사 대상을 머릿속 계획이 아니라 적힌 것에 두는 방향이 같습니다.