근거가 있는 말만 남기기

AI는 확인한 것과 지어낸 것을 같은 말투로 말해서, 문장만 봐서는 구분되지 않습니다.

결과물을 쓰기 전에 문장마다 근거가 무엇인지 표시하게 만듭니다.

근거로 인정하는 것은 두 가지입니다.

직접 해본 것. 화면에 뜬 값, 실행한 결과, 눌러본 버튼처럼 내가 본 것입니다.
공식 문서에 있는 것. 그 도구를 만든 회사가 쓴 문서입니다. 주소와 확인한 날짜를 같이 적습니다.

둘 다 아니면 그 문장은 뺍니다. “아마도”나 “일반적으로”를 붙여 약하게 만들어도 그 문장은 자료에 남고, 읽는 사람은 그걸 사실로 읽기 때문입니다.

AI가 “그건 안 됩니다”라고 답할 때도 같은 기준을 적용합니다. 안 된다는 말도 주장이라 근거가 필요합니다.

다 만든 뒤가 아니라 만들 때 표시하게 합니다

위 방법은 받은 결과물을 놓고 나중에 검사하는 순서입니다. 자료가 길어질수록 이 검사에 드는 시간이 늘어납니다.

그래서 요청에 미리 넣습니다. 결과 끝에 확인한 것과 확인하지 못한 것을 나눠 적게 시키면, 지울 문장을 내가 찾아내는 대신 AI가 먼저 표시해 내놓습니다.

확인하지 못한 목록이 비어 있으면 그 자체가 신호입니다. 확인하지 못한 것이 하나도 없는 작업은 드물어서, 목록이 비었으면 표시를 건너뛴 쪽에 가깝습니다. 이때는 이유를 한 줄 물어봅니다.

이 표시는 내 검사를 대신하지 않습니다. 표시된 목록을 그대로 믿지 않고, 확인했다고 적힌 주소는 적힌 것을 검사하기의 방식으로 직접 열어 봅니다.

다르게 해보기

기본

이 글의 문장마다 근거가 무엇인지 표시해줘.
(1) 실제로 실행하거나 화면에서 확인한 것
(2) 공식 문서에 있는 것 — 주소와 확인 날짜를 같이 적어줘
(3) 둘 다 아닌 것

(3)에 해당하는 문장은 본문에서 지우고, 지운 문장 목록을 따로 보여줘. 완화해서 남기지 말고 지워줘.

문장이 세 갈래로 나뉘고, 근거가 없는 문장은 본문에서 빠진 채 별도 목록으로 나옵니다. 지워진 문장이 생각보다 많을 수 있습니다.

내 일로

[내가 만든 자료]를 검토해줘. 확인 없이 쓴 문장이 있는지 찾아줘.
특히 '안 된다', '지원하지 않는다', '대부분' 같은 표현이 나오면 근거를 물어봐 줘.
표가 있으면 각 칸을 실제로 확인했는지 칸마다 따로 물어봐 줘.

확인 없이 쓴 문장 목록과, 표에서 근거가 빈 칸이 나옵니다.

한 단계 더

다 만든 뒤에 검사하는 대신, 만들 때부터 표시하고 내놓게 시킵니다.

앞으로 이 작업의 결과를 낼 때는 본문 끝에 두 목록을 붙여 주세요.

확인한 것: 어디서 확인했는지 함께 적기 (실행한 화면 / 공식 문서 주소와 날짜)
확인하지 못한 것: 무엇을 확인하지 못했고 어떻게 확인할 수 있는지 적기

확인하지 못한 것이 없다고 적지 마세요. 하나도 없으면 그 이유를 한 줄로 적어 주세요.

결과물 끝에 두 목록이 붙습니다. 확인하지 못한 목록이 비어 있으면 그 자체가 신호라, 이유 한 줄을 읽고 다시 물을 자리가 생깁니다.

지원사업 확인

내 이름과 정확한 주소는 쓰지 않고 아래 범위 정보만 사용할게.
- 나이대: [예: 30대 초반]
- 지역: [시·군·구]
- 직업 상태: [예: 프리랜서]
- 가구원 수: [예: 1명]
- 월 소득 구간: [예: 200만~300만원]
- 주거 상태: [예: 월세]

대한민국 정부나 지방자치단체가 현재 운영하는 지원사업 후보를 찾아줘.
1. 정부24 보조금24, 복지로, 고용24, 온통청년, 기업마당과 시·군·구청의 공식 페이지를 먼저 확인해.
2. 후보마다 사업명, 공식 공고 주소, 확인 날짜, 신청 기간, 금액, 내 조건과 맞는 근거를 표에 적어.
3. 조건마다 충족, 미충족, 확인 필요로 표시하고 확인하지 못한 값은 추측하지 말고 비워 둬.
4. 마지막에는 공식 사이트에서 내가 직접 확인할 항목만 따로 적어.
5. 이름, 연락처, 주민등록번호, 정확한 주소, 계좌번호는 묻지 마.

결과는 지원사업 후보 목록이며 신청 가능 여부를 확정하지 마.

공식 공고 주소와 확인 날짜가 붙은 후보 표가 나오고 확인하지 못한 조건은 확인 필요로 남습니다. 이름, 연락처, 정확한 주소 같은 개인정보는 결과에 들어가지 않습니다.

더 알아보기

비교 표를 만들 때 조심할 점

A와 B를 비교하는 표는 둘 다 확인했을 때만 만들 수 있습니다. 표의 칸 하나하나가 각각 근거가 필요한 주장인데, 표라는 형식은 채워져 있기만 하면 측정한 것처럼 보여서 짐작이 섞여도 티가 나지 않습니다.

도구 두 개의 요금을 비교하면서 한쪽은 공식 요금 페이지에서 확인하고 다른 쪽을 기억으로 채우면, 확인한 칸까지 함께 의심받게 됩니다. 확인하지 못한 칸은 지어서 채우는 대신 비워 두고 "미확인"이라고 적습니다.

그래서 표를 받으면 칸마다 실제로 확인한 값인지 따로 묻습니다. 이 카드의 "내 상황에 맞춰" 요청문이 그 절차입니다.

한 번 해 본 것을 어디까지 쓸 수 있나요?

한 번은 한 번입니다. 어제 한 번 성공한 요청문을 근거로 "이 방법은 늘 통한다"라고 적으면, 조건이 조금 다른 다음 실행에서 바로 어긋납니다.

넓혀 말하려면 조건을 바꿔 가며 몇 번 더 해 보고, 해 본 조건을 함께 적습니다. "제품 사진 3장, 흰 배경 조건에서 다섯 번 모두 같은 형식으로 나왔다"처럼 적으면 읽는 사람이 자기 조건과 비교할 수 있습니다.

조건을 다 적기 어려우면 범위를 줄여 "이 조건에서는 됐다"까지만 적습니다. 그 문장은 한 번의 실행이 그대로 근거가 됩니다.

공식 안내도 같은 방향인가요?

Anthropic의 환각 줄이기 문서는 답변의 주장마다 근거 인용을 붙이게 하고, 뒷받침하는 인용을 찾지 못한 주장은 철회하게 하라고 안내합니다. 근거가 없으면 문장을 약하게 만드는 대신 지우는 이 카드의 기준과 같은 방향입니다.

같은 문서는 모를 때 "모른다"라고 답하는 것을 명시적으로 허용하라고도 안내합니다. 빈칸이 허용돼야 지어낸 문장이 줄어든다는 점에서, 근거 없는 문장을 지우는 습관과 짝이 되는 안내입니다.