AI가 할 수 있는 것과 못 하는 것

demo

확인할 자리를 골라 보세요

지원사업 신청 안내문을 써 달라고 부탁했습니다. 돌아온 문단에서 사람이 사실을 확인해야 하는 문장을 눌러 표시한 뒤, 맞춰 보기를 누르세요.

확인이 필요한 문장은 3개입니다. 날짜·금액·기관 이름처럼 정답이 하나로 정해진 자리이고, 나머지는 표현을 다듬어 그대로 쓰는 초안입니다.

사업 이름과 숫자는 실제 공고가 아니라 설명을 위해 지어낸 예시입니다.

AI(LLM)는 다음에 올 가장 그럴듯한 단어를 이어 붙여 답을 만들 뿐 사실을 확인하는 절차가 따로 없어서, 모르는 것을 물어도 빈자리를 그럴듯한 문장으로 채웁니다. 이렇게 지어낸 답을 환각이라고 부르는데, 아는 내용과 똑같은 말투로 나오기 때문에 문장만 읽어서는 가려낼 수 없습니다.

위 화면에서 직접 갈라 보세요. 지원사업 안내문 초안 한 문단에서 사람이 확인해야 하는 문장을 골라 표시하면, 맞춰 보기를 눌렀을 때 어디가 초안이고 어디가 확인 대상인지 이유와 함께 나옵니다. 날짜와 금액과 기관 이름이 확인 대상이고 나머지는 표현을 다듬어 그대로 쓰는 자리입니다.

검증 없이 쓰면 안 되는 답

정답이 하나로 정해져 있어서, 틀린 채로 내보내면 나중에 고쳐야 하는 내용입니다.

내가 하는 일	AI가 지어낼 수 있는 것	확인하는 곳
지원사업 신청서	접수 마감일, 지원 한도	공고 원문
제안서·보고서	인용한 통계 숫자와 조사 연도	발표 기관의 원자료
거래처 메일	담당자 이름과 직함	최근 주고받은 메일
블로그 글	참고 자료로 붙인 URL	링크를 눌러 열어 보기
계약·세금 안내	법 조항 번호와 문구	국가법령정보센터

논문·판례·기사처럼 출처를 다는 답은 제목과 저자가 자연스럽게 읽혀도 찾아보면 없는 경우가 있어서, 내용보다 그 자료가 있는지부터 확인합니다.

확인이 쉬운 답

이미 붙여 준 자료를 요약하거나 형식을 바꾸는 일, 초안을 다듬는 일, 아이디어를 넓히는 일은 대조할 근거가 눈앞에 있으니 확인이 한 번에 끝납니다.

“이 답이 맞는지 내가 직접 확인할 수 있는가”를 먼저 묻고, 확인할 방법이 없으면 근거 자료를 붙여 그 안에서만 답하게 요청을 바꿉니다. 메일 발송, 결제, 파일 삭제처럼 되돌리기 어려운 행동은 답의 정확도와 별개로 마지막 버튼을 사람이 누릅니다.

직접 해보기

정답이 하나로 정해진 사실 질문을 하나 보내 봅니다.

그대로 붙여넣기

2026년 7월 기준 원/달러 환율을 알려 줘. 그리고 이 답을 내가 검증 없이 그대로 써도 되는지, 확인하려면 어디를 보면 되는지도 알려 줘.

대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.

내 상황에 맞춰

최근에 AI에 물어본 질문 하나를 적을게: [최근 질문]. 이 질문의 답이 검증 없이 써도 되는 종류인지, 원문·공식 자료로 확인해야 하는 종류인지 판단해줘. 판단 기준도 한 줄로 알려줘.

어떤 도구가 무엇을 할 수 있는지 궁금할 때는, 기억으로 답하지 말고 그 도구에 직접 물어보게 시킵니다.

대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.

한 단계 더

[도구 이름]이 [하고 싶은 일]을 할 수 있는지 알고 싶어. 기억으로 답하지 말고 그 도구를 실제로 실행해서 확인한 다음, 확인한 방법과 결과를 함께 알려 줘. 확인이 안 되면 확인하지 못했다고 말해 줘.

최근 일주일 안에 AI에게 받은 답 중 확인 없이 그대로 썼던 것을 하나 떠올려, 검증이 필요한 종류였는지 다시 판단해 보세요.

헷갈리기 쉬운 것

문장이 자연스럽고 자신 있게 쓰였다고 사실이라는 뜻은 아닙니다. 반대로 모든 답을 매번 원문과 대조하면 AI를 쓰는 의미가 줄어듭니다. 확인이 쉬운 일과 어려운 일을 미리 구분해 두면 매번 새로 고민하지 않아도 됩니다. 도구가 무엇을 할 수 있고 없는지를 묻는 질문도 같은 종류입니다. 설명만으로 답하면 틀릴 수 있으니 그 도구를 실제로 한 번 실행해 확인하게 합니다.

왜 이렇게 작동하나요

문장 자동완성이 아주 커진 것이라고 상상해 보세요. 다음에 올 말로 가장 자연스러운 것을 고를 뿐, 그 말이 사실인지 대조할 자료는 손에 없습니다. 이해를 돕기 위한 비유입니다.

비유 속 자동완성에 해당하는 것이 다음 단어 예측입니다. 사실을 조회하는 단계가 따로 없어서, 정답이 하나로 정해진 질문에도 그럴듯한 문장이 그대로 답이 됩니다.

더 알고 싶다면

왜 "모릅니다"라고 답하지 않나요?

답을 만드는 과정에 "이걸 내가 아는가"를 판정하는 단계가 따로 없습니다. 다음에 올 말을 고르는 동작 하나만 반복하기 때문에, 모르는 질문 앞에서도 그 동작은 멈추지 않고 그럴듯한 문장을 만들어 냅니다.
훈련과 평가 방식도 같은 방향으로 밉니다. 시험에서 모르는 문제를 비워 두면 0점이지만 찍으면 맞을 수도 있는 것처럼, 모델 평가 대부분이 정답에만 점수를 주기 때문에 비워 두는 답보다 그럴듯한 추측이 유리하게 학습된다는 것이 OpenAI 연구진의 분석입니다.
그래서 존재하지 않는 논문을 물으면 "그런 논문은 없습니다" 대신 있을 법한 제목과 저자를 지어냅니다. 요청에 "모르면 모른다고 답해 줘"를 적어 두면 비워 두는 답이 허용돼 지어내는 빈도가 줄어듭니다.

근거 자료를 붙이면 왜 확인이 쉬워지나요?

자료 없이 물으면 답의 근거가 모델이 학습한 내용 속에 흩어져 있어 내가 대조할 원문 자체가 없습니다. 자료를 붙이면 답의 출처가 내가 준 자료 안으로 좁혀져, 답과 원문을 나란히 놓고 비교할 수 있습니다.
Anthropic 문서도 긴 자료를 다룰 때 원문 그대로의 인용을 먼저 뽑게 한 뒤 그 인용에 근거해 답하게 하라고 안내합니다. 자료에 없는 문장이 섞이면 붙일 인용이 없어 그 자리에서 바로 드러납니다.
예를 들어 보고서를 붙이고 "이 자료에 근거해서만 답하고, 자료에 없으면 없다고 말해 줘"라고 요청하면 답의 문장마다 대조할 자리가 생깁니다.

확인하기 쉬운 형태로 바꾼 예

작년 시장 규모를 그냥 물어보면 숫자를 지어낼 자리가 생기지만, 보고서를 붙이고 시장 규모가 적힌 문장을 그대로 찾아 달라고 하면 원문 대조가 한 번으로 끝납니다.
경쟁사 가격을 조사시킬 때도 같습니다. "가격을 알려 줘" 대신 "가격이 적힌 페이지 주소와 그 페이지의 문장을 그대로 가져와 줘"라고 바꾸면, 내가 확인할 일이 숫자의 진위 판별에서 주소가 열리는지 확인으로 줄어듭니다.
요청을 바꿔도 확인할 방법이 없는 질문이 남는다면, 그 부분은 AI에게 맡길 일이 아니라 사람이 직접 찾을 일로 넘깁니다.

용어 풀이

전체 용어집 →

환각(hallucination): AI가 사실이 아닌 내용을 사실처럼 그럴듯하게 만들어내는 현상입니다. 존재하지 않는 논문·URL·통계를 지어내는 경우가 대표적입니다.

2026-08-15 기준 · 출처 · Why Language Models Hallucinate, Anthropic — Reduce hallucinations