studio.soluta

AI가 할 수 있는 것과 못 하는 것

AI는 초안을 빠르게 만들지만 사실 확인, 외부 발송, 결제처럼 사람이 결정해야 하는 일도 있습니다.

AI(LLM)는 다음에 올 가장 그럴듯한 단어를 이어 붙여 답을 만들 뿐 사실을 확인하는 절차가 따로 없어서, 모르는 것을 물어도 빈자리를 그럴듯한 문장으로 채웁니다. 이렇게 지어낸 답을 환각이라고 부르는데, 아는 내용과 똑같은 말투로 나오기 때문에 문장만 읽어서는 가려낼 수 없습니다.

위 화면에서 직접 갈라 보세요. 지원사업 안내문 초안 한 문단에서 사람이 확인해야 하는 문장을 골라 표시하면, 맞춰 보기를 눌렀을 때 어디가 초안이고 어디가 확인 대상인지 이유와 함께 나옵니다. 날짜와 금액과 기관 이름이 확인 대상이고 나머지는 표현을 다듬어 그대로 쓰는 자리입니다.

검증 없이 쓰면 안 되는 답

정답이 하나로 정해져 있어서, 틀린 채로 내보내면 나중에 고쳐야 하는 내용입니다.

내가 하는 일AI가 지어낼 수 있는 것확인하는 곳
지원사업 신청서접수 마감일, 지원 한도공고 원문
제안서·보고서인용한 통계 숫자와 조사 연도발표 기관의 원자료
거래처 메일담당자 이름과 직함최근 주고받은 메일
블로그 글참고 자료로 붙인 URL링크를 눌러 열어 보기
계약·세금 안내법 조항 번호와 문구국가법령정보센터

논문·판례·기사처럼 출처를 다는 답은 제목과 저자가 자연스럽게 읽혀도 찾아보면 없는 경우가 있어서, 내용보다 그 자료가 있는지부터 확인합니다.

확인이 쉬운 답

이미 붙여 준 자료를 요약하거나 형식을 바꾸는 일, 초안을 다듬는 일, 아이디어를 넓히는 일은 대조할 근거가 눈앞에 있으니 확인이 한 번에 끝납니다.

“이 답이 맞는지 내가 직접 확인할 수 있는가”를 먼저 묻고, 확인할 방법이 없으면 근거 자료를 붙여 그 안에서만 답하게 요청을 바꿉니다. 메일 발송, 결제, 파일 삭제처럼 되돌리기 어려운 행동은 답의 정확도와 별개로 마지막 버튼을 사람이 누릅니다.

다르게 해보기

기본

정답이 하나로 정해진 사실 질문을 하나 보내 봅니다.

2026년 7월 기준 원/달러 환율을 알려 줘. 그리고 이 답을 내가 검증 없이 그대로 써도 되는지, 확인하려면 어디를 보면 되는지도 알려 줘.

숫자가 자신 있게 나오지만, 환율처럼 정답이 정해진 사실은 공식 자료 확인이 필요하다는 안내와 확인처가 함께 나옵니다.

내 일로

최근에 AI에 물어본 질문 하나를 적을게: [최근 질문]. 이 질문의 답이 검증 없이 써도 되는 종류인지, 원문·공식 자료로 확인해야 하는 종류인지 판단해줘. 판단 기준도 한 줄로 알려줘.

최근 질문에 사람이 확인할 항목과 확인할 자료가 한 줄씩 붙습니다.

한 단계 더

어떤 도구가 무엇을 할 수 있는지 궁금할 때는, 기억으로 답하지 말고 그 도구에 직접 물어보게 시킵니다.

[도구 이름]이 [하고 싶은 일]을 할 수 있는지 알고 싶어. 기억으로 답하지 말고 그 도구를 실제로 실행해서 확인한 다음, 확인한 방법과 결과를 함께 알려 줘. 확인이 안 되면 확인하지 못했다고 말해 줘.

실행해서 확인한 결과와 확인한 방법이 함께 나오거나, 확인하지 못했다는 답이 나옵니다.

더 알아보기

왜 "모릅니다"라고 답하지 않나요?

답을 만드는 과정에 "이걸 내가 아는가"를 판정하는 단계가 따로 없습니다. 다음에 올 말을 고르는 동작 하나만 반복하기 때문에, 모르는 질문 앞에서도 그 동작은 멈추지 않고 그럴듯한 문장을 만들어 냅니다.

훈련과 평가 방식도 같은 방향으로 밉니다. 시험에서 모르는 문제를 비워 두면 0점이지만 찍으면 맞을 수도 있는 것처럼, 모델 평가 대부분이 정답에만 점수를 주기 때문에 비워 두는 답보다 그럴듯한 추측이 유리하게 학습된다는 것이 OpenAI 연구진의 분석입니다.

그래서 존재하지 않는 논문을 물으면 "그런 논문은 없습니다" 대신 있을 법한 제목과 저자를 지어냅니다. 요청에 "모르면 모른다고 답해 줘"를 적어 두면 비워 두는 답이 허용돼 지어내는 빈도가 줄어듭니다.

근거 자료를 붙이면 왜 확인이 쉬워지나요?

자료 없이 물으면 답의 근거가 모델이 학습한 내용 속에 흩어져 있어 내가 대조할 원문 자체가 없습니다. 자료를 붙이면 답의 출처가 내가 준 자료 안으로 좁혀져, 답과 원문을 나란히 놓고 비교할 수 있습니다.

Anthropic 문서도 긴 자료를 다룰 때 원문 그대로의 인용을 먼저 뽑게 한 뒤 그 인용에 근거해 답하게 하라고 안내합니다. 자료에 없는 문장이 섞이면 붙일 인용이 없어 그 자리에서 바로 드러납니다.

예를 들어 보고서를 붙이고 "이 자료에 근거해서만 답하고, 자료에 없으면 없다고 말해 줘"라고 요청하면 답의 문장마다 대조할 자리가 생깁니다.

확인하기 쉬운 형태로 바꾼 예

작년 시장 규모를 그냥 물어보면 숫자를 지어낼 자리가 생기지만, 보고서를 붙이고 시장 규모가 적힌 문장을 그대로 찾아 달라고 하면 원문 대조가 한 번으로 끝납니다.

경쟁사 가격을 조사시킬 때도 같습니다. "가격을 알려 줘" 대신 "가격이 적힌 페이지 주소와 그 페이지의 문장을 그대로 가져와 줘"라고 바꾸면, 내가 확인할 일이 숫자의 진위 판별에서 주소가 열리는지 확인으로 줄어듭니다.

요청을 바꿔도 확인할 방법이 없는 질문이 남는다면, 그 부분은 AI에게 맡길 일이 아니라 사람이 직접 찾을 일로 넘깁니다.