AI가 할 수 있는 것과 못 하는 것
AI는 초안을 빠르게 만들지만 사실 확인, 외부 발송, 결제처럼 사람이 결정해야 하는 일도 있습니다.
AI(LLM)는 다음에 올 가장 그럴듯한 단어를 이어 붙여 답을 만들 뿐 사실을 확인하는 절차가 따로 없어서, 모르는 것을 물어도 빈자리를 그럴듯한 문장으로 채웁니다. 이렇게 지어낸 답을 환각이라고 부르는데, 아는 내용과 똑같은 말투로 나오기 때문에 문장만 읽어서는 가려낼 수 없습니다.
위 화면에서 직접 갈라 보세요. 지원사업 안내문 초안 한 문단에서 사람이 확인해야 하는 문장을 골라 표시하면, 맞춰 보기를 눌렀을 때 어디가 초안이고 어디가 확인 대상인지 이유와 함께 나옵니다. 날짜와 금액과 기관 이름이 확인 대상이고 나머지는 표현을 다듬어 그대로 쓰는 자리입니다.
검증 없이 쓰면 안 되는 답
정답이 하나로 정해져 있어서, 틀린 채로 내보내면 나중에 고쳐야 하는 내용입니다.
| 내가 하는 일 | AI가 지어낼 수 있는 것 | 확인하는 곳 |
|---|---|---|
| 지원사업 신청서 | 접수 마감일, 지원 한도 | 공고 원문 |
| 제안서·보고서 | 인용한 통계 숫자와 조사 연도 | 발표 기관의 원자료 |
| 거래처 메일 | 담당자 이름과 직함 | 최근 주고받은 메일 |
| 블로그 글 | 참고 자료로 붙인 URL | 링크를 눌러 열어 보기 |
| 계약·세금 안내 | 법 조항 번호와 문구 | 국가법령정보센터 |
논문·판례·기사처럼 출처를 다는 답은 제목과 저자가 자연스럽게 읽혀도 찾아보면 없는 경우가 있어서, 내용보다 그 자료가 있는지부터 확인합니다.
확인이 쉬운 답
이미 붙여 준 자료를 요약하거나 형식을 바꾸는 일, 초안을 다듬는 일, 아이디어를 넓히는 일은 대조할 근거가 눈앞에 있으니 확인이 한 번에 끝납니다.
“이 답이 맞는지 내가 직접 확인할 수 있는가”를 먼저 묻고, 확인할 방법이 없으면 근거 자료를 붙여 그 안에서만 답하게 요청을 바꿉니다. 메일 발송, 결제, 파일 삭제처럼 되돌리기 어려운 행동은 답의 정확도와 별개로 마지막 버튼을 사람이 누릅니다.