컨텍스트 — AI가 아는 것의 범위

어제 말해 준 내용을 오늘 AI가 기억하지 못하는 데에는 구조적인 이유가 있습니다.

컨텍스트: 지금 이 대화창에 실제로 들어와 있는 정보의 범위
AI는 이 범위 밖의 내용을 알지 못합니다.
어제 다른 대화에서 말해 준 내용이 오늘 이어지지 않는 것도 그 내용이 지금 대화창 안에 없기 때문입니다.
대화가 길어지면 이 범위가 무거워졌다는 신호가 나타납니다.
- 답이 늘어집니다.
- 앞서 정한 기준을 놓친 것처럼 답합니다.
위 화면의 막대가 그 창입니다.
대화 한 번 더를 누를 때마다 지난 대화가 차지하는 부분이 넓어지고 답을 쓸 공간이 줄어듭니다.
한계를 넘으면 앞부분이 창 밖으로 밀려납니다.
컨텍스트 창: 담을 수 있는 양의 정해진 최대치
크기 단위: 토큰(AI가 글을 잘라 세는 단위). 한 낱말이 여러 조각으로 갈리기도 합니다.
이 범위를 함께 나눠 쓰는 것: 지난 대화, 화면에 보이지 않는 안내문, 이번 질문, 앞으로 쓸 답
앞부분이 길어지면 답에 쓸 공간이 줄어 답이 갑자기 짧아지기도 합니다.
이 신호가 오면 지금까지의 결정과 남은 일을 파일 하나로 정리한 뒤 새 대화를 시작합니다.
결정을 어디에도 적지 않고 대화창 하나로 며칠씩 이어가면 초반에 정한 기준이 흐려지거나 뒤집힙니다.
짧은 질문 하나로 끝나는 작업은 신경 쓰지 않아도 됩니다.

다르게 해보기

기본

이 대화 맨 앞에서 규칙 하나를 정할게: "앞으로 답은 항상 두 문장 이내로 해줘." 지금부터 서로 다른 질문 몇 개를 실제로 주고받은 다음, 이 규칙을 여전히 지키고 있는지 스스로 확인해 보세요.

내 일로

지금 하는 작업을 새 대화로 옮긴다면 AI가 몰라서 다시 알려줘야 하는 것들을 목록으로 뽑아줘: [지금까지 정한 내용이나 상황을 붙여넣기]. 목록에 빠진 게 있는지도 같이 점검해줘.

더 알아보기

새 대화에 무엇을 옮겨야 하나요?

지금까지 확정한 결정, 쓰기로 한 자료, 남은 작업 세 가지면 대개 이어집니다. 대화 전체를 복사해 붙이면 새 대화도 금방 무거워지므로, 과정은 버리고 결론만 옮깁니다.

상세페이지 작업이라면 "톤은 존댓말, 길이는 800자, 타깃은 30대 초반 직장인"처럼 정해진 값과 참고하라고 줬던 기존 페이지 링크, "혜택 문단만 다시 쓰기" 같은 남은 일이 옮길 목록입니다.

옮긴 뒤 첫 답이 앞 대화와 어긋나면 빠진 항목이 있다는 뜻이니, 그 항목을 목록에 더해 다시 보냅니다.

파일로 정리하면 무엇이 달라지나요?

대화창에만 있는 결정은 그 대화가 무거워지거나 닫히면 같이 사라지지만, 파일로 빼 두면 결정이 대화 밖에 남아 대화를 몇 번을 새로 열어도 같은 기준에서 다시 시작합니다.

새 대화를 열 때마다 그 파일 하나를 먼저 붙여넣으면 되니, 앞 대화를 뒤져 결정을 다시 찾아 옮기는 일이 없어집니다. 결정이 바뀌면 대화가 아니라 파일을 고칩니다.

한 시간에 끝나는 작업이라면 과한 준비이고, 며칠에 걸쳐 대화를 여러 번 열게 되는 작업부터 차이가 커집니다.

언제 새 대화를 여나요?

주제가 바뀔 때, 앞서 정한 기준을 다시 설명하게 될 때가 신호입니다. 답이 한 번 어긋났다고 바로 열 필요는 없고, 신호를 읽고 요약을 만들어 옮기는 절차는 별도 카드에서 단계별로 다룹니다.