컨텍스트 — AI가 아는 것의 범위

컨텍스트는 지금 이 대화창에 실제로 들어와 있는 정보의 범위라서, AI는 이 범위 밖의 내용을 알지 못합니다. 어제 다른 대화에서 말해 준 내용이 오늘 이어지지 않는 것도 그 내용이 지금 대화창 안에 없기 때문입니다.

대화가 길어지면 이 범위가 무거워졌다는 신호가 나타납니다.

• 답이 늘어집니다.
• 앞서 정한 기준을 놓친 것처럼 답합니다.

위 화면의 막대가 그 창입니다. 대화 한 번 더를 누를 때마다 지난 대화가 자리를 넓히고 답을 쓸 자리가 줄어들며, 한계를 넘으면 앞부분이 창 밖으로 밀려납니다.

담을 수 있는 양에도 정해진 최대치가 있고 이를 컨텍스트 창이라고 부릅니다. 크기는 토큰 수로 정해지는데, 토큰은 AI가 글을 잘라 세는 단위여서 한 낱말이 여러 조각으로 갈리기도 합니다. 이 범위는 지난 대화만 쓰는 것이 아니라 화면에 보이지 않는 안내문과 이번 질문, 앞으로 쓸 답까지 함께 나눠 쓰기 때문에, 앞부분이 길어지면 답에 쓸 자리가 줄어 답이 갑자기 짧아지기도 합니다.

이 신호가 오면 지금까지의 결정과 남은 일을 파일 하나로 정리한 뒤 새 대화를 시작합니다. 결정을 어디에도 적지 않고 대화창 하나로 며칠씩 이어가면 초반에 정한 기준이 흐려지거나 뒤집힙니다.

짧은 질문 하나로 끝나는 작업은 신경 쓰지 않아도 됩니다.

이 대화 맨 앞에서 규칙 하나를 정할게: "앞으로 답은 항상 두 문장 이내로 해줘." 지금부터 서로 다른 질문 몇 개를 실제로 주고받은 다음, 이 규칙을 여전히 지키고 있는지 스스로 확인해 보세요.

지금 하는 작업을 새 대화로 옮긴다면 AI가 몰라서 다시 알려줘야 하는 것들을 목록으로 뽑아줘: [지금까지 정한 내용이나 상황을 붙여넣기]. 목록에 빠진 게 있는지도 같이 점검해줘.