컨텍스트 — AI가 아는 것의 범위
어제 말해 준 내용을 오늘 AI가 기억하지 못하는 데에는 구조적인 이유가 있습니다.
컨텍스트는 지금 이 대화창에 실제로 들어와 있는 정보의 범위라서, AI는 이 범위 밖의 내용을 알지 못합니다. 어제 다른 대화에서 말해 준 내용이 오늘 이어지지 않는 것도 그 내용이 지금 대화창 안에 없기 때문입니다.
대화가 길어지면 이 범위가 무거워졌다는 신호가 나타납니다.
- 답이 늘어집니다.
- 앞서 정한 기준을 놓친 것처럼 답합니다.
위 화면의 막대가 그 창입니다. 대화 한 번 더를 누를 때마다 지난 대화가 자리를 넓히고 답을 쓸 자리가 줄어들며, 한계를 넘으면 앞부분이 창 밖으로 밀려납니다.
담을 수 있는 양에도 정해진 최대치가 있고 이를 컨텍스트 창이라고 부릅니다. 크기는 토큰 수로 정해지는데, 토큰은 AI가 글을 잘라 세는 단위여서 한 낱말이 여러 조각으로 갈리기도 합니다. 이 범위는 지난 대화만 쓰는 것이 아니라 화면에 보이지 않는 안내문과 이번 질문, 앞으로 쓸 답까지 함께 나눠 쓰기 때문에, 앞부분이 길어지면 답에 쓸 자리가 줄어 답이 갑자기 짧아지기도 합니다.
이 신호가 오면 지금까지의 결정과 남은 일을 파일 하나로 정리한 뒤 새 대화를 시작합니다. 결정을 어디에도 적지 않고 대화창 하나로 며칠씩 이어가면 초반에 정한 기준이 흐려지거나 뒤집힙니다.
짧은 질문 하나로 끝나는 작업은 신경 쓰지 않아도 됩니다.