한 번에 기억하는 양

AI가 한 번에 눈에 담을 수 있는 글의 양에는 정해진 한계가 있어요. 내 주문, 붙여넣은 자료, 지금까지의 대화가 다 이 한 칸을 나눠 쓰고, 넘치면 오래된 앞부분이 밀려나서 AI가 못 봐요.

쉽게 말하면

계산대 위를 떠올려 보세요. 거기 올려놓을 수 있는 종이는 딱 그 판 크기만큼이에요. 주문서, 거래명세서, 어제 적어 둔 메모를 계속 올리다 보면 어느 순간 맨 처음 올려둔 종이가 밀려서 바닥으로 떨어져요. 떨어진 종이는 눈에 안 보이니까 없는 것과 같죠. AI도 똑같아요. 한 번에 눈에 담는 판이 정해져 있고, 대화가 쌓이면 처음에 올린 종이부터 밀려 나가요.

그 판의 크기가 한 번에 기억하는 양이에요. 개발자들은 컨텍스트 윈도우라고 불러요. 아주 긴 종이띠 위에 창문 하나만 얹어 놓고, 그 창에 보이는 만큼만 읽는다는 뜻이에요.

판이 넘친 대화

같은 대화 40번째 주문 "아까 정한 대로 고쳐줘"

처음에 정한 규칙 종이가 이미 밀려 떨어졌어요. AI는 그 규칙을 잊은 게 아니라 아예 못 보고 답해요.

판을 정리한 대화

새 대화 1번째 주문 "정한 것 3줄: 파란색·2단·전화번호 크게"

판을 비우고 꼭 필요한 종이만 다시 올린 셈이에요. 같은 AI가 갑자기 말을 잘 들어요.

판 위에 무엇이 올라가나

사장님이 시킨 한마디만 올라가는 게 아니에요. 자리를 차지하는 것이 다섯 가지쯤 돼요. 이게 눈에 보이면 왜 대화가 길어질수록 답이 흐려지는지 바로 이해돼요.

판에 올라가는 것	차지하는 자리	줄일 수 있나
지금 내가 시킨 한마디	작아요	굳이 줄일 필요 없어요
처음에 준 규칙과 말투 지침	생각보다 커요	짧게 다듬으면 줄어요. 다만 지우면 안 지켜져요
붙여넣은 문서·표·사진	보통 가장 커요	필요한 대목만 붙이면 확 줄어요
지금까지 주고받은 대화 전부	쌓일수록 계속 커져요	새 대화로 시작하면 처음으로 돌아가요
AI가 지금 써 낼 답	미리 자리를 비워 둬야 해요	"짧게 답해줘" 한마디가 자리를 아껴요

답이 들어갈 자리도 판에서 나가요

AI가 만들어 낼 답도 같은 판을 써요. 그래서 판이 거의 찬 상태에서 긴 코드를 만들어 달라고 하면, 자리가 없어서 답이 중간에 끊기는 일이 생겨요. 답이 갑자기 뚝 끊겼다면 실력 문제가 아니라 자리 문제일 때가 많아요.

넘치면 무슨 일이 생기나

1대화가 열 마디, 스무 마디 쌓여요. 판 위 종이가 늘어나요.
2판이 꽉 차요. 오래된 종이부터 밀려 나가요. 보통 맨 처음에 준 규칙이 제일 먼저 밀립니다.
3AI는 밀려 나간 종이를 아예 못 봐요. 흐릿하게 기억하는 게 아니라 처음부터 안 보이는 거예요.
4그래서 처음에 정한 색이나 가격을 되돌려 놓고, 이미 알려드린 걸 또 물어요. 고장이 아니라 판이 넘친 겁니다.

넘칠 때 프로그램이 하는 처리는 두 가지예요. 하나는 "글이 너무 길어요"라고 거절하는 것이고, 하나는 조용히 앞부분을 잘라내고 대답하는 것이에요.

조용히 잘리는 쪽이 더 무서워요

거절당하면 바로 알아차리고 나눠서 물어보면 돼요. 그런데 조용히 잘리면 AI가 아주 자신 있게 틀린 답을 해요. 대화가 길어졌는데 답이 이상해졌다면 지어내기가 아니라 판이 넘친 것일 수 있어요. 원인이 다르면 처방도 달라요.

이런 증상이면 판이 넘친 거예요

이런 증상	숨은 원인	이렇게 하세요
처음에 정한 규칙을 무시해요	규칙 종이가 밀려 나갔어요	규칙 세 줄을 지금 한마디에 다시 적어 주세요
고쳐 놓은 것이 원래대로 돌아왔어요	고친 기록이 판에서 빠졌어요	새 대화를 열고 지금 상태부터 알려 주세요
아까 알려드린 걸 또 물어요	그 대답이 이제 안 보여요	필요한 사실만 짧게 다시 적어 주세요
긴 문서를 붙였는데 뒷부분만 답해요	앞부분이 잘렸어요	문서를 나눠서 한 대목씩 물어보세요
답이 갈수록 두루뭉술해져요	판이 거의 찼어요	여기까지를 다섯 줄로 요약받아 새 대화로 옮기세요

사장님이 실제로 겪는 장면

장면 1 · 외주 개발자가 말했다

“대화가 너무 길어서 컨텍스트가 꽉 찼어요. 새 창 열고 요약만 넘길게요.”

이제 해석돼요. 판이 꽉 차서 앞부분이 밀려 나가고 있으니, 판을 비우고 꼭 필요한 종이만 다시 올리겠다는 뜻이에요. 일을 다시 시작하는 게 아니라 정리하는 거니까 걱정할 말이 아니에요.

장면 2 · 스무 번째 수정에서 색이 되돌아왔다

“분명 처음에 파란색으로 하자고 했는데, 고칠수록 원래 색으로 돌아와요.”

처음 약속이 판에서 밀려 나갔어요. AI가 말을 안 듣는 게 아니라 그 약속이 안 보이는 거예요. 지금 한마디에 "색은 파란색으로 고정"이라고 다시 못 박으면 바로 지켜져요.

장면 3 · 약관 스무 장을 통째로 붙여넣었다

“이용약관 전체를 붙였는데 엉뚱한 조항 얘기를 해요.”

판보다 큰 서류를 올린 거예요. 앞부분이 잘렸거나, 다 들어갔더라도 가운데 있는 대목은 흐리게 다뤄져요. 알고 싶은 조항 한 대목만 잘라 붙이는 쪽이 정확하고 값도 싸요.

넘치지 않게 쓰는 방법

1주제가 바뀌면 새 대화를 여세요. 명함 만들기와 예약 화면 만들기가 같은 판을 쓸 이유가 없어요.
2긴 대화는 요약으로 옮겨 타세요. "지금까지 정한 것을 다섯 줄로 정리해줘"라고 하고, 그 다섯 줄만 새 대화에 붙여요. 이사할 때 쓸 것만 골라 옮기는 것과 같아요.
3꼭 지킬 규칙은 맨 마지막 한마디에 다시 적어요. 판이 차면 앞에서부터 밀리니까, 최근 한마디에 있는 규칙이 가장 확실하게 지켜져요.
4문서는 통째로 말고 대목만. 스무 장 중 필요한 반 장만 붙이면 판도 여유롭고 답도 정확해요.
5한 번에 하나만 고쳐요. 열 가지를 한꺼번에 시키면 AI가 긴 답을 써야 하고, 그 긴 답이 판을 크게 먹어요.

새 대화가 손해처럼 느껴질 때

여태 쌓은 대화를 버리는 게 아까울 수 있어요. 그런데 판이 넘친 대화에서 계속 고치면 값은 값대로 나가고, AI는 처음 약속을 못 본 채로 답해요. 요약 다섯 줄을 들고 새로 시작하는 쪽이 거의 항상 빠르고 쌉니다.

자주 묻는 것

Q. AI가 어제 한 얘기를 기억하나요?: 아니요. 판은 한 번 답할 때마다 새로 차려져요. 어제 대화를 기억하는 것처럼 보인다면, 그 프로그램이 어제 기록을 판 위에 다시 올려 주고 있는 거예요. 사람의 기억이 아니라 매번 다시 읽히는 서류예요.
Q. 판이 크면 무조건 좋은 건가요?: 자리가 넉넉한 건 좋아요. 다만 판에 올린 종이는 매번 전부 다시 읽혀요. 그래서 크게 채워 쓰면 한 마디 값이 올라가고 답도 느려져요. 토큰에서 말한 저울 이야기와 같은 이유예요.
Q. 얼마나 긴 대화까지 되나요?: 제품마다 크게 달라요. 짧은 것은 몇 장 분량이고, 요즘 큰 것은 책 한 권을 한 번에 볼 수 있어요. 정확한 숫자를 외우는 것보다 길어지면 흐려진다는 감각을 갖는 게 실전에 도움이 돼요.
Q. 긴 파일을 붙였는데 거절당했어요. 제가 잘못한 건가요?: 아니요. 판보다 큰 서류를 올린 것뿐이에요. 반으로 나눠 두 번 물어보면 됩니다. 오히려 조용히 잘리지 않고 알려 준 쪽이 친절한 동작이에요.
Q. 판 안에만 있으면 다 똑같이 잘 보나요?: 판 안에 있어도 가운데 있는 내용은 앞뒤보다 흐릿하게 다뤄지는 경향이 있어요. 그래서 절대 어기면 안 되는 조건은 맨 마지막에 한 번 더 적는 게 안전해요.
Q. 대화를 지우면 판이 비워지나요?: 새 대화를 시작하면 비워져요. 다만 앞 대화에서 정한 내용도 같이 사라지니까, 지우기 전에 정한 것을 요약받아 두는 습관을 들이세요. 그 요약이 다음 판의 첫 종이가 돼요.

헷갈리기 쉬운 것

이게 AI의 기억력인가요? 아니에요. 기억력은 시간이 지나며 서서히 흐려지는 것이고, 이건 한 번에 눈에 담기는 면적이에요. 판 위에 있으면 보고, 밀려 나가면 아예 안 봐요. 어중간하게 희미해지는 게 아니라 있고 없고예요.

토큰과는 뭐가 달라요? 토큰은 저울의 단위이고, 이건 저울판의 크기예요. 토큰은 "이 말이 몇 근인가"를 재고, 판은 "몇 근까지 올려놓을 수 있나"를 정해요. 같은 단위로 이야기되니까 늘 붙어서 나와요.

확인해 보세요

스무 번 넘게 이어온 대화에서, 처음에 정한 파란색이 자꾸 원래 색으로 돌아와요. 가장 좋은 대처는?

하나 더

이용약관 스무 장 중 환불 조항 하나만 물어보려고 해요. 어떻게 하는 게 좋을까요?

직접 해보기

요약해서 옮겨 타기를 한 번 해 보세요

스튜디오에서 대화가 길어졌을 때 "지금까지 정한 것을 다섯 줄로 정리해줘"라고 시켜 보세요. 그 다섯 줄을 새 대화 첫 줄에 붙이면 판이 깔끔해집니다. 한 번 해 보면 감이 잡혀요.

스튜디오 열기

더 깊이 (안 읽어도 괜찮아요)

왜 하필 창문이라고 부르나 · 개발자들이 쓰는 말이 컨텍스트 윈도우예요. 아주 긴 종이띠 위에 창문 하나를 얹어 두고, 창에 보이는 부분만 읽는다고 상상하면 정확해요. 종이띠가 길어지면 창이 앞으로 밀려가고, 창 뒤로 빠진 부분은 읽히지 않아요. 계산대 비유의 판이 바로 이 창이에요.

판 안에서도 자리에 따라 다르다 · 창 안에 다 들어갔는데도 맨 앞과 맨 뒤를 가운데보다 또렷하게 다루는 경향이 알려져 있어요. 긴 자료를 붙일 때 꼭 봐야 할 대목을 맨 뒤에 한 번 더 적어 주는 실전 요령이 여기서 나와요.

요약해서 옮겨 타는 일은 프로그램도 한다 · 대화가 길어지면 앞부분을 자동으로 요약해 압축하고 자리를 비우는 장치를 넣은 도구가 많아요. 사람이 손으로 하는 "다섯 줄로 정리해줘"와 원리가 같아요. 다만 기계가 눌러 담았으니 세부 숫자는 빠질 수 있어서, 가격이나 날짜처럼 틀리면 안 되는 값은 스스로 다시 적어 주는 편이 안전해요.

이것만 기억하세요

·AI가 한 번에 볼 수 있는 판의 크기는 정해져 있어요
·내 주문·붙인 자료·지금까지의 대화·AI가 쓸 답이 그 판을 나눠 써요
·넘치면 오래된 앞부분이 밀려나서 아예 안 보여요
·규칙을 무시하거나 고친 게 되돌아오면 판이 넘친 신호예요
·요약 다섯 줄만 들고 새 대화로 옮겨 타세요