AI가 기억한다는 것
어제 대화를 못 알아듣는 이유예요. AI는 지난 일을 머릿속에 담아 두지 않아요. 대화창에 쌓인 글을 매번 통째로 다시 읽고 답하는 구조라서, 그 글이 없어지면 아는 것도 같이 없어져요.
쉽게 말하면
매일 다른 대타 직원이 출근하는 가게를 떠올려 보세요. 오늘 온 사람은 어제 사람이 아니에요. 어제 어떤 손님이 뭘 물었는지 하나도 몰라요. 그런데도 일이 굴러가는 이유는 딱 하나예요. 계산대에 인수인계 노트가 놓여 있고, 출근하자마자 그걸 처음부터 끝까지 읽고 시작하기 때문이에요. AI가 어제 대화를 아는 것처럼 보이는 것도 똑같은 이유예요. 기억한 게 아니라, 대화창에 적힌 글을 다시 읽은 거예요.
그래서 노트를 새로 꺼내면 아무것도 모르는 상태로 돌아가요. 새 대화창을 열었는데 어제 정한 걸 못 알아듣는 게 고장이 아니라 정상 동작이에요.
새 대화창은 노트가 백지예요. 어제 준 정보는 어제 그 창에만 남아 있어요.
필요한 것만 다시 적어 주는 데 20초 걸려요. 이 20초가 답 품질을 가장 크게 바꿔요.
한 번 물을 때마다 실제로 벌어지는 일
화면에는 내가 방금 친 한 줄만 보여요. 그런데 뒤에서는 그 한 줄만 가는 게 아니에요. 순서를 펼쳐 보면 이래요.
- 1내가 대화창에 한 줄을 적어요. 사장님 눈에는 이게 전부예요.
- 2지금까지의 대화 전체가 그 한 줄 앞에 붙어요. 내가 했던 말, AI가 했던 답, 붙여 넣은 자료가 전부 한 묶음이 돼요.
- 3AI는 그 묶음을 처음 보는 글처럼 읽어요. 여기가 핵심이에요. 기억을 꺼내는 게 아니라 매번 새로 읽어요.
- 4답이 나오고, 그 답도 대화창에 쌓여요. 다음 질문 때는 이 답까지 포함해서 다시 보내요.
- 5대화가 길어질수록 묶음이 두꺼워져요. 그래서 같은 질문인데도 뒤로 갈수록 값이 더 나가요.
여기서 요금이 나와요
묶음이 두꺼워진다는 건 매번 보내는 글자 수가 늘어난다는 뜻이에요. AI 요금은 주고받은 글자 양으로 매겨지니까, 대화 하나를 백 번째까지 끌고 가면 백 번째 질문 한 줄이 가장 비싼 질문이 돼요. 자세한 계산은 토큰 쪽에 있어요.
그 묶음을 올려 둘 수 있는 판에도 한계가 있어요. 넘치면 오래된 앞부분부터 밀려 나가요. 그 한계 이야기는 한 번에 기억하는 양에 따로 있어요.
헷갈리기 쉬운 것 세 가지
"기억"이라는 한 단어 안에 서로 다른 것 다섯 가지가 섞여 있어요. 이걸 갈라 놓으면 "왜 이건 기억하고 저건 못 기억해?"라는 답답함이 거의 사라져요.
| 부르는 말 | 실제로 하는 일 | 새 대화를 열면 |
|---|---|---|
| 지금 대화창의 기억 | 이 창에 쌓인 글을 매번 통째로 다시 보내요. 유일하게 저절로 되는 기억이에요 | 사라져요. 창이 다르면 남남이에요 |
| 고정해 둔 규칙 | 말투·금지사항 같은 걸 맨 앞에 붙박이로 넣어 둬요. 시스템 프롬프트가 이거예요 | 남아요. 새 대화에도 자동으로 앞에 붙어요 |
| 내가 붙여 준 자료 | 가격표·메뉴판처럼 내가 그때그때 넣어 주는 글이에요. 자료 붙여 주기 | 안 남아요. 넣을 때만 보여요 |
| 자료집에서 찾아 읽기 | 물어볼 때마다 우리 자료 창고에서 관련 부분만 꺼내 붙여요. RAG(내 자료 보고 답하기) | 남아요. 창고가 밖에 따로 있으니까요 |
| 모델이 배운 것 | 만들어질 때 세상 글을 익힌 부분이에요. 우리 가게 이야기는 여기 없어요 | 상관없어요. 내가 준 것으로 바뀌지 않아요 |
가장 중요한 오해 하나
내가 대화에서 알려 준 내용은 AI를 똑똑하게 만들지 않아요. 어제 우리 가게 사정을 열 번 설명했다고 해서 그게 모델 안에 쌓이는 게 아니에요. 그 대화창에만 적혀 있는 거예요. 그래서 "학습시켰는데 왜 몰라요?"라는 말이 나오는데, 실은 학습이 아니라 그때 읽게 해준 것이었어요.
요즘 제품 중에는 "기억하기" 버튼이 붙은 것도 있어요. 그것도 원리는 같아요. 사장님이 말한 걸 따로 메모로 저장해 두고, 다음에 물어볼 때 그 메모를 앞에 다시 붙여 주는 방식이에요. 저장하고 다시 붙이기, 이 두 동작 밖으로 나가는 방법은 없어요.
그래서 매번 어떻게 다시 알려 주나
"매번 다시 알려 준다"고 하면 매번 처음부터 다 타이핑하는 줄 아세요. 그럴 필요 없어요. 다시 알려 주는 일을 한 번만 준비해 두고 계속 쓰는 방법이 세 가지예요.
| 방법 | 이럴 때 써요 | 드는 수고 |
|---|---|---|
| 다섯 줄 요약을 만들어 옮겨 타기 | 대화가 길어져서 답이 흐려질 때. "지금까지 정한 걸 다섯 줄로 정리해줘" 하고 그 다섯 줄을 새 대화 첫 줄에 붙여요 | 20초. 가장 자주 쓰게 돼요 |
| 우리 가게 소개문 한 덩이를 메모장에 적어 두기 | 업종·손님층·말투처럼 매번 똑같이 들어가는 것. 새 대화 열 때마다 복사해서 맨 위에 붙여요 | 처음 5분, 그다음은 붙여넣기 한 번 |
| 규칙을 고정 자리에 넣어 두기 | "반말 쓰지 말 것" 같은 걸 매번 지적하게 될 때. 붙박이 자리에 한 번 적으면 새 대화에도 따라와요 | 처음 한 번. 시스템 프롬프트 참고 |
| 자료가 많아지면 자료집으로 옮기기 | 가격표·규정처럼 양이 많고 자주 바뀌는 것. 붙여넣기로 감당이 안 될 때 | 설치가 필요해요. RAG 쪽 일이에요 |
순서가 있어요
위에서 아래로 가는 순서를 지키세요. 1번으로 안 되면 2번, 2번으로 안 되면 3번이에요. 손님 스무 명 받는 가게에서 처음부터 자료집을 만들려고 하면 시간만 녹아요. 붙여넣기로 버틸 수 있을 때까지는 붙여넣기가 정답이에요.
실제로 겪는 장면
장면 1 · 어제 만들던 화면을 오늘 이어서 고치려고 할 때
“"어제 만든 예약 화면에서 버튼 색만 바꿔줘"라고 했더니 엉뚱한 화면을 새로 만들어요.”
어제 그 대화창이 아니라 새 창에서 말한 거예요. 새 창의 AI는 예약 화면이 뭔지 몰라요. 방법은 두 가지예요. 어제 그 대화를 다시 열어서 이어 말하거나, 새 창이라면 어떤 화면인지 한 줄로 다시 알려 주는 거예요. "손님이 날짜와 시간을 고르는 예약 화면이 있어요. 그 안의 신청 버튼 색을 남색으로 바꿔주세요" 이 정도면 충분해요.
장면 2 · 대화가 길어지자 아까 정한 규칙을 어기기 시작할 때
“분명 처음에 "가격은 절대 지어내지 말라"고 했는데, 한참 뒤부터 없는 가격을 말해요.”
규칙 종이가 판에서 밀려 떨어진 거예요. 대화가 길어지면 앞쪽부터 밀려 나가고, 밀려난 글은 AI가 아예 못 봐요. 어긴 게 아니라 못 본 거예요. 대처는 두 가지예요. 지금 대화에서 그 규칙 한 줄을 다시 적어 주거나, 매번 어기는 규칙이라면 붙박이 자리로 옮기는 거예요. 계속 같은 지적을 반복하고 있다면 그건 옮기라는 신호예요.
장면 3 · 손님용 챗봇을 열어 두었을 때
“우리 챗봇이 아침에 알려 준 배송 규정을 오후에 온 손님에게는 다르게 말해요.”
손님마다 대화창이 따로예요. 아침 손님에게 설명한 내용은 그 손님 창에만 남아요. 오후 손님 창은 백지에서 시작해요. 그러니 손님이 봐야 하는 규정은 대화로 알려 줄 게 아니라 모든 대화 앞에 자동으로 붙는 자리에 넣어야 해요. 챗봇을 열 계획이라면 손님 응대 챗봇 쪽을 같이 보세요.
자주 묻는 것
- Q. 그럼 대화를 절대 새로 열지 말고 하나만 계속 쓰면 되나요?
- 그것도 답이 아니에요. 대화가 길어지면 앞부분이 밀려 나가서 오히려 정확도가 떨어지고, 매번 보내는 양이 늘어 값도 더 나가요. 주제가 바뀌면 새로 여는 게 맞아요. 대신 새로 열 때 다섯 줄 요약을 들고 옮겨 타세요.
- Q. 예전 대화를 다시 열면 AI가 그때 내용을 기억하나요?
- 네, 그 창의 글이 남아 있으면 그걸 다시 읽고 이어서 답해요. 정확히 말하면 기억이 아니라 다시 읽기예요. 그래서 대화 기록을 지우면 그 대화에서 알려 준 것도 같이 사라져요.
- Q. 같은 내용을 매번 붙여 넣으면 요금이 계속 나가나요?
- 붙여 넣는 글도 보내는 양에 들어가니 값이 붙어요. 다만 같은 앞부분을 반복해서 보낼 때 값을 크게 줄여 주는 방법이 따로 있어요. 프롬프트 캐싱 쪽에 있는데, 붙여넣기 몇 줄 수준이면 신경 쓸 단계가 아니에요.
- Q. AI에게 우리 가게 자료를 학습시키려면 어떻게 하나요?
- 대부분의 경우 학습시킬 필요가 없어요. 물어볼 때 자료를 보여 주는 방식이 더 싸고, 더 빠르고, 자료가 바뀌었을 때 고치기도 쉬워요. 가격이 바뀌면 파일만 바꾸면 되니까요. 학습은 되돌리기가 어렵고 값도 커요. 자료를 보여 주는 방식은 자료 붙여 주기에서 시작하세요.
- Q. AI가 내 대화 내용을 다른 사람에게 흘리지는 않나요?
- 지금 대화의 내용이 다른 사람 대화창에 자동으로 나타나는 구조는 아니에요. 대화창은 서로 나뉘어 있어요. 다만 어떤 서비스든 대화 기록은 어딘가에 저장돼요. 그러니 손님 주민등록번호나 카드번호 같은 건 대화창에 붙여 넣지 않는 게 원칙이에요.
- Q. 어제 잘 나온 결과를 오늘 다시 얻으려면요?
- 그때 준 글을 그대로 다시 주는 게 가장 확실해요. 잘 나온 주문은 메모장에 따로 모아 두세요. 대화 기록은 지워지거나 묻히지만, 내 메모장은 안 없어져요. 결과를 조금씩 다듬어 가는 요령은 다시 시키기(리파인)에 있어요.
- Q. "아까 말한 거"라고 하면 못 알아들을 때가 있어요
- 그 "아까"가 이미 밀려 나갔거나, 대화가 길어서 어느 것을 가리키는지 흐려진 거예요. 사람에게 말하듯 가리키지 말고 그 내용을 한 줄로 다시 적어 주는 게 훨씬 빨라요. "아까 정한 색" 대신 "남색"이라고요.
확인하고 직접 해보기
확인해 보세요
어제 대화에서 우리 가게 사정을 자세히 설명했어요. 오늘 새 대화창을 열었어요. AI는 어떤 상태일까요?
하나 더
같은 지적("반말 쓰지 마세요")을 대화마다 반복하고 있어요. 어떻게 하는 게 좋을까요?
직접 해보기
다섯 줄 요약으로 옮겨 타기를 해보세요
스튜디오에서 대화를 하나 이어가다가, 답이 흐려진다 싶으면 "지금까지 정한 것을 다섯 줄로 정리해줘"라고 시켜 보세요. 나온 다섯 줄을 복사해서 새 대화 첫 줄에 붙이고 이어서 시켜 보세요. 같은 AI가 갑자기 말을 잘 듣는 걸 한 번 겪어 보면 이 문서 내용이 손에 붙어요.
스튜디오에서 해보기더 깊이 (안 읽어도 괜찮아요)
왜 애초에 기억하도록 안 만들었나 · 기억을 저장한다는 건 사람마다 다른 상태를 계속 들고 있다는 뜻이에요. 손님이 만 명이면 만 개의 상태를 유지해야 하고, 그중 하나가 오염되면 그 손님만 이상한 답을 받게 돼요. 매번 글을 통째로 다시 읽는 방식은 값은 더 들지만 같은 글을 주면 같은 상태에서 시작한다는 게 보장돼요. 문제가 생겼을 때 무엇을 보여 줬는지만 확인하면 원인을 찾을 수 있어요. 운영하는 입장에서는 이 예측 가능함이 기억보다 훨씬 값져요.
대화가 길어지면 왜 답이 흐려지나 · 판이 넘쳐서 앞부분이 밀려 나가는 게 첫 번째 이유예요. 두 번째 이유는 조금 달라요. 글이 아주 길어지면 밀려 나가지 않은 부분이라도 가운데 있는 내용을 놓칠 확률이 올라가요. 사람이 열 장짜리 문서를 읽을 때 가운데 페이지를 대충 넘기는 것과 비슷한 현상이에요. 그래서 중요한 규칙은 대화 중간이 아니라 맨 앞이나 맨 뒤에 두는 게 유리해요. 방금 적은 한 줄이 가장 잘 먹히는 이유이기도 해요.
"기억하기" 기능이 붙은 제품은 뭐가 다른가 · 다른 게 아니라 대신 해주는 것이에요. 사장님이 "우리 가게는 정육점이야"라고 말하면, 그걸 별도 메모에 저장했다가 다음 대화 맨 앞에 슬쩍 붙여 줘요. 편하지만 부작용이 하나 있어요. 무엇이 붙었는지 사장님 눈에 안 보인다는 거예요. 옛날에 잘못 저장된 메모 때문에 계속 엉뚱한 답이 나오는데 원인을 못 찾는 일이 생겨요. 그런 제품을 쓸 때는 저장된 메모 목록을 가끔 열어서 지우는 습관이 필요해요.
손님용 챗봇이라면 설계가 달라져요 · 혼자 쓸 때는 붙여넣기로 충분하지만, 손님이 쓰는 창구는 대화창이 손님 수만큼 열려요. 각 창에 매번 붙일 내용을 사람이 손으로 넣을 수 없어요. 그래서 손님용은 처음부터 모든 대화 앞에 자동으로 붙는 자리를 만들어 두고 거기에 규정을 넣어요. 자료가 많으면 창고에서 관련 부분만 꺼내 붙이는 방식으로 넘어가요. 혼자 쓰는 AI와 손님용 AI는 같은 기술이지만 준비하는 일이 다른 이유가 여기 있어요.
이것만 기억하세요
- ·AI는 기억하지 않아요. 대화창의 글을 매번 통째로 다시 읽는 거예요
- ·새 대화창은 백지예요. 어제 준 정보가 없는 게 고장이 아니라 정상이에요
- ·다시 알려 주는 가장 싼 방법은 다섯 줄 요약을 만들어 새 대화 첫 줄에 붙이는 거예요
- ·같은 지적을 세 번 반복하고 있다면 규칙을 붙박이 자리로 옮길 때예요
- ·내가 대화에서 알려 준 건 학습이 아니에요. 그때 읽게 해준 것뿐이에요