같은 것을 또 물으면 싸지는 이유

방금 읽힌 자료를 다시 읽힐 때 값을 깎아 주는 구조가 있어요. 대화를 이어 가는 편이 새로 시작하는 편보다 싼 이유이고, 자료를 앞에 두느냐 뒤에 두느냐로 그 할인을 살리거나 날려요.

쉽게 말하면

전단지를 뽑으러 가면 복사집에서 먼저 인쇄판을 떠요. 판 뜨는 값이 따로 붙어서 첫 장은 오히려 비싸죠. 그다음부터는 그 판으로 눌러 찍기만 하니 한 장 값이 확 내려가요. AI에게 같은 자료를 다시 읽힐 때 값이 깎이는 구조가 정확히 이거예요. 처음 읽힐 때 판을 떠 두고, 다음부터는 그 판을 다시 눌러요. 판을 뜨는 것도, 다시 누르는 것도 값이 다르게 매겨져요.

매번 새로 시작할 때

요청 1: 가게 안내문 전문 + 질문 요청 2: 가게 안내문 전문 + 질문 안내문 값을 두 번 다 전액

사람 눈에는 같은 안내문이지만, 판을 안 떴으니 매번 처음부터 읽어요. 안내문이 길면 그게 요금의 대부분이에요.

이어서 물을 때

요청 1: 안내문(판 뜨기) + 질문 요청 2: 판 재사용 + 질문 안내문 값이 10분의 1 수준

안내문 구간만 판에서 읽어요. 뒤에 붙는 질문은 매번 새 글자라서 그대로 값이 붙고요.

조건이 하나 있어요. 앞부분이 글자 하나까지 똑같아야 판이 재사용돼요. 쉼표 하나만 달라도 그 지점부터 뒤는 전부 새로 읽어요. 이 문서의 나머지는 사실상 그 조건 하나를 지키는 방법이에요.

값이 얼마나 달라지나

AI 요금은 토큰이라는 단위로 재요. 판을 쓰면 그 토큰 값이 상태에 따라 세 가지로 갈려요. 아래 배수는 원래 값을 1로 봤을 때예요.

상태	값	언제 생기나
그냥 새로 읽힘	1배 (기준값)	판을 뜨라는 표시가 없거나, 앞부분이 달라져서 판이 깨졌을 때
판 뜨기 (짧게 보관)	1.25배	5분짜리 판을 처음 만들 때. 첫 회는 오히려 조금 더 비싸요
판 뜨기 (길게 보관)	2배	1시간짜리 판을 만들 때. 오래 보관할수록 판값이 비싸요
판 재사용	10분의 1 수준	앞부분이 그대로일 때. 여기서 돈이 벌려요

그래서 본전이 되는 지점이 계산돼요. 5분 판은 두 번째 요청부터 이득이에요(1.25 더하기 0.1은 1.35, 그냥 두 번 읽히면 2니까요). 1시간 판은 판값이 2배라 세 번 이상 써야 본전이에요.

한 번만 쓸 자료에는 걸지 마세요

딱 한 번 물어볼 자료에 판을 뜨면 1.25배만 내고 끝이에요. 재사용이 없으면 캐싱은 절약이 아니라 순손해예요. 켜고 끄는 스위치가 아니라 재사용 횟수에 걸린 계산이라고 보는 게 맞아요.

왜 하필 앞부분인가

먼저 오해 하나를 풀어야 해요. AI는 대화를 기억하고 있는 게 아니에요. 요청할 때마다 그때까지의 말 전부를 처음부터 다시 읽어요. 대화가 길어질수록 매 요청에서 읽는 양이 계속 불어나는 이유예요. 이 구조는 맥락 창 쪽에서 따로 다뤄요.

매번 다시 읽는다면, 어제 읽은 것을 오늘 또 읽는 값도 매번 나가요. 그 낭비를 깎아 주는 게 이 기능이에요. 단 조건이 있어요. 판은 앞에서부터 어디까지 라는 식으로만 떠져요. 중간만 오려서 판으로 만들 수는 없어요.

1AI는 늘 도구 목록부터 읽어요. 쓸 수 있는 기능들의 설명서예요. 이게 맨 앞이에요.
2다음이 기본 지시문이에요. 손님이 무슨 말을 하든 앞에 깔리는 말이고요. 기본 지시문 쪽에 자세히 있어요.
3그다음이 대화 기록이에요. 오래된 말부터 순서대로요.
4여기서 "이 지점까지 판을 떠 두세요"라고 표시해요. 표시는 한 요청에 네 군데까지 둘 수 있어요.
5다음 요청에서 그 지점까지가 글자 하나까지 같으면 그 구간은 판에서 읽어요. 한 글자라도 다르면 그 지점부터 뒤 전부 새로 읽어요.

여기가 핵심이에요

앞의 한 글자가 뒤 전부를 무효로 만들어요. 그래서 이 기술의 전부는 배치예요. 자주 바뀌는 것은 뒤로, 안 바뀌는 것은 앞으로. 표시를 어디에 찍느냐보다 이 순서가 훨씬 중요해요.

판을 조용히 깨는 것들

제대로 걸어 뒀는데도 할인이 하나도 안 붙는 일이 아주 흔해요. 오류가 나지 않고 그냥 값이 안 깎이기만 하니까 몇 달을 모르고 지나가요. 원인은 대개 아래 중 하나예요.

깨뜨리는 것	왜 깨지나	고치는 법
지시문 맨 앞에 오늘 날짜나 현재 시각	요청마다 앞부분이 달라져요. 그 뒤 전부 새로 읽어요	날짜는 맨 뒤 질문 쪽에 붙여요. 앞은 건드리지 않아요
지시문에 손님 이름이나 주문번호를 끼워 넣기	손님마다 판이 따로 생겨요. 아무도 남의 판을 못 눌러요	공통 지시문은 그대로 두고, 손님별 정보는 뒤에 붙여요
도구 목록을 중간에 추가하거나 삭제하거나 순서 바꾸기	도구 목록이 맨 앞이에요. 여기가 바뀌면 그 뒤 전부 무효예요	도구는 처음에 정해서 고정해요. 순서까지 고정이에요
쓰는 모델을 바꿈	판은 모델마다 따로예요. 다른 모델에서는 아예 안 맞아요	한 흐름 안에서는 모델을 고정해요
자료를 정리해서 뽑는 순서가 매번 다름	사람 눈엔 같은 내용인데 글자 순서가 달라요. 컴퓨터에겐 다른 자료예요	정렬 기준을 정해 두고 항상 같은 순서로 뽑아요
판으로 묶을 자료가 너무 짧음	판을 뜰 수 있는 최소 길이가 있어요. 그보다 짧으면 조용히 안 떠져요	최소 길이는 모델마다 달라요. 쓰는 모델의 공식 안내에서 확인하세요

확인하는 방법이 있어요. 사용량 내역에 판에서 읽은 양이 따로 찍혀요. 같은 앞부분으로 여러 번 요청했는데 그 숫자가 계속 0이면, 표시를 잘못한 게 아니라 위 표 중 하나에 걸린 거예요. 요금 줄었나 다음 달 청구서를 기다리는 건 한 달을 버리는 일이에요.

판은 오래 남지 않아요

복사집도 판을 영구 보관하지는 않죠. 자리를 차지하니까요. 이쪽도 같아요. 판에는 유지 시간이 있고, 오래 보관할수록 판값이 비싸져요.

보관	유지 시간	판값	맞는 상황
기본	마지막으로 쓴 뒤 5분	1.25배	손님이 연달아 말을 붙이는 상담창처럼, 요청이 촘촘히 붙어 있을 때
길게	1시간	2배	오전에 한 번 오후에 한 번처럼 띄엄띄엄 쓸 때. 대신 세 번 이상 써야 본전이에요

시간은 쓸 때마다 다시 세요

5분은 판을 뜬 시점이 아니라 마지막으로 쓴 시점부터 다시 세요. 대화가 이어지는 동안에는 판이 계속 살아 있어요. 손님이 5분 넘게 가만히 있다가 다시 말을 걸면 판은 이미 사라졌고, 그 말에 판을 뜨는 값이 다시 붙어요. 대화가 끊겼다 이어질 때 첫 응답이 유난히 느린 것도 같은 이유예요.

사장님이 실제로 겪는 장면

장면 1 · 개발 업체가 이렇게 설명했다

“기본 지시문에 캐싱을 걸어 뒀습니다. 두 번째 요청부터 입력 비용이 90퍼센트 줄어듭니다.”

이제 해석돼요. 늘 앞에 깔리는 말까지를 판으로 떠 두고, 그다음 요청부터 그 구간을 싸게 읽겠다는 뜻이에요. 여기서 물어볼 것은 기술 이름이 아니라 두 가지예요. "실제로 판에서 읽힌 양이 사용량에 찍히는지 보여 주실 수 있나요?"와 "그 지시문 안에 날짜나 손님 정보가 들어가 있지는 않나요?" 걸어 두는 것과 실제로 걸리는 것은 다른 일이에요.

장면 2 · 켰는데 요금이 오히려 늘었다

“캐싱을 켰는데 지난달보다 조금 더 나왔어요. 손님이 질문 하나만 하고 나가는 서비스예요.”

고장이 아니고 계산대로 나온 결과예요. 판값 1.25배만 내고 재사용을 못 한 거예요. 한 손님이 한 번만 묻고 끝나는 구조라면, 손님끼리 공통인 앞부분만 판으로 묶어야 이득이 나요. 기본 지시문과 가게 안내문은 모든 손님에게 똑같으니까요. 그러면 앞 손님이 뜬 판을 뒷 손님이 눌러 써요. 지시문 앞에 손님 이름을 끼워 넣었다면 그게 안 되고, 지금 요금이 그 증거예요.

바이브캠퍼스에서는 어떻게 쓰이나

바이브캠퍼스는 AI에게 말을 걸 때 이 구조를 이미 쓰고 있어요. 빌드와 채팅, 상담 도우미의 기본 지시문 구간에 판 표시가 붙어 있어요. 그래서 한 프로젝트 안에서 이어서 고칠 때가 매번 새로 시작할 때보다 원가가 적게 들어요.

다만 사장님이 내는 값은 다르게 정해져요. 바이브캠퍼스는 작업마다 [[credits|크레딧]] 값이 미리 정해져 있고, 누르기 전에 그 값이 화면에 보여요. 그래서 이 절약이 그때그때 크레딧 숫자를 깎아 주지는 않아요. 대신 값을 미리 확정해서 보여줄 수 있는 쪽에 쓰여요. 원가가 요청마다 출렁이면 애초에 값을 미리 못 보여주니까요.

이 문서가 사장님 청구서 이야기가 되는 순간은 하나예요. 만든 서비스에 AI를 직접 붙여서 손님에게 열고, 그 요금이 사장님 계정에서 나갈 때요. 그때부터는 남의 기술이 아니라 AI 비용과 열쇠 관리가 사장님 몫이에요. 이 문서의 표 두 개를 그대로 요구서에 옮겨 쓸 수 있어요.

직접 해보기

새 대화와 이어서 고치기를 나란히 해 보세요

같은 화면을 두 번 만들어 보세요. 한 번은 대화를 이어서 "여기 색만 바꿔 주세요"라고요. 한 번은 새 대화를 열어 처음부터 다시 설명하고요. 사장님이 다시 설명해야 하는 말의 양과 첫 응답이 나오는 속도를 나란히 놓고 보면, 앞부분을 재사용한다는 게 무슨 뜻인지 설명보다 빨리 이해돼요.

스튜디오 열기

남에게 맡길 때 확인할 것

직접 만들지 않아도 아래 다섯 줄만 확인하면 "걸어 놨는데 안 걸린 상태"를 막을 수 있어요. 새 기능을 요구하는 게 아니라 이미 한 일을 보여 달라는 것이라 추가 비용이 붙을 일도 아니에요.

확인할 것	왜	이렇게 물어보세요
판에서 읽은 양을 숫자로	숫자로 보지 않으면 걸렸는지 알 수 없어요. 이게 없으면 나머지는 다 짐작이에요	"같은 요청을 두 번 보낸 사용량 내역을 그대로 보여 주세요"
앞부분에 매번 바뀌는 값이 없는지	날짜 한 줄, 손님 이름 한 줄이 절약을 통째로 날려요	"지시문 맨 앞에 날짜나 손님 이름이 들어가나요?"
도구 목록과 모델이 고정인지	둘 중 하나만 흔들려도 판이 매번 새로 떠요	"도중에 도구를 붙이거나 모델을 바꾸는 곳이 있나요?"
보관 시간을 무엇으로 잡았는지	요청이 오는 간격과 안 맞으면 판값만 더 내요	"요청이 보통 몇 분 간격으로 오나요? 그 기준으로 5분과 1시간 중에 정했나요?"
묶는 구간이 최소 길이를 넘는지	짧으면 조용히 안 떠요. 오류도 안 나서 알 방법이 없어요	"판으로 묶는 구간이 쓰는 모델의 최소 길이를 넘나요?"

이 표는 외주 요구서에 그대로 옮겨 쓸 수 있어요. 인수받을 때 사용량 화면을 볼 수 있는 권한까지 같이 받아야 한다는 점은 인수인계 쪽 규칙과 같아요. 남이 만든 절약은 사장님이 확인할 수 있어야 절약이에요.

자주 묻는 것

Q. 그럼 한 대화를 길게 이어가는 게 무조건 싼가요?: 아니에요. 두 힘이 반대로 당겨요. 이어가면 앞부분은 판에서 싸게 읽지만, 대화가 길어질수록 읽어야 하는 양 자체가 계속 불어나요. 10분의 1이라도 양이 열 배가 되면 본전이에요. 주제가 바뀌었으면 새 대화를 여는 편이 싸고 정확해요. 이어가기는 같은 일을 계속할 때만 이득이에요.
Q. 표시만 해 두면 알아서 되는 건가요?: 표시는 꼭 필요하지만 그것만으로는 안 돼요. 앞부분이 매번 같아야 붙어요. 켜 놓고 실제로 걸리는지 확인하지 않으면, 절약은 없이 판값 1.25배만 내고 있을 수 있어요. 확인 방법은 사용량의 판에서 읽은 양 하나예요.
Q. 이건 AI가 내 자료를 기억한다는 뜻인가요?: 아니에요. 기억이 아니라 다시 읽는 값을 깎아 주는 거예요. 판이 사라지면 같은 자료를 처음부터 다시 보내야 해요. AI가 대화를 기억하는 것처럼 보이는 이유는 매번 대화 전부를 다시 보내기 때문이고, 그 이야기는 맥락 창 쪽이에요.
Q. 할인 비율과 유지 시간은 어디서나 같나요?: 서비스마다 다르고, 바뀌기도 해요. 여기 적은 숫자는 널리 쓰이는 기준이지만 단정할 수 있는 값이 아니에요. 계약 전에 쓰는 서비스의 요금 안내에서 직접 확인하세요. 이 기능 자체가 없는 서비스도 있어요.
Q. 판에 손님 개인정보가 남는 건 아닌가요?: 판은 보낸 내용을 짧게 두는 저장이라, 어떤 데이터가 어디에 얼마나 남는지는 그 서비스의 데이터 처리 조항에 달려 있어요. 여기서 단정하면 안 되는 부분이에요. 손님 정보가 들어가는 자료라면 확인 전에는 여러 손님이 공유하는 앞부분에 넣지 마세요. 손님 정보 쪽 규칙이 먼저예요.
Q. 우리 서비스에도 이걸 해야 하나요?: 판단 기준 셋이에요. 손님마다 똑같이 들어가는 앞부분(기본 지시문·규정·안내문)이 있고, 그게 자료 몇 장 분량은 되고, 요청이 하루에 여러 번 온다. 셋이 다 맞으면 해요. 하나라도 아니면 지금은 안 해도 돼요. 나중에 손님이 늘면 그때 하면 되고요.
Q. 속도도 빨라지나요?: 네, 그게 두 번째 이득이에요. 이미 읽은 구간을 다시 읽지 않으니 첫 글자가 나오기까지가 짧아져요. 손님을 기다리게 하는 상담창에서는 요금보다 이 차이가 더 크게 느껴질 때도 있어요.

헷갈리기 쉬운 것

비유가 어디까지 맞나. 인쇄판 비유는 "먼저 판값을 내고, 다음부터 싸게 찍는다"까지 정확해요. 다른 점이 셋 있어요. 판이 몇 분 만에 사라진다는 점, 판이 문서의 앞부분만 덮는다는 점(뒤에 붙는 질문은 매번 새로 조판해요), 그리고 인쇄기를 바꾸면(모델을 바꾸면) 판이 안 맞는다는 점이에요.

웹사이트 캐시와 같은 건가. 뿌리는 같고 규칙이 달라요. 웹사이트 캐시는 낡은 값을 손님에게 보여줄 위험을 같이 안아요. 이쪽은 그 위험이 없어요. 보낸 자료가 글자 하나라도 다르면 아예 재사용을 안 하니까요. 대신 그 엄격함 때문에 조용히 안 걸려요. 저쪽 사고는 "지난주 가격이 나온다"이고, 이쪽 사고는 "할인이 안 붙는다"예요.

판을 쓰면 답이 달라지나. 안 달라져요. 값과 속도만 바뀌어요. 같은 자료를 같은 모델에 넣는 것이라 답의 질은 그대로예요. 캐싱을 켠 뒤에 답이 나빠졌다면 원인은 다른 곳이에요. 지시문을 손보면서 앞부분 배치를 바꿨는지부터 보세요.

자료를 통째로 넣는 것과 헷갈리지 마세요. 판은 자료를 어떻게 싸게 다시 읽힐까의 답이고, 자료가 커서 다 안 들어갈 때 필요한 부분만 골라 넣는 것은 내 자료 읽히기예요. 둘은 같이 써요. 골라 온 조각은 매번 달라지니 뒤에 붙이고, 늘 같은 지시문은 앞에 둬서 판으로 묶어요.

확인해 보세요

기본 지시문 맨 앞에 오늘 날짜를 자동으로 넣고 있어요. 캐싱을 켰는데 할인이 하나도 안 붙어요. 왜일까요?

하나 더

손님이 질문 하나 하고 나가고, 손님마다 다른 자료 한 장씩만 넣는 서비스예요. 캐싱을 켜야 할까요?

마지막

걸어 둔 캐싱이 실제로 작동하는지 확인하는 가장 빠른 방법은?

더 깊이 (안 읽어도 괜찮아요)

한꺼번에 여러 개를 던지면 할인이 안 붙어요 · 판은 첫 요청의 답이 나오기 시작한 뒤부터 읽을 수 있어요. 그래서 같은 앞부분으로 열 개를 동시에 던지면 열 개가 다 전액이에요. 아직 없는 판을 아무도 읽을 수 없으니까요. 하나를 먼저 보내고 답이 나오기 시작한 뒤에 나머지를 보내면 아홉 개가 판을 눌러 써요. 손님이 몰리는 시간대에 요금이 예상보다 튀는 이유가 이것인 경우가 있어요.

한 차례에 서류가 너무 많이 늘면 판을 못 찾아요 · 판을 찾을 때 뒤에서 앞으로 스무 장 정도만 되짚어 봐요. AI가 도구를 여러 번 쓰는 작업에서는 한 차례에 서류가 스무 장 넘게 붙는 일이 생기고, 그러면 다음 요청이 바로 앞의 판을 못 찾아 통째로 새로 읽어요. 대처는 중간중간 판 표시를 하나 더 두는 거예요. 표시가 네 군데까지 허용되는 이유 중 하나가 이거예요.

문 열기 전에 판을 미리 떠 두는 방법 · 첫 손님이 기다리는 시간을 줄이려고, 아무 답도 받지 않는 빈 요청을 미리 한 번 보내서 판만 떠 두는 방법이 있어요. 판값은 그때 나가요. 그래서 요청이 하루 종일 촘촘히 이어지는 서비스라면 첫 손님이 어차피 판을 뜨니 미리 뜰 이유가 없고, 아침에 몰렸다가 낮에 조용해지는 식이라면 문 여는 직전에 한 번 떠 두는 편이 이득이에요.

지시문을 고치지 않고 새 지시를 얹는 방법 · 대화 도중에 "지금부터는 짧게 답해"처럼 규칙을 바꾸고 싶을 때가 있어요. 맨 앞 기본 지시문을 고치면 그 뒤 대화 전부가 무효가 돼요. 그래서 앞은 그대로 두고 대화 뒤쪽에 지시를 한 줄 얹는 방식을 쓰는 게 정석이에요. 모델에 따라 되는 곳과 안 되는 곳이 있어서, 안 되면 손님 말 쪽에 끼워 넣어요. 맡길 때 이 방식을 쓰고 있는지 물어보면 실력이 꽤 정확하게 보여요.

이것만 기억하세요

·처음 읽힐 때 판을 떠 두고, 다음부터 다시 눌러요. 재사용 구간은 10분의 1 수준이에요
·첫 회는 오히려 1.25배예요. 두 번 이상 쓸 자료에만 걸어요
·앞의 한 글자가 뒤 전부를 깨요. 날짜와 손님 정보는 뒤로, 공통 지시문은 앞으로
·판은 5분(또는 1시간)만 남아요. 모델을 바꾸면 못 써요
·켰다고 걸린 게 아니에요. 사용량의 판에서 읽은 양으로 확인해요