AI가 매번 다르게 답하는 이유

쉽게 말하면

그래서 답이 매번 다른 건 버그가 아니에요. 일부러 그렇게 만든 것이고, 필요에 따라 줄일 수 있어요. 문제는 이 성질이 어떤 자리에서는 자산이고 어떤 자리에서는 사고라는 점이에요. 행사 이름 후보를 뽑을 때는 좋고, 환불 규정을 손님에게 안내할 때는 위험해요.

달라지는 이유는 다섯이고, 처방이 다 달라요

"답이 매번 달라요"라는 한마디 안에 원인이 다섯 개나 섞여 있어요. 원인을 안 가르면 온도만 만지다가 못 고쳐요. 증상으로 구별할 수 있어요.

온도라는 눈금이 실제로 하는 일

AI는 답을 한 덩어리로 만들지 않아요. 말 한 개를 고르고, 고른 말을 붙여서 다음 말을 또 고르는 방식이에요. 이 한 번의 고르기가 어떻게 돌아가는지 보면 온도가 무엇인지 바로 잡혀요.

1. 1후보마다 점수를 매겨요. "환불은" 다음에 올 말로 "14일", "7일", "영업일", "불가" 같은 후보가 각각 몇 점씩 나와요.
2. 2온도로 점수 차이를 벌리거나 좁혀요. 온도를 낮추면 1등과 2등의 차이가 더 벌어져서 거의 항상 1등이 뽑혀요. 온도를 높이면 차이가 좁혀져서 3등, 5등에도 순번이 돌아가요.
3. 3후보 중 하나를 뽑아요. 항상 1등을 집는 게 아니라 점수만큼의 확률로 뽑아요. 여기가 매번 달라지는 지점이에요.
4. 4뽑은 말을 붙이고 처음으로 돌아가요. 그 말이 다음 후보 목록 자체를 바꿔요.
5. 5이 과정을 답이 끝날 때까지 반복해요. 그래서 앞에서 한 번 갈리면 뒤 문장 전체가 다른 길로 가요.

0으로 내리면 항상 같아지나

온도를 가장 낮게 두면 사실상 매번 1등만 고르게 돼요. 답이 눈에 띄게 안정돼요. 여기서 많은 사장님이 한 걸음 더 나가서 "이제 정확해졌다"고 안심하는데, 그게 위험해요.

그리고 완전히 같아진다고 보장되지도 않아요. 계산 순서, 여러 요청을 한꺼번에 처리하는 방식, 서비스 쪽 모델 갱신 같은 것들이 결과를 조금씩 흔들어요. 그래서 "항상 같은 답이 온다"에 기대는 설계는 피하는 게 맞아요. 금액이나 재고 숫자는 AI 답에서 읽지 말고 장부에서 읽어 오게 해야 안전해요.

값을 얼마로 둘지 알고 싶으실 텐데, 정답 숫자는 없어요. 받는 범위와 기본값이 서비스마다 다르고 개편될 때 바뀌기도 해요. 남이 쓴 숫자를 그대로 옮기면 안 맞아요. 쓰는 서비스의 공식 안내에서 범위와 기본값을 확인하고, 아래 검수 방법으로 맞춰 가는 게 정석이에요.

다양성이 자산일 때와 부채일 때

폭을 넓힐지 좁힐지는 취향이 아니라 일의 성격이 정해요. 사장님이 자주 하는 일로 갈라 놓으면 이렇게 돼요.

눈금이 안 보일 때는 말로 좁혀요

온도 값을 직접 넣는 칸을 내주지 않는 서비스도 많아요. 그럴 때도 폭은 조절할 수 있어요. 후보 목록 자체를 줄이는 말을 주면 돼요. 효과가 센 순서로 다섯 가지예요.

1. 1출처를 고정해요. "아래 규정에 있는 문장만 쓰고, 없으면 모른다고 답하세요." 후보를 줄이는 가장 센 방법이에요. 온도를 만지는 것보다 효과가 커요.
2. 2형식을 못 박아요. "한 문장, 40자 이내, 숫자는 원문 그대로." 형식이 좁으면 답이 흔들릴 자리가 남지 않아요.
3. 3옮겨 적기와 다시 쓰기를 구분해요. "요약하지 말고 그대로 옮겨 적으세요"라고 하면 표현을 새로 만들 이유가 없어져요. 규정 안내에서 특히 잘 들어요.
4. 4첫 문장을 지정해요. 답의 첫 문장 형식을 정해 주면 그 뒤가 통째로 안정돼요. 앞에서 갈리면 뒤가 다 갈리는 구조라서 그래요.
5. 5넓히고 싶을 때는 반대로 요구해요. "서로 다른 방향으로 다섯 개, 겹치지 않게." 개수와 다양성을 직접 시키면 한 번에 후보가 나와요.

사장님이 실제로 겪는 장면

같은 질문을 다섯 번 던져 보세요

폭이 얼마나 열려 있는지는 재 볼 수 있어요. 돈도 도구도 필요 없고 5분이면 돼요. 손님에게 챗봇을 열기 전에 반드시 하는 검사로 두면 좋아요.

1. 1글자 하나까지 같은 문장으로 다섯 번 물어요. 새 대화창마다 하나씩이요. 같은 창에서 이어 물으면 앞 답이 다음 답에 영향을 줘요.
2. 2답을 나란히 놓고 숫자와 조건만 봐요. 말투 차이는 넘기세요. 날짜·금액·예외 조건이 갈리는지가 전부예요.
3. 3셋 이상 갈리면 그 질문은 아직 못 쓰는 질문이에요. 손님에게 내보내면 안 돼요.
4. 4갈린 이유를 자료에서 찾아요. 대개 자료에 그 답이 없거나, 옛 자료와 새 자료가 같이 들어 있어요. 온도를 내려도 이건 안 고쳐져요.
5. 5손님이 많이 하는 질문 20개로 이 검사를 고정해요. 모델이나 지시를 바꿀 때마다 같은 20개를 돌리면 나빠졌는지 바로 보여요.

이 20개는 챗봇을 만들 때 적는 질문 목록과 같은 것이에요. 한 번 적어 두면 검수표로도, 자료 준비 목록으로도, 업체와의 합격 기준으로도 쓰여요. 만들기 전에 적는 게 순서예요.

자주 묻는 것

Q. 온도를 낮추면 지어내기가 없어지나요?

아니에요. 줄어드는 건 흔들림이고 지어내기는 따로예요. 오히려 같은 지어낸 답이 매번 반복돼서 더 믿음직하게 보여요. 지어내기는 할루시네이션 쪽 문제이고, 처방은 근거 자료를 손에 들려 주는 것과 "자료에 없으면 모른다고 답하라"를 못 박는 거예요.

Q. 같은 질문에 답이 다르면 불량 아닌가요?

설계예요. 항상 1등만 고르게 하면 문장이 딱딱해지고 같은 말만 반복돼요. 후보 중에서 고르는 성질이 있어서 자연스러운 글이 나와요. 그 성질이 방해되는 자리에서만 폭을 좁히면 돼요.

Q. 온도 값은 얼마가 정답인가요?

정답 숫자가 없어요. 받는 범위와 기본값이 서비스마다 다르고, 개편으로 바뀌기도 해요. 그 서비스 공식 안내에서 범위를 확인하고, 검수 질문 20개로 맞춰 가는 게 맞아요. 남의 블로그 숫자를 그대로 옮기는 게 가장 흔한 실수예요.

Q. top-p라는 말도 들었어요. 온도와 뭐가 달라요?

둘 다 폭을 조절하는데 방식이 달라요. 온도는 후보들의 점수 차이를 벌리거나 좁히고, top-p는 후보 목록의 꼬리를 잘라내요. 실무에서는 둘을 동시에 만지지 않는 편을 권해요. 같이 움직이면 결과가 달라진 이유를 못 찾아요.

Q. 시드를 고정하면 완전히 같아진다던데요?

같은 결과를 다시 받아 보려는 장치이고, 최선을 다한다는 수준이에요. 계산 방식이나 모델 갱신에 따라 달라질 수 있어서 완전히 같다고 보장하는 곳은 드물어요. 그 서비스 안내에 보장 문구가 있는지 확인하고, 없으면 같아지는 것에 의존하지 않는 구조로 만드세요.

Q. 챗봇 답을 손님에게 그대로 내보내도 되나요?

두 가지를 먼저 확인하세요. 첫째, 쓰는 AI 서비스의 상업적 사용 조항이요. 약관은 자주 바뀌니 쓰기 전에 그 서비스 약관에서 직접 확인해야 해요. 둘째, 규정·가격 문구는 사람이 확정한 문장만 내보내세요. 사업자 안내와 표시·광고에 걸리는 부분은 사안마다 달라서, 공정거래위원회 안내나 한국소비자원 상담으로 확인하는 게 안전해요.

Q. 그림이나 영상도 매번 다르게 나오는 게 같은 이유인가요?

결이 같아요. 만들 때마다 다른 선택을 하도록 되어 있어서 같은 주문에도 다른 결과가 나와요. 그래서 AI 이미지는 여러 장 받아서 고르는 방식이 기본이에요. 마음에 든 결과가 나왔으면 그 자리에서 저장하는 습관이 중요해요.

헷갈리기 쉬운 것

비유가 어긋나는 지점. 후보를 놓고 고르는 직원 비유는 동작까지는 정확해요. 다른 점은 직원은 자기가 여러 후보 중에 골랐다는 걸 안다는 거예요. AI는 몰라요. 그래서 "어제는 왜 다르게 답했어요?"라고 물으면 이유를 알려주는 대신 그럴듯한 이유를 새로 지어내요. 갈린 이유는 AI에게 묻지 말고 기록을 나란히 놓고 찾아야 해요.

온도는 창의성 눈금이 아니에요. 폭 눈금이에요. 폭을 넓히면 신선한 것도 늘고 엉뚱한 것도 같이 늘어요. 그래서 넓게 열어 두는 건 "여러 개 받아서 사람이 고른다"와 한 세트예요. 하나만 받아서 바로 쓰는 자리에서 넓히면 손해만 나요.

모델 성능과도 별개예요. 좋은 모델을 넓게 열어 두면 그대로 흔들리고, 약한 모델을 좁게 조여도 아는 게 늘지 않아요. 폭 조절로는 AI의 한계가 움직이지 않아요. 눈금은 성능이 아니라 성격을 바꾸는 거예요.