할루시네이션

AI가 사실이 아닌 것을 아주 그럴듯하게 말하는 현상이에요. 거짓말할 마음이 있는 게 아니라, 모른다는 걸 모르는 거예요.

쉽게 말하면

일 잘하는 신입 알바가 있어요. 눈치 빠르고 말도 잘하는데, 모르는 걸 물어봐도 모른다고 안 해요. 어디서 들은 것 같은 말을 자신 있게 대답합니다. 나쁜 마음이 있는 게 아니라 그게 자기 일이라고 생각해서요. AI가 딱 이래요.

무서운 건 말투가 똑같다는 것이에요. 맞는 말을 할 때와 지어낸 말을 할 때의 자신감이 같아요. 그래서 읽는 사람이 구분할 수가 없어요.

AI는 사실을 찾아보는 기계가 아니라 다음에 올 말을 예측하는 기계예요. 무수한 글을 읽고 "이런 말 다음에는 보통 이런 말이 온다"를 익힌 겁니다.

그래서 "우리 동네 카페 영업시간이 어떻게 되나요"라고 물으면, 카페 영업시간을 말할 때 흔히 나오는 형태의 답을 만들어요. 오전 9시부터 오후 10시 같은 그럴듯한 시간이 나오죠. 그 카페를 아는 게 아니라 답의 모양을 아는 것뿐이에요.

믿으면 위험한 것

구체적인 숫자 법·세금 규정 의료·건강 정보 특정 가게나 사람의 정보

그럴듯하지만 틀릴 수 있어요. 반드시 원래 출처에서 확인하세요.

믿어도 되는 것

글 다듬기 아이디어 내기 요약하기 화면 만들기

정답이 하나가 아닌 일이에요. 결과가 눈앞에 보이니 판단도 됩니다.

1숫자가 나오면 의심해요. 가격, 날짜, 통계, 법 조항처럼 딱 떨어지는 것일수록 지어내기 쉬워요.
2출처를 물어봐요. "어디서 나온 정보예요?"라고 되물으면 근거가 없을 때 말이 흐려집니다. 그것 자체가 신호예요.
3중요한 건 원래 자리에서 확인해요. 세금은 국세청, 법은 법령 사이트, 남의 가게 정보는 그 가게에요. AI는 어디를 봐야 할지 알려주는 데까지만 쓰세요.
4손님에게 나갈 글은 꼭 읽어봐요. AI가 쓴 소개 문구에 사실과 다른 게 섞이면 그건 사장님 책임이 됩니다.

가장 위험한 순간

내가 잘 모르는 분야를 물었을 때예요. 아는 분야면 틀린 게 보이는데, 모르는 분야는 안 보이거든요. 잘 모르는 분야일수록 확인하는 습관이 필요해요.

장면 1 · 없는 규정을 알려줬다

“AI가 알려준 지원사업 신청 요건대로 준비했는데, 담당자가 그런 조건은 없다고 해요.”

가장 흔한 사고예요. 지원사업, 세금, 인허가는 반드시 공식 사이트에서 확인하세요. AI에게는 "어디서 확인하면 되나요"까지만 물어보고, 내용은 그 자리에서 읽는 게 안전합니다.

장면 2 · 소개 문구에 없는 자랑이 들어갔다

“AI가 써 준 가게 소개에 수상 경력이 들어 있어요. 저는 상 받은 적 없는데요.”

가게 소개는 이런 문구가 흔히 들어가는 자리라서 채워 넣은 거예요. 손님에게 나가는 글은 반드시 한 줄씩 읽으세요. 없는 자랑은 과장 광고가 되고, 그건 법적 문제가 될 수 있어요.

Q. AI가 발전하면 없어지나요?: 많이 줄었고 계속 줄고 있어요. 다만 원리상 완전히 사라지긴 어려워요. 그래서 확인하는 습관은 계속 필요합니다.
Q. "모르면 모른다고 해줘"라고 하면 되나요?: 도움이 돼요. 실제로 그렇게 부탁하면 모른다고 답하는 비율이 올라가요. 다만 완벽하진 않으니 믿고 맡기진 마세요.
Q. 화면을 만들 때도 이런 일이 생기나요?: 성격이 좀 달라요. 화면은 결과가 눈에 보이니까 이상하면 바로 알 수 있어요. 대신 "이 기능 됩니다"라고 말해 놓고 실제로는 안 되는 경우가 있으니, 직접 눌러 보는 확인이 필요해요.
Q. 검색해서 알려주는 AI는 다른가요?: 훨씬 낫습니다. 실제 자료를 찾아 읽고 답하니까요. 그래도 찾은 자료를 잘못 요약할 수는 있어서, 중요한 건 원문 링크를 눌러 확인하세요.

확인해 보세요

AI가 소상공인 지원금 신청 마감일을 알려줬어요. 어떻게 할까요?

하나 더

AI가 쓴 가게 소개에 받은 적 없는 수상 경력이 들어 있어요. 왜 그럴까요?

직접 해보기

일부러 모르는 걸 물어보세요

내 가게 이름을 대고 영업시간을 물어보세요. AI가 어떻게 답하는지 보면 이 문서의 내용이 몸으로 이해됩니다.

더 깊이 (안 읽어도 괜찮아요)

이름이 왜 할루시네이션인가 · 사람이 없는 것을 보는 현상에서 온 말이에요. AI가 없는 사실을 보는 것 같다고 해서 붙었어요. 다만 이 이름이 오해를 준다는 지적도 있어요. AI는 뭘 보는 게 아니라 그냥 그럴듯한 말을 이어붙이는 것뿐이라서요.

자료를 붙여 주면 훨씬 정확해져요 · 질문만 던지는 것보다 관련 자료를 함께 주고 "이 안에서만 답해줘"라고 하는 것이 훨씬 정확해요. 계약서를 붙이고 물어보는 식이요. 지어낼 여지를 줄이는 가장 실용적인 방법입니다.

확신의 정도를 물어보기 · "이 답에 얼마나 확신해?"라고 물으면 참고가 돼요. 완벽한 지표는 아니지만, 불확실한 것을 스스로 표시하는 경우가 꽤 있어요.

이것만 기억하세요