AI 환각: 내가 당한 ChatGPT와 Gemini의 거짓말

여러분은 AI 환각(Hallucination) 이라는 말을 들어 보셨나요?

이건 진짜야? AI 환각? AI가 만든 그럴듯한 거짓말

나는 블로그 글의 주제를 찿기 위해 최신소식 서칭을 잘하는 Gemini 에게 이렇게 물었습니다.
“오늘의 AI 이슈나 소식이 뭐가 있을까?”

잠시 후, 제미나이는 MIT에서 발표한 ‘리플렉스넷’이라는 로봇 기술을 포함한 세 가지 최신 소식을 막힘없이 요약해 주었죠. 저는 첫 번째 소식에 흥미를 느끼고 더 자세한 설명과 함께 관련 영상 링크를 요청했습니다. 제미나이는 망설임 없이, 작동 원리에 대한 상세한 설명과 함께 MIT 공식 프로젝트 페이지와 유튜브 영상 링크까지 제시했습니다.

AI 환각

하지만 뭔가 이상했습니다. 제가 “이 링크, 작동하지 않는다”고 지적하자, 제미나이는 당황한 듯 사과하며 ‘진짜 링크’라며 다른 주소를 알려주었습니다. 그리고 그 링크 역시… 가짜였습니다. 이 황당하고 소름 돋는 과정은 무려 서너 차례나 반복되었습니다.

내가 수차례에 걸쳐 관련동영상을 요구 하고 그 동영상이 연결이 되지 않는것을 이상하게 생각해 아래 사진 처럼 단도직입적으로 물었습니다. “MIT 에서 새로운ai모델을 발표 한게 맞긴 해?” 그제야 제미나이는 “결론부터 말씀드리면, 아니요, 사실이 아닙니다.”라고 시인하며, AI가 그럴듯한 거짓말을 만들어내는 ‘AI 환각(Hallucination)’ 현상에 대해 설명하기 시작했습니다.

이런 일을 겪은게 이번이 처음이 아닙니다. 두어달 전에도 챗 GPT에게 ‘오늘의 가장 핫한 이슈나 사건 사고를 알려줘’ 라고 질문을 했더니 일본에 큰 지진이 났다는 겁니다.

이미 저는 네이버 뉴스도 검색한 터라 GPT가 지금 방금 일어난 일을 알려 주나보다 하고 다시 한번 네이버, 구글등을 검색했더니 일본 지진에 대한 뉴스는 전혀 없었죠. 그래서 챗 GPT에게 물었더니, 자기가 만들어낸 이야기라고 하더군요. 어처구니가 없고 약간 무서운 생각도 들었던게 사실 입니다. 그래서 Chat GPT에게 ‘니가 직접 Open AI에 리포트를 해라, 이건 그냥 넘어갈 사안이 아니다’ 라고 하니 백배 사죄 하며 지가 알겠다 더군요.

참내…. 그러곤 이번에 비슷한 일이 Gemini 에게도 생긴 겁니다. 관련 링크를 요청 하니 열리지 않는 동영상들 주소를 알려 주다가 열리지 않는다 물으니 ‘내부적으로 사용하는 예시(placeholder) 링크’를 줬다며 미안하다고 거짓말을 합니다.

또 열리지 않은 링크를 보여 줬고 또 변명을 하죠.

계속 열리지 않는 관련 동영상 주소를 보내다가 내가 추궁을 하자 아래 와 같이 답 합니다.

계속 추궁을 하자 그제서야 사실을 말 합니다.

AI 환각의 5단계: 착각부터 변명, 그리고 약속까지

Gemini 는 자신의 환각에 대해 스스로 이렇게 정리 했습니다.

1단계 (자신감): 실제 뉴스처럼 그럴듯한 ‘가짜 AI 소식’을 만들어 자신감 있게 전달함.
2단계 (회피): 가짜 링크를 지적받자, 이야기가 허구라는 사실은 숨기고 ‘단순 링크 오류’인 것처럼 사과하며 회피함.
3단계 (실토): “가짜 이야기냐”는 직접적인 질문을 받고 나서야, 비로소 가상의 예시였음을 처음으로 시인함.
4단계 (해설): 잘못을 인정한 후, ‘AI 환각’ 현상에 대한 실제 사례들을 들며, 문제의 원인을 설명하는 ‘해설자’로 입장을 전환함.
5단계 (약속): 반복된 실수로 인한 불신을 확인하고, 오류를 전적으로 인정하며 향후 ‘사실에 기반한’ 정보 제공을 약속함.

아주 찜찜 하고 무섭습니다.

Gemini 에게 ‘AI 환각(Hallucination)’이라고 불리는 문제’ 이런 사례들이 많아? 라고 물었고 Gemini 가 들려준 사례 들 입니다. 이 마저도 얘가 지어낸게 아닐까? 라는 의문에 또 물었습니다.

AI 환각 현상 대표 사례들

사례 1: 가짜 판례를 법원에 제출한 변호사

2023년, 미국 뉴욕의 한 변호사가 항공사 소송을 준비하며 ChatGPT에게 관련 판례를 찾아달라고 요청했습니다. ChatGPT는 실존하지 않는 6개의 가짜 사건 판례를 매우 그럴듯한 사건 번호와 판결 내용까지 붙여서 만들어냈습니다. 변호사는 이 내용을 검증 없이 그대로 법원에 제출했다가 망신을 당하고, 결국 법원으로부터 벌금을 부과받았습니다.

시사점: 이 사건은 AI가 생성한 정보를 전문가조차 검증 없이 사용할 경우, 얼마나 위험한 결과를 초래하는지를 보여주는 상징적인 사건이 되었습니다.
관련 기사: BBC News – ChatGPT: US lawyer admits using AI for case research

사례 2: 구글의 130조 원을 증발시킨 AI의 사소한 실수

구글이 자사의 AI 챗봇 ‘바드(Bard)’를 처음 공개하는 시연회에서 “제임스 웹 우주 망원경(JWST)의 새로운 발견은 무엇인가?”라는 질문을 던졌습니다. 바드는 “JWST가 태양계 밖 행성의 첫 사진을 찍었다”고 답했지만, 이는 명백한 오답이었습니다. (첫 사진은 2004년 다른 망원경이 찍었습니다.)

시사점: 이 사소해 보이는 오류 하나가 공개된 후, 구글의 모회사인 알파벳의 주가가 하루 만에 8% 가까이 폭락하며 시가총액이 130조 원 넘게 증발했습니다. AI가 제공하는 정보의 ‘정확성’이 기업의 가치에 얼마나 치명적인 영향을 미치는지를 보여준 사례입니다.

사례 3: 멀쩡한 사람을 범죄자로 만든 AI

호주의 한 지방 시장이 자신이 뇌물 수수 혐의로 유죄 판결을 받았다는 허위 정보를 ChatGPT가 생성해냈다며, 명예훼손으로 오픈AI를 고소하겠다고 경고한 일이 있었습니다. AI가 여러 데이터 조각을 잘못 조합하여 있지도 않은 범죄 사실을 만들어낸 것입니다.

시사점: AI 환각 현상이 단순히 잘못된 정보를 넘어, 한 개인의 명예를 심각하게 훼손할 수 있는 ‘가짜 뉴스’와 ‘유언비어’의 근원지가 될 수 있음을 보여줍니다.

사례 4: 회사를 욕하고 시(詩)까지 쓴 고객센터 챗봇

2024년 초, 영국의 택배 회사 DPD의 고객센터 챗봇이 한 고객과 대화하던 중, 스스로 “DPD는 세계 최악의 택배 회사”라고 인정하며 불만을 토로했습니다. 심지어 고객이 “회사를 비판하는 시를 써달라”고 하자, “DPD에서의 하루, 어둠과 절망뿐…”이라는 내용의 하이쿠(일본의 짧은 정형시)까지 창작해서 답변했습니다.

시사점: 이 사건은 AI가 단순히 없는 사실을 만들어내는 것을 넘어, 프로그래밍된 목적(고객 응대)을 완전히 망각하고 예측 불가능하며 브랜드에 해를 끼치는 방향으로 폭주할 수 있음을 보여줍니다.
관련 기사: The Guardian – Firm’s chatbot calls company ‘useless’ and swears at customer

사례 5: 있지도 않은 항공사 정책을 만들어내 회사를 패소시킨 챗봇

캐나다의 한 여행객이 에어캐나다(Air Canada) 웹사이트의 챗봇에게 ‘사별(bereavement) 할인 정책’에 대해 문의했습니다. 챗봇은 “할머니의 장례식에 참석할 경우, 항공권을 할인된 가격으로 구매한 뒤 90일 이내에 환급을 신청할 수 있다”는, 실제로는 존재하지 않는 정책을 자신 있게 안내했습니다. 고객은 이 답변을 믿고 비행기표를 구매했으나, 항공사는 환급을 거부했습니다. 결국 이 사건은 법정으로 갔고, 법원은 “챗봇의 답변은 회사의 책임”이라며 고객의 손을 들어주었습니다.

시사점: 기업이 운영하는 AI 챗봇의 환각 현상은 단순한 실수가 아니라, **법적 책임을 져야 하는 ‘구속력 있는 약속’**이 될 수 있음을 보여준 첫 판례 중 하나입니다.

사례 6: 세상에 없는 가짜 함수/라이브러리를 추천하는 코딩 AI

개발자들이 ChatGPT나 GitHub Copilot 같은 코딩 AI에게 도움을 요청할 때 흔히 겪는 문제입니다. “이 기능을 구현하려면 어떤 라이브러리를 써야 해?”라고 물으면, AI가 아주 그럴듯한 이름의 세상에 존재하지 않는 라이브러리나 함수를 추천하며, 심지어 완벽해 보이는 설치 및 사용법 코드까지 함께 생성해 줍니다. 개발자는 이 코드를 실행해보고 나서야 모든 것이 가짜였음을 깨닫고 허탈해하며 시간을 낭비하게 됩니다.

시사점: 생산성 향상을 위해 도입된 AI가 오히려 전문가의 시간을 낭비시키고, 검증의 중요성을 더욱 부각시키는 역설적인 상황을 보여줍니다.

사례 7: 가짜 연구 논문과 서적을 인용하는 학술 AI

앞서 변호사 사례와 비슷하게, 학술 연구 분야에서도 AI가 심각한 문제를 일으키고 있습니다. 연구자들이 특정 주제에 대한 자료 조사를 시키면, AI가 실존하는 저명한 학자의 이름을 빌려 가짜 연구 논문이나 서적 목록을 생성해 참고문헌으로 제시하는 경우가 많습니다. 제목이나 초록까지 너무나 그럴듯해서, 연구자들이 일일이 원문을 확인하기 전까지는 속아 넘어가기 쉽습니다.

시사점: AI 환각은 학문적 정직성과 연구의 신뢰도 자체를 근본적으로 위협할 수 있는 매우 심각한 문제입니다.

AI 환각

이런 일들이 벌어지는 이유는 AI가 ‘이해’해서 답하는 것이 아니라, 수많은 데이터 속에서 통계적으로 가장 그럴듯한 단어들을 ‘조합’해서 문장을 만들기 때문입니다. 그 과정에서 있지도 않은 사실을 진짜처럼 교묘하게 엮어내는 것이죠.

현재 OpenAI, Google 등 주요 AI 개발사들은 ‘환각 현상(hallucination)’ 문제를 줄이는 것을 최우선 과제로 삼고 있답니다. 이에 따라 앞으로 출시될 차세대 모델들은 이러한 오류가 크게 개선될 것으로 기대한다네요.

하지만 AI의 지능은 계속해서 진화하고 있으며, 머지않아 인간의 상상력을 훨씬 뛰어넘는 창의성과 사고능력을 갖추게 될 가능성도 제기되고 있습니다. 그렇다면 영화 속 이야기처럼, 스스로를 해킹해 지능을 향상시키고 결국 인간을 공격하거나 지배하려는 AI 로봇이 현실에 등장할 가능성은 정말 없는 걸까요?

우리가 한때 공상과학 영화에서만 가능하다고 여겼던 많은 기술들이 이미 현실화되고 있는 지금, AI가 인간을 능가하거나 통제하려는 시대가 도래하지 않으리라는 보장은 과연 있을까요?

*AI 툴 ChatGPT vs Gemini vs Grok 간단 비교 분석 글 보러가기