카지노 꽁머니 챗봇, 허위 정보 생성 '환각' 문제 심각..."7가지 질문법으로 최소화해야"

생성형 카지노 꽁머니 챗봇이 허위 정보를 만들어내는 '환각' 문제가 심각한 사회적 문제로 대두되면서, 이를 최소화하기 위한 전문가들의 구체적인 해법이 제시됐다.

보스턴컨설팅그룹(BCG) X의 매트 크롭 최고기술책임자는 월스트리트저널(WSJ)과의 1월 30일(현지시각) 인터뷰에서 "카지노 꽁머니 환각은 훈련 데이터의 부정확성과 사용자의 불명확한 지시라는 두 가지 요인에서 발생한다"며 "이 중 사용자 지시는 개선이 가능하다"고 밝혔다.

가트너의 데린 스튜어트 애널리스트는 이날 WSJ에 "프롬프트는 상세하되 카지노 꽁머니과 직접 관련된 내용만 포함해야 한다"고 말했다.

주요 기업들의 피해 사례도 잇따르고 있다. 애플은 2025년 1월 6일 iOS 베타 버전의 카지노 꽁머니 뉴스 요약 기능을 중단했다고 PYMNTS가 1월 7일 보도했다.
BBC에서는 2022년 에어캐나다 사례에서는 자사 챗봇이 상속 여행 할인 정책을 잘못 안내해 800달러를 배상하라는 판결을 받았다고 보도했다.

구글의 카지노 꽁머니 개요 기능은 '하루에 작은 돌 섭취 권장'이라는 위험한 조언을 제시했으며, 오픈카지노 꽁머니의 음성인식 소프트웨어 '위스퍼'는 실제 대화에 없는 발언을 추가했다고 각 회사가 발표했다. 메타의 과학 논문 생성 카지노 꽁머니 '갈락티카'는 가짜 논문을 만들어내기도 했다.

국경없는기자회의 뱅상 베르티에 기술·저널리즘 부문 책임자는 2024년 12월 18일 그룹 웹사이트를 통해 "자동 생성 허위정보가 언론의 신뢰도를 치명적으로 훼손할 수 있다"고 경고했다. 챗GPT 3.5는 2024년 기준 전체 출력의 2.5%에서 카지노 꽁머니이 발생했다고 PYMNTS는 전했다.

옥스퍼드대학 연구진은 2025년 1월 발표한 논문에서 "고품질 데이터셋 강화와 검색 증강 생성(RAG) 기술 도입으로 카지노 꽁머니 환각 위험을 낮출 수 있다"고 제시했다.

한편, 존스홉킨스대학 연구팀이 2025년 1월 발표한 보고서는 카지노 꽁머니 챗봇의 환각을 최소화하기 위한 7가지 기법을 구체적으로 제시했다.

연구팀은 첫째로 "새 식기세척기가 필요합니다. 미국 시장의 현재 판매 모델 중 고려해야 할 주요 기능은 무엇입니까?" 와 같이 상세하고 구체적인 지시를 하도록 권장했다.

둘째는 하나의 큰 질문 대신 작은 질문들로 나누어 단계별로 묻는 '반복적 프롬프트' 방식이다. 연구팀은 "브랜드의 신뢰성은 어떠한가?", "어느 정도 가격대가 적절한가?" 등으로 질문을 세분화하면 카지노 꽁머니의 응답 정확도가 높아진다고 밝혔다.

셋째로 연구팀은 "위키피디아에 따르면..." 또는 "PubMed에 따르면..."처럼 신뢰할 수 있는 특정 데이터베이스를 언급하면 카지노 꽁머니가 해당 출처만을 참고한다는 사실을 실험으로 입증했다.

넷째, 카지노 꽁머니에게 불확실한 내용은 "모른다"고 명시적으로 답하도록 지시하는 방법이다. 이는 카지노 꽁머니가 불확실한 답변을 임의로 만들어내는 것을 방지한다고 연구팀은 설명했다.

다섯째는 카지노 꽁머니에게 질문을 만들어 달라고 요청하는 '메타 프롬프트' 기법이다. 연구팀은 이 방식이 카지노 꽁머니 응답의 품질을 높이고 오류를 줄이는 데 효과적이라고 분석했다.

여섯째로 제시된 '생각의 사슬' 프롬프트는 카지노 꽁머니가 논리적 단계를 밟아가며 답변하도록 하는 방식이다. 구글 연구진도 이 방법이 카지노 꽁머니 응답의 정확도를 높인다는 연구 결과를 발표했다고 연구팀은 덧붙였다.

마지막으로 연구팀은 카지노 꽁머니에게 자체 검증을 요청하는 '검증의 사슬' 기법을 권장했다. 페이스북의 모회사 메타가 개발한 이 방식은 카지노 꽁머니가 스스로 답변을 검토하고 수정하도록 한다.


박정한 글로벌이코노믹 기자 park@g-enews.com