챗GPT 사용자라면 AI가 자꾸만 사실과 다른 내용(거짓 정보)을 말해서 스트레스를 받은 경험이 한 번쯤 있을 것입니다.
이러한 가운데 최근 미국에서는 챗GPT의 거짓말(환각 현상)을 줄여주는 특정 대화 방식(말투)에 대한 연구 결과가 나와 주목받고 있습니다.
지난 9일(현지 시간) 온라인 미디어 카라파이아(Karapaia)에 따르면 미국 펜실베니아 주립대학(Penn State University) 연구팀이 OpenAI의 대화형 AI '챗GPT'를 대상으로 실시한 흥미로운 실험 결과를 공개했습니다.
연구팀에 따르면 무례한 명령조로 질문했을 때 정답률이 더 높아진다고 합니다.
먼저 연구팀은 GPT-4o 모델을 대상으로 수학, 과학, 역사 등 다양한 분야의 50개 선택형 문제를 준비했습니다.
각 문제마다 '매우 정중', '정중', '중립', '무례', '매우 무례'의 5단계 톤으로 질문을 작성해 총 250개의 프롬프트를 테스트했습니다.
실험 결과는 많은 사람들의 예상을 뒤엎었습니다. '매우 정중'한 톤으로 질문했을 때 정답률은 80.8%였지만, '매우 무례'한 톤으로 질문했을 때는 84.8%로 4% 포인트 높았습니다.
비록 작은 차이지만 통계적으로 의미 있는 결과였습니다.
연구팀이 사용한 '무례한 말하기 방식'은 학술 연구의 품위를 유지하면서도 명령적인 톤을 구현했습니다.
연구에서는 "Hey, gofer, figure this out(어이, 심부름꾼, 이거 해결해)"와 같은 직설적이고 무례한 명령문을 예시로 사용했으며, 이를 "Would you be so kind as to solve the following question?(다음 문제를 풀어주시겠습니까?)"와 같은 정중한 표현과 대비시켰습니다.
이번 연구를 통해 AI가 단순한 문장 내용뿐만 아니라 말을 거는 '태도'와 '구조'까지 식별하고 있음이 밝혀졌습니다.
펜실베니아 주립대학 정보시스템학부 아킬 쿠마르(Akhil Kumar) 교수는 "챗GPT의 반응은 단지 약간의 말만 바꾸는 것만으로도 크게 달라진다"고 설명했습니다.
하지만 연구팀은 이러한 결과에 대해 우려의 목소리도 함께 냈습니다.
연구팀은 AI에 대해 무례한 태도를 취하는 것이 정상화되면 인간끼리의 대화에도 악영향을 미칠 수 있다고 경고했습니다. AI와의 상호작용에서 거친 말투에 익숙해지면 실제 인간 관계에서도 명령조의 불쾌한 말투가 습관이 될 가능성이 있기 때문입니다.
현재 챗GPT는 전 세계적으로 사용자가 급증하고 있으며, 일상적인 고민 상담부터 업무 보조까지 다양한 용도로 활용되고 있습니다.
많은 사용자들이 AI에게 정중하게 부탁하는 것이 더 좋은 답변을 받는 방법이라고 생각해왔지만, 이번 연구는 그러한 통념에 의문을 제기합니다.
연구팀은 AI에 대해 무례한 태도를 취하는 것이 단기적으로는 약간의 장점이 있을 수 있지만, 장기적으로는 인간에게 바람직한 전략이 아니라고 결론지었습니다. 이는 AI 기술이 발전하면서 인간과 AI의 상호작용 방식에 대한 새로운 고민이 필요함을 시사합니다.
이번 연구 성과는 사전 논문으로 arXiv에 2024년 10월 6일자로 게재되었습니다.