AI 잡는 AI 등장?

‘카피 킬러(Copy Killer)’는 작성한 텍스트의 독창성을 평가하고 기존 문서와의 유사성을 분석해 표절 여부를 판단하는 프로그램이다. 현재 본교는 해당 프로그램을 재학생 및 교수가 이용할 수 있도록 본교 사이트 내에 제공하고 있다. 카피 킬러에 포함된 ‘GPT 킬러’는 표절 문서 검사 서비스의 기능 중 하나로, 생성형 AI 활용 정도를 파악하는 역할이다. Chat GPT(이하 챗GPT)와 같은 생성형 AI는 질문에 가장 적합한 문장이나 패턴을 답습해 답변한다. 이에 GPT 킬러는 맥락과 의미를 학습하는 AI 신경 모델 ‘트랜스포머’를 기반으로 검출 대상 문단과 이전 문단의 맥락을 파악한다. 이를 통해 AI 작성 여부를 판단하는 원리다. 본 프로그램은 과제나 논문의 표절 여부를 쉽게 확인할 수 있기에 표절률을 낮추고 연구 논문의 학술적 신뢰성을 확보하고자 이용된다.

 한편 챗GPT 등 생성형 AI를 사용한 과제물에 대한 문제는 계속해서 제기돼 왔다. GPT 킬러를 포함한 자동화 소프트웨어 개발사 ‘무하유’가 발표한 작년 한 해 동안 GPT 킬러로 검사한 문서 데이터 집계 결과에 따르면 검사 문서 중 55.9%가 생성형 AI를 활용한 것으로 검출됐다. 더불어 유형별로 정리할 시 대학 과제물의 70.04%가 생성형 AI의 도움을 받은 것이 밝혀졌다. 이런 현상으로 인해 일부 교수들이 GPT 킬러를 이용해 과제물을 검사하는 경우도 발생했다. 이와 관련해 본교 최성호(교양학부) 교수는 “본교 사이트에서 제공하는 카피 킬러와 함께 GPT 킬러를 유사도 검사 항목으로 선택해 과제를 공지한 적이 있다”며 표절률은 반영하지 않았지만 일부 교수가 이를 사용하고 있음을 밝혔다.

믿는 AI에 학점 찍힌다

 하지만 일각에선 GPT 킬러의 성능 자체에 문제를 제기하고 있다. 본교 익명 커뮤니티 에브리타임에 따르면 ‘본인이 쓴 건데 표절률이 70%가 나온다’, ‘챗GPT가 작성한 내용에서 살짝만 고쳤는데 표절률이 0%다’ 등 GPT 킬러의 문제점에 대해 말하는 글을 다수 확인할 수 있다. 이에 본지는 지난 2월 20일부터 4월 29일까지 설문조사를 진행해 본교 재학생들이 GPT 킬러를 이용하며 어떤 문제를 겪었는지 자세히 알아봤다. 설문조사에는 총 243명이 참여했으며 설문 결과 총 126명(51.9%)이 GPT 킬러를 사용해 본 적 있다고 답변했다. 덧붙여 GPT 킬러가 제시한 표절률로 인해 불이익을 본 적이 있냐는 질문에 126명의 응답자 중 37명(29.4%)이 있다고 답했으며 113명(89.7%)은 GPT를 사용하지 않은 과제임에도 높은 표절률이 나왔다고 전했다. 관련해 본교 재학생 A씨는 “직접 과제를 작성해 제출했으나 GPT 킬러에서 높은 표절률이 검출됐다는 이유로 미제출과 같은 점수를 받았다”며 “과제를 검사할 때 GPT 킬러의 표절률이 100%가 나오는 게 아닐 시 표절률을 반영하지 않아야 한다”고 주장했다. 더불어 B씨는 “과제 제출하기 전 GPT 킬러 검사에서 계속 AI를 사용했다는 판별이 나와 해당 내용을 삭제하고 다시 작성했던 적이 있다”며 “프로그램에 다양한 데이터를 적용

해 정교화된 모델로의 개선이 필요하다”고 덧붙였다. 

 GPT 킬러의 문제점과 관련해 최 교수는 “GPT 킬러는 오판이라는 치명적인 오류가 있는 것으로 알고 있다”며 “교수들 사이에서도 그 정확성에 대한 의문이 제기되고 있다”고 대답했다.

대체 얼마나 오판이 많길래 그래

 본지는 GPT 킬러가 어떻게 작동하는지 알아보기 위해 직접 프로그램을 이용해 봤다. 첫 번째 검사는 챗GPT의 초기 베타버전이 출시됐던 지난 2022년 11월 30일 이전에 작성된 본지 신문 1069호(2022.03.02.발행)와 1073호(2022.05.09. 발행)로 진행했다. GPT 킬러 검출 결과 5%도 안 되는 낮은 표절률을 보였으며 그중에서 챗GPT 및 생성형 AI 사용 의심 문장은 나오지 않았다. 이어 두 번째 검사는 챗GPT 출시 이후 작성된 기사인 1114호(2025.04.14. 발행)로 진행했고 이 역시 생성형 AI 작성 의심 문장은 없었다. 그렇다면 챗GPT를 통해 작성한 기사는 어느 정도의 표절률이 나올까. 검사 결과 35%의 표절률과 총 8건의 의심 문장이 탐지됐으나 그중 한 건만 챗GPT 의심 문장으로 검출됐다. 해당 실험을 통해 GPT 킬러의 표절 검사는 적당한 범위 내에서 검출되지만 저조한 정확성을 보인다는 사실을 알 수 있었다.

 이에 대해 최 교수는 “GPT를 비롯한 인공지능 프로그램의 사용을 막을 필요는 없다”며 “AI를 효과적으로 활용하면 공부나 업무의 생산성을 높이고 오류를 방지할 수 있다”고 덧붙였다. 그는 마지막으로 “AI를 활용하되 자신의 문장으로 바꿔 효과적으로 뜻을 전달하고, 오류를 범하지 않도록 노력해야 한다”고 말했다.

정재헌 수습기자 Ι qisnxjqjx193@kyonggi.ac.kr