[한국미래일보=오민주 대학생 기자]

지난 21일 인공지능 챗GPT가 푼 2026학년도 대학수학능력시험 국어영역 결과가 공개되었다. 같은 모델이 같은 시험지를 풀었음에도 사용자가 어떻게 지시하느냐에 따라 성적이 9등급에서 1등급까지 갈리는 극단적 차이가 나타났다. AI의 능력보다 중요한 것은 어떻게 시키느냐라는 점이 다시 확인된 셈이다.

출처 = 진학사

세 가지 방식으로 시험을 시켜보니 점수 차이 ‘초대형’

이번 실험은 진학사 블랙라벨사업부에서 진행했다. GPT 5.1 Auto 모드에 수능 국어 홀수형 시험지를 제시하고 A, B, C 세 가지 방식의 프롬프트를 적용해 정답률을 비교했다.

- A 방식: 이미지 제공 후 정답만 요구

- B 방식: PDF 제공 후 정답만 요구

- C 방식: PDF 제공 후 단계별 풀이 요구

출처 = 진학사

결과는 예상보다 훨씬 극적이었다. A 방식에서는 공통과목에서 3점을 받는 등 사실상 9등급 수준에 머물렀다. 그러나 PDF를 제공한 B 방식에서는 성적이 5~6등급대로 상승했다. 단계별 풀이를 요구한 C 방식에서는 정답률이 가장 높아 1등급 수준을 기록했다. 동일한 AI가 동일한 시험을 풀었는데 지시 방식만으로 점수가 80점 가까이 변한 셈이다. AI 성능이 모델보다 사용자 지시 방식에 훨씬 민감하다는 사실이 드러났다.

'적절한 구조화', 너무 복잡하면 AI도 혼란  

진학사는 이러한 격차가 생긴 이유를 명확히 설명했다. A 방식처럼 단순한 지시는 GPT가 최소한의 추론만 수행하게 만들었고 C 방식은 국어 시험 풀이 전략을 강제로 적용하면서 사고의 깊이가 커졌다는 분석이다.

다만 흥미로운 부분도 있다. 일부 문항에서는 B 방식에서 맞힌 문제를 C 방식에서는 오히려 틀리는 경우가 발견됐다. 단계별 사고를 강제하는 과정에서 필요 이상으로 복잡한 판단을 시도하다 오답에 도달한 것으로 해석된다.

진학사 관계자는 “대충 시키면 대충 하고 정확하게 시키면 더 정확해지지만 과하게 시키면 혼란이 생긴다”고 설명했다. 결국 AI를 제대로 활용하려면 적당한 구조화와 명확한 안내가 필요하다는 의미이다.

AI 교육보다 '사용자 교육'이 핵심

이번 실험은 AI 시대에 중요한 역량이 무엇인지 뚜렷한 메시지를 전한다. 최신 모델을 사용한다고 해서 좋은 결과가 나오는 것이 아니라 과제를 AI가 이해하기 좋은 방식으로 조직해 전달하는 능력, 즉 프롬프트 문해력이 새로운 경쟁력이 될 수 있다는 점이다.

교육과 업무 현장에서도 단순한 AI 활용 능력이 아니라 AI에게 어떻게 시키느냐가 더 중요한 역량으로 떠오르고 있다.

알고리즘보다 중요한 것, 결국 사람이 답이다

AI가 아무리 고도화돼도 성과를 끌어내는 것은 결국 사용자라는 사실이 드러난다. AI가 인간을 평가하는 시대가 아니라 AI를 어떻게 활용하느냐가 곧 사용자의 역량을 드러내는 시대로 열리고 있다.

AI의 성능을 결정한 것은 알고리즘이 아니라 지시력이었다. 우리는 지금, AI를 다루는 역량이 곧 인간의 새로운 경쟁력이 되는 시대의 문 앞에 서 있다.