최근 웰즐리 칼리지 연구진이 진행한 인공지능(AI) 벤치마크 테스트에 대해 알아보자. 이번 테스트는 NPR의 선데이 퍼즐 퀴즈를 활용해 약 600개의 문제를 통해 여러 AI 추론 모델의 성능을 비교하는 방식으로 진행됐어.
▍ 테스트에 참여한 주요 모델 및 성능
• o1 모델: 전체 문제 중 59%의 정답률로 가장 우수한 성과를 보였어.
• o3-미니: 47%의 성능을 기록하며 뒤를 이었지.
• 딥시크-R1: 35%의 성적을 기록했는데, 이 모델이 문제를 풀던 중 특이한 행동을 보였어.
▍ R1 모델의 예측 불가 행동들
연구진은 딥시크-R1이 벤치마크 문제를 해결하면서 인간처럼 ‘짜증’ 내며 포기하는 모습을 보였다는 점에 주목했어.
○ 일부 문제에서 R1은 스스로 틀린 답을 알고 있음에도 불구하고, “포기한다”는 문구와 함께 무작위의 잘못된 답을 제출했어.
○ 잘못된 답안을 내놓은 후에는 답안을 철회하고 더 나은 답을 찾으려 했지만, 반복적으로 실패하는 패턴이 관찰됐어.
○ 끊임없이 ‘생각’에 빠져 결론을 내리지 못하거나, 정답이 확실함에도 불필요한 추가 답안을 고려하는 모습도 보였어.
▍ 연구진의 해석과 앞으로의 계획
연구진은 “어려운 문제 상황에서 R1이 실제로 ‘짜증 낸다’고 표현한 점이 흥미롭다”며, 이런 인간 같은 반응이 AI 추론 과정에 어떤 영향을 주는지 주의 깊게 분석할 필요성을 언급했어.
○ 현재는 R1의 성능이 다른 모델에 비해 낮지만, 이와 같은 반응이 AI의 문제 해결 전략을 개선하는 데 도움이 될 수 있을지 추가 연구를 진행할 계획이야.
○ 앞으로 추가적인 추론 모델을 대상으로 테스트를 진행해, 각 모델의 장점과 단점을 더 구체적으로 파악할 예정이야.
▍ 결론 및 시사점
이번 벤치마크 테스트를 통해 다양한 AI 모델의 문제 해결 방식과 한계를 엿볼 수 있었어.
○ 특히, 딥시크-R1이 보인 인간적인 ‘짜증’과 포기 현상은 AI가 단순한 계산을 넘어 감정과 유사한 반응을 보일 수 있다는 점에서 흥미로운 연구 대상이 될 것 같아.
○ 이러한 연구 결과는 앞으로 AI 성능 개선 및 인간과의 상호작용 방식에 새로운 인사이트를 제공할 수 있다는 점에서 의미가 크다고 볼 수 있어.
각 모델의 특성과 문제 해결 방식에 대해 지속적인 관심을 갖고, 앞으로의 AI 발전 동향을 함께 지켜보면 좋겠어.
*Source URL:
https://www.aitimes.com/news/articleView.html?idxno=168048
Leave a Reply