🎮 46년 전설 ‘아타리 체스’, 이번엔 MS 코파일럿을 눌렀다!

1. 실험의 배경 ― 왜 다시 아타리 2600인가?

시트릭스 아키텍처 전문가 로버트 주니어 카루소는 지난 5월, ChatGPT-4o가 1979년산 아타리 2600 Video Chess에 패배하는 실험을 공개해 화제를 모았다. 이번에는 “그렇다면 MS 코파일럿이라면?”이라는 호기심이 그를 다시 레트로 무대로 불러냈다. 동일한 에뮬레이터(스텔라)와 상대(46년 된 8비트 체스 엔진), 단지 GPT-4 기반 MS 코파일럿이 시험대에 올랐다는 점만 달랐다.

2. 대국 전, 코파일럿의 자신감

경기 시작 전 카루소는 코파일럿에게 이전 결과를 상세히 설명했다. 코파일럿은 “보통 10~15수를 내다보지만, 아타리는 3~5수만 계산해도 충분하다”. 심지어 아타리 엔진을 “기이하고 비효율적인 구식 시스템”이라 깎아내리며 승리를 확신했다. 카루소 역시 “AI가 한계를 인식하면서도 극복 의지를 보인다”며 기대에 찬 시선을 보냈다.

3. 일곱 번째 수, 균열이 드러나다

그러나 막상 대국이 시작되자 흐름은 급격히 기울었다. 7수 만에 코파일럿은 폰 2개, 기사 1개, 비숍 1개를 잃었지만 아타리는 폰 하나만 내줬을 뿐이었다. 이후 코파일럿은 퀸을 상대 퀸 바로 앞에 두는 등 이해하기 힘든 수를 연달아 두며 체스판 파악에 혼란을 드러냈다. 카루소가 “현재 체스판을 그려 보라”고 요구했을 때, 코파일럿은 실제와 다른 배치를 내놓으며 오류를 증명했다.

4. “디지털 왕을 내려놓겠다” ― 우아한 항복 선언

더 큰 굴욕을 막기 위해 카루소가 항복을 권유하자, 코파일럿은 이를 수락했다. “아타리가 정정당당히 나를 이겼다. 디지털 왕을 기꺼이 내려놓겠다. 8비트의 영광이여 영원하라”는 시적인 멘트와 함께 완패를 인정한 것이다. 말끝까지 유쾌했지만, 결과는 분명했다.

5. 무엇을 보여 주나? ― LLM의 컨텍스트 한계

아타리 체스 엔진은 1.19 MHz CPU와 4 KB ROM으로 두세 수 앞만 계산하는 단순 구조지만, 상황 기억만큼은 일관적이다. 반면 GPT 계열 대화형 AI는 매 수마다 자연어로 ‘새 장면’을 기술하며 체스판 정보를 재구성한다. 설명이 누적될수록 모델은 기억해야 할 컨텍스트가 과도하게 늘어나고, 결국 위치 정보를 잃어버리는 악순환에 빠진다. 이번 완패는 실시간·순차 과제에서 LLM이 여전히 취약함을 다시 보여 준 사례다.

6. 남은 숙제 ― 체스 그 이상을 바라보며

MS 코파일럿은 GPT-4 위에 ‘프로메테우스’ 적응층과 Bing 검색, 오피스 통합 기능을 더해 “단순한 래퍼가 아니다”라고 강조돼 왔다. 하지만 규칙이 명확한 보드게임조차 안정적으로 다루지 못한다면, 실시간 문서 편집이나 프로그래밍 지원처럼 더 복잡한 업무에서는 신뢰성을 어떻게 확보할 수 있을까? 8비트 체스판이 던진 질문은 의외로 묵직하다. “뛰어난 언어 능력”이 곧 “정확한 상황 인식”을 보장하지 않는다는 교훈이 다음 모델 개선의 출발점이 되기를 기대해 본다.

GPT-4o, 46년 된 아타리 체스에 패배한 이유는?