[한국정경신문=변동휘 기자] 크래프톤이 AI의 게임 실력을 평가하는 대회를 연다.
크래프톤은 글로벌 경진대회 ‘Orak 챌린지’를 개최하고 참가자를 모집한다고 10일 밝혔다.
크래프톤이 ‘Orak 챌린지’를 개최한다. (이미지=크래프톤)
이번 대회에서는 다양한 장르의 게임을 통해 LLM 에이전트의 게임 수행 능력과 의사결정 능력을 정량적으로 평가한다.
Orak은 ‘오락’에서 착안한 이름이다. AI가 게임 속에서 상황을 인식하고 판단하며 행동을 결정하는 전 과정을 수치화해 평가하는 체계다. 이를 통해 AI가 실제 게임 환경에서 얼마나 효율적이고 전략적으로 플레이할 수 있는지를 객관적으로 측정하며 게임 실력의 반복적인 검증이 가능하다.
참가자들은 Orak이 제공하는 실제 상용 게임 환경을 기반으로 한 통합 평가 인프라를 활용해 자신이 개발한 모델을 테스트할 수 있다. 결과는 실시간으로 갱신되는 글로벌 리더보드를 통해 공개된다. 대회는 ▲스트리트 파이터 III ▲슈퍼마리오 ▲포켓몬 ▲스타크래프트2 ▲2048 등 5개의 게임을 활용해 진행된다.
이번 챌린지에는 엔비디아, 아마존웹서비스(AWS), 오픈AI가 공식 후원사로 참여한다. 참가팀에게는 대회 기간 동안 LLM 실험에 활용할 수 있는 총 4만5000달러 규모의 크레딧이 제공된다. 최종 우승자에게는 총 2만 달러의 상금이 주어진다. 상위권 팀은 크래프톤 AI 연구진과의 에이전틱 LLM 기술 논의 세션 참여 기회도 얻게 된다.
참가팀은 최대 5명까지 구성 가능하며 하루 5회 이내로 모델을 제출할 수 있다. 참가 등록은 21일까지이며 최종 우승자는 내년 2월에 발표한다.