유민수 전기및전자공학부 석좌교수팀이 세계 최초로 AI 에이전트의 계산 비용과 에너지 소비 경향을 분석했습니다.

• 연구 결과는 앞서 IEEE HPCA에서 발표됐으며, 국내에서는 5일(일) 12시에 대중에게 공개될 예정입니다. (*KAIST 보도자료 참고)

AI 에이전트는 단순히 질문에 답하는 수준을 넘어 스스로 계획을 세우고, 인터넷 검색이나 계산기, 코드 실행 등 다양한 외부 도구를 활용해 복잡한 문제를 해결하는 인공지능입니다.

• AI 에이전트는 소프트웨어 개발, 연구, 업무 자동화 등 다양한 분야에서 활용이 확대되고 있지만, 이를 실제 운영하기 위해 얼마나 많은 전력과 비용이 필요한지는 거의 알려져 있지 않았습니다.

유 교수팀은 AI 에이전트를 단순한 프로그램이 아니라 데이터센터의 서버와 GPU가 지속적으로 처리해야 하는 새로운 형태의 작업인 워크로드(Workload)로 정의하고, 실제 실행 과정에서 발생하는 계산량과 에너지 소비를 분석했습니다.

그 결과, AI 에이전트는 기존의 단계별 추론(Chain-of-Thought)보다 평균 9.2배 더 많은 대형 언어 모델 호출을 수행하는 것으로 나타났습니다.

• 언어 모델을 반복적으로 호출하면서 응답 시간도 크게 증가했습니다. 

  • AI 에이전트의 답변 시간은 최대 153.7배 늘어났으며, 외부 도구가 작업을 수행하는 동안 GPU는 전체 실행 시간의 최대 54.5%를 아무 계산도 하지 못한 채 대기하는 것으로 분석됐습니다.

• 전력 사용량 역시 크게 증가했습니다.

  • 상용 AI 서비스 수준인 700억 개의 매개변수를 가진 대형 언어 모델을 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41와트시의 전력을 소비했습니다.

    • 기존 생성형 AI의 단순 질의응답 방식보다 136.5배 높은 수준입니다.

  • 하루 137억 건의 AI 에이전트 요청이 발생하는 미래를 가정할 경우, 데이터센터 전력 수요는 약 198.9기가와트에 이를 것으로 추정됐습니다. 

    • 미국 전체 평균 전력 소비량의 절반에 해당합니다.

연구팀은 "단순히 AI가 더 똑똑해지는 것을 넘어, 그 지능을 구현하고 유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 첫 사례"라며 "AI 에이전트 모델과 전력 인프라까지 통합적으로 공동 설계(co-design)하여 최적화하는 접근이 더욱 중요해질 것"이라고 밝혔습니다.

• 논문 제목: The Cost of Dynamic Reasoning: Demystifying AI Agents and Test-Time Scaling from an AI Infrastructure Perspective

최기영 전 서울대 전기정보공학부 교수・전 과학기술정보통신부 장관

손화철 한동대 글로벌리더십학부 교수