Hardware for AI — Ch.09: Experiments and Benchmarks [KR]

하드웨어 벤치마킹은 인공지능 하드웨어 플랫폼의 연산 능력, 효율성, 운영 특성을 체계적으로 평가하는 방법을 제공한다. 이를 통해 CPU, GPU, TPU, NPU, FPGA 등 학습과 추론에 사용되는 특수 가속기의 의미 있는 비교가 가능하다. 신뢰할 수 있는 벤치마크는 대상 애플리케이션의 연산 특성을 반영해야 한다.

MLPerf와 SPEC는 중요한 두 가지 벤치마킹 접근 방식을 대표한다. MLPerf는 MLCommons 커뮤니티가 개발한 벤치마크 모음으로, 대표적인 작업 부하를 사용하여 기계학습 시스템을 평가한다. 벤치마크 선택은 실제 배포 요구사항을 반영해야 한다. 표준화된 벤치마크는 하드웨어 플랫폼 간 비교 가능성을 향상시킨다.

MLPerf 학습 벤치마크는 기계학습 모델이 지정된 품질 목표에 도달하는 데 필요한 시간을 평가한다. 학습 벤치마크는 대규모 GPU 클러스터와 특수 AI 가속기를 평가할 때 중요하다. MLPerf 추론 벤치마크는 정의된 배포 조건에서 학습된 모델을 실행하는 시스템의 성능을 평가한다. 추론 성능은 처리량, 지연시간 제약, 응답 일관성에 영향을 크게 받는다.

SPEC는 컴퓨터 시스템과 인프라를 평가하기 위한 벤치마크 모음을 개발한다. SPEC CPU 벤치마크는 프로세서 성능을 평가하며, 정수 연산과 부동소수점 연산을 통해 명령어 실행, 캐시 동작, 메모리 접근 등 CPU 아키텍처의 특성을 평가한다. 주요 수학 연산은 GPU에서 실행되더라도 CPU 성능이 AI 시스템 효율성에 영향을 미칠 수 있다. 에너지 효율성도 AI 인프라의 운영 비용과 냉각 요구사항을 파악하는 데 도움이 된다.