[6C]先端ハードウェア

17:15 〜 17:40

[6C-04] GPU動作周波数変更によるAI推論ワークロードの電力効率向上

*飯澤 健¹、田村 雅寿¹ (1. 富士通株式会社)

発表者区分：一般
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

先進ハードウェアによるデータ管理、ストリームデータ、リアルタイム・リアクティブ分析

GPUはAI推論のワークロードで広く使用されているが，AI学習に比べるとAI推論は1回の処理時間が短いためGPU使用率が低いという特徴がある．GPU使用率が低いと資源効率や電力効率も低下するため，GPUを時分割してワークロード間で共有する方法によりGPU使用率の向上が図られてきた．近年，GPUをハードウェアレベルで分割して共有する技術の登場により，GPU使用率をさらに高めることができるようになった．しかし，可能なGPUの分割パターンはあらかじめ決められているため，GPU共有を行った場合でもGPU使用率の向上には限界があり，電力効率には改善の余地がある．そこで本研究では，GPU使用率が同程度のワークロード群を同一GPUに集約した上で，性能要件を満たす範囲内で動作周波数を下げることで電力効率を上げる手法を提案する．ストリームデータをYOLOv4で処理するワークロードを用いた予備的評価により，提案手法により電力効率の向上が見込めることを確認した．