講演情報

[BT-1-04]広域分散計算基盤における遠隔大規模データへの高速アクセス技術

〇加納 浩輝1 (1. トヨタ自動車株式会社)

キーワード:

分散計算基盤、データI/O、キャッシュ、RDMA、AI学習

再生可能エネルギーの出力抑制問題に対し,電力供給余力のある地域へAI学習ジョブを配分する広域分散計算基盤が注目されている.しかし,計算資源と学習データが地理的に離散する場合,WAN(Wide Area Network)を介した遠隔データアクセスがボトルネックとなり,学習時間を著しく増大させる.

本稿では,この遠隔大規模データアクセスを高速化する二つのアプローチについて報告する.第一に,RDMA(Remote Direct Memory Access)技術を長距離ネットワークへ拡張して通信自体を高速化する手法について述べる.第二に,分散キャッシュとジョブスケジューラを連携させて遠隔アクセス回数を削減する手法について述べる.