使用雲端資料進行 PyTorch 訓練,提升效率

Vertex AI 類神經架構搜尋沒有任何規定,說明如何設計訓練資料。因此,請選擇任何訓練架構來建構訓練器。

對於含有大量資料的 PyTorch 訓練,最佳做法是使用分散式訓練模式,並從 Cloud Storage 讀取資料。請參閱「使用 Vertex AI 進行高效率的 PyTorch 訓練」一文,瞭解如何改善訓練效能。使用 WebDataset 並選擇 DistributedDataParallelFullyShardedDataParallel 分散式訓練策略,可讓 Cloud Storage 中的資料整體效能提升 6 倍。使用 Cloud Storage 資料的訓練效能,與使用本機磁碟資料的訓練效能相似。

預先建構的 MNasNet 分類範例已將這些方法納入訓練管道。