AI四巨頭Google、DeepMind、Microsoft、Uber深度學習框架大比拼1
谷歌的GPipe專注于為深度學習項目提高訓練工作量。從基礎設施的角度來看,訓練過程的復雜性是深度學習模型中經(jīng)常被忽視的一個方面。GPipe采用一種稱為管道的技術(shù),將數(shù)據(jù)和模型并行性結(jié)合起來。GPipe將一個模型劃分到不同的加速器上,并自動將一個小批量的訓練實例分割成更小的微批量。該模型允許GPipe的加速器并行運行,以最大限度地提高了訓練過程的可伸縮性。