DTensor : la promesse d'une abstraction correcte pour l'entraînement distribué, et ses coûts cachés
PyTorch DTensor unifie le parallélisme en attachant des métadonnées de placement à chaque tenseur. Mais derrière la correction mathématique, l'abstraction peut introduire des surcoûts qui érodent silencieusement le débit à grande échelle.
DTensor
PyTorch
Runway
Wei Zhang
Évolution chronologique
-
DTensor : la promesse d'une abstraction correcte pour l'entraînement distribué, et ses coûts cachés
PyTorch DTensor unifie le parallélisme distribué en attachant des métadonnées de placement aux tenseurs. Bien qu'il garantisse des gradients corrects, l'abstraction peut cacher des...