TorchTPU est un back end PyTorch pour les Tensor Processing Units (TPU) de Google, publié en open source sur GitHub. Il fournit des kernels ATen dédiés, un cache de compilation pour les calculs XLA et une intégration avec torch.compile(). Le dépôt inclut le support du Data Parallelism et du Tensor Parallelism, ainsi que des exemples (Llama, Qwen, ResNet, DLRM, minGPT, UNet). Il s’installe via pip (version 0.2.0, Python 3.11+) ou se compile avec Bazel.

Commentaires

Vous devez vous inscrire ou vous connecter pour poster un commentaire