Pour tirer profit du deep learning, Google a conçu et utilise des unités de traitement TPU (Tensor Processing Unit).

Google reconnait avoir développé ces unités de traitement de données pour faire face à l’explosion des coûts de calcul due au deep learning. L’entreprise californienne avait anticipé que, rien que l’utilisation de la reconnaissance vocale, aurait nécessité de doubler le nombre de ses centres de données. Les TPU se sont révélées 15 à 30 fois plus rapides que les processeurs graphiques (GPU) et les puces de calcul (CPU) contemporains. De plus, elles ont une meilleure efficacité énergétique que les puces classiques, améliorant d’un facteur 30 à 80 la mesure TOPS / Watt (tera-opérations soit 1012 opérations par watt consommée). En outre, les réseaux neuronaux qui les utilisent ne nécessitent qu’une très faible quantité de code, seulement 100 à 1500 lignes. Les TPU permettent de faire des prédictions très rapidement, les appareils qui les utilisent (moteurs de recherche, de reconnaissance d’images, de traduction, etc.) répondent en une fraction de seconde. Ce sont aussi ces puces qui ont contribué à la victoire de DeepMind sur Lee Sedol au jeu de go.