TPU ها ASIC های سفارشی هستند که با واحدهای ضرب ماتریس بزرگ (MXU)، SRAM با مدیریت نرم افزار و کامپایل زودرس مشخص می شوند. برخلاف برنامه‌ریزی هسته‌های کوچک پویا GPU، TPU‌ها دارای جریان داده قطعی با آرایه‌های سیستولیک هستند که برای استفاده از FLOPS در بارهای کاری متراکم ماتریس، حافظه پنهان و زمان‌بندی تاب را حذف می‌کنند. با این حال، TPU ها با اشکال پویا، پراکندگی نامنظم و شبکه های نمودار پیچیده دست و پنجه نرم می کنند، در حالی که پشتیبانی از اکوسیستم نرم افزاری باریک تری را ارائه می دهند که تحت سلطه JAX و XLA است.