TensorPlay AI
博客

深入 P10:Dispatcher 与硬件抽象

在 CPU、CUDA 与边缘设备之间保持一致接口,同时允许新内核独立注册。

Tensor 与 TensorImpl

p10::Tensor 是轻量句柄,持有 p10::TensorImpl 智能指针。TensorImpl 定义 Shape、Stride、Device 与数据指针,CPUImpl、CUDAImpl 和 EdgeImpl 实现具体存储与计算。

Dispatcher

add() 或 matmul() 不硬编码后端。Dispatcher 根据设备和数据类型构成的 DispatchKey,在全局注册表选择内核。开发者可以在不改 P10 核心的情况下注册新算子或新硬件。

效率

C++ 内联和零开销抽象压缩调度路径,使架构弹性不会演变成不必要的运行时负担。

Ask DeepWiki