跳到正文
Hugging Face Blog·· 5 小时前AI 评分44

TorchNeuron 系统级性能分析:在 AWS Trainium 上实践(上)

Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.

AI 导读

Hugging Face 教程讲解如何使用 torch.profiler 与 Neuron Explorer 分析 AWS Trainium 上的推理性能,定位耗时所在。内容以 RMSNorm 为例,对比三种实现,并通过 key_averages()、系统追踪和 .neff、.ntff 文件梳理调度到硬件执行的过程。

来源:Hugging Face Blog · huggingface.co