搭建大模型推理服务有感

自己在 x86 + nVidia 平台上面,搭建一个 deepseek ,真是怎么快怎么来,舒服一个字。 在公司华为的昇腾 arm + npu 平台搭建一个 mindie 推理框架,居然让我有种想转行的挫败感,搞死我了(哭。