跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

9 条精选近 30 天 9 条共收录 31 条

更新

部署工程的精选

今天10月16日周五第 1–9 条
  1. AWS Machine Learning Blog68

    Meta Muse Spark Open 上线 Amazon SageMaker JumpStart

    Meta 面向智能体编码工作流优化的开放权重模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart。该模型采用 MoE 架构,总参数量 816B、每个 token 激活 42B,支持 1M tokens 上下文,并提供 BF16 与 NVFP4 两种版本。

    推荐理由:文章给出两种权重格式的实例映射、SDK 调用与清理步骤,可用于评估部署成本和接入方式。

10月15日周四
  1. AWS Machine Learning Blog69

    AWS 介绍通过 Trust in Depth 管理 AI 智能体自主性

    AWS 提出 Trust in Depth 分层方法,用范围界定、身份识别、边界控制和运行观测提高 AI 智能体的可控性。文章以帮助台智能体处理员工离职为例,介绍 Policy in AgentCore、AgentCore Gateway、Strands Box 和 Amazon CloudWatch Omni 如何执行权限、身份、策略与追踪控制。

    推荐理由:文章以生命周期为线索拆解智能体的范围、身份、边界和观测层,并结合 AWS 产品说明如何落实这些控制。

10月14日周三
10月13日周二
  1. NVIDIA Blog78

    NVIDIA RTX Spark 笔记本将上线并完善本地 AI 软件生态

    NVIDIA 与合作伙伴将在 RTX Spark 笔记本上市前推出本地 AI 智能体、模型、创作应用和开发者工具更新,相关笔记本计划于 10 月 16 日上市。文章还介绍 Nemotron 3.5 Bolt 74B、开源路由器 NVIDIA PAIR、Adobe 应用优化、Broadcast 2.3、llama.cpp Windows 应用及 DLSS 5 等更新。

    推荐理由:文章集中梳理 RTX Spark 发布前的软件生态、模型、创作工具、开发者环境和游戏支持,能帮助读者判断本地 AI 工作流的实际覆盖范围。

10月9日周五
10月8日周四
  1. Hugging Face Blog74

    Hugging Face ML Intern 用提示词自动训练并发布模型

    Hugging Face 展示了如何在 HuggingChat 中启用 ML Intern,通过自然语言提示完成数据准备、基线测试、训练、评测和模型发布。作者用 7 个项目验证了工作流,总计算成本约 USD 103,其中 0.8B Pocket Rewriter 可在 CPU 上运行,并提供全部提示词与模型、数据集和应用。

    推荐理由:文章拆解了用 ML Intern 自动规划、训练、评测并发布模型的方法、成本控制和多组项目结果。