跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

65 条精选近 30 天 63 条共收录 170 条

更新

精选归档 · 第 4 页

10月8日周四第 61–65 条
  1. GitHub Blog · AI & ML69

    GitHub Secret Protection 引入 ModernBERT 密钥检测模型

    GitHub 推出与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用于识别非结构化密钥并扩展 Secret Protection 的推送保护。

    推荐理由:GitHub结合九个季度的数据说明代码增长速度与凭据暴露处置压力,并介绍用于提前识别非结构化密钥的 ModernBERT 分类器及其应用范围。

9月24日周四
  1. Microsoft Research66

    Microsoft Research 研究物理 AI 机器人推理卸载并扩展 Physical AI Toolchain

    Microsoft Research 研究了将物理 AI 推理从机器人车载 GPU 卸载到边缘或云端 GPU 的方案。实验显示,卸载可提升映射、规划、导航和操作性能,并减少电池消耗;研究团队还在 Physical AI Toolchain 中加入基于 Kubernetes 的自动容器化、部署和推理卸载能力。

    推荐理由:文章通过移动机器人实验展示推理卸载对任务性能、电池续航和部署规模的影响,并给出基于 Kubernetes 的实现工具。

9月9日周三
  1. Mistral AI83

    Mistral AI 分享用 AI 智能体迁移复杂 Fortran 遗留代码的实践

    Mistral AI 帮助一家欧洲能源运营商将 40,000 行 Fortran 77 物理密集型油藏模拟器迁移至 C++,并总结了结构化智能体工作流。团队先构建数值一致性校验工具,再利用调用关系树、文档库和 Mistral OCR 梳理代码,随后采用规划、编码、测试、审查及人工复核的模块化流程。

    推荐理由:项目复盘了数值一致性校验、代码文档化和人机协作工作流,为复杂遗留系统迁移提供了可复用方法。

7月7日周二
  1. Berkeley AI Research65

    智能接近免费后:面向、承载和由 AI 智能体构建的数据系统

    Berkeley AI Research 团队提出,随着 AI 智能体承担多数知识工作,数据系统将同时面向智能体、承载智能体集群,并由智能体参与构建。研究指出,推理价格年均下降约 9x 至 900x,未来重点包括智能体推测查询、结构化记忆、多智能体协调,以及通过辅助验证和形式化证明生成可信的自定义数据系统。

    推荐理由:文章以推理成本持续下降为背景,梳理智能体普及后数据系统在查询、记忆、协作与可信生成上的研究问题。