排序
标签

今天,OpenAl发布AGI新标准!价值1.7万亿美元,接管全球80亿人类
今天,OpenAl发布AGI新标准!价值1.7万亿美元,接管全球80亿人类

全球唯二,百度抢先交卷!首个物理AI世界模型来了
全球唯二,百度抢先交卷!首个物理AI世界模型来了

你用的大模型,后头坐着谁?
你用的大模型,后头坐着谁?

AI安全不可假设可组合性:部署需独立测试
AI从业者深知部署系统与基础模型行为差异显著,但安全评估常错误假设可组合性。研究表明,微调等修改会导致安全分数不可预测地变化,正反方向均有可能。MLCommons强调需针对完整部署系统进行测试,其Candela服务提供带误差范围的可靠基准,支持团队判断修改影响。文章呼吁建立可预测的可组合性测试框架,以降低合规负担并助力监管。相关工作组欢迎研究者加入,推动AI安全评估进步。

MLCommons推出AILuminate Safety 1.2.1与Jailbreak 1.1基准
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到98百分位不等,而护栏系统接近满分。Jailbreak测试揭示攻击可使违规率从11...

Candela 发布:AI 风险基准测试即服务
MLCommons 推出 Candela 平台,为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准,支持 Safety 1.2.1 和 Jailbreak 1.1 等测试,覆盖暴力犯罪、金融健康法律建议等十二类危害及越狱攻击。采用封闭提示、私有分类器和项目反应理论评分,确保结果可比且防污染。支持练习测试、注释结果和官方结果三种模式,可测试完整系统配置。微软...

HiCache如何支撑多并行与分布式推理
Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储,并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。

SGLang 弹性 EP 扩容:用 NIXL 无重启扩展 MoE 推理
SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更快完成扩容,并支持 CUDA graph 重捕获与 EPLB 重平衡。

SGLang 推出 AWS Trainium 插件 Beta:让推理与 RL Rollout 跑上专用 AI 芯片
SGLang 团队宣布与 AWS 合作推出 SGLang Trainium plugin Beta,基于新发布的 TorchNeuron,为 AWS Trainium2 与 Trainium3 提供 LLM 推理服务和 RL rollout 支持。该插件旨在帮助团队以更高性价比运行开放模型服务与后训练流程,并探索 Trainium 与 GPU 混合部署的异构 RL 新范式。

MI355X 上训练 SWE 智能体:Miles 如何驯服长尾轨迹
AMD 与 Miles 团队在 AMD Instinct MI355X 上,用 Miles、SGLang、Megatron-LM 和 Harbor 对 Qwen3-30B-A3B-Instruct 进行全异步 agentic RL 训练,将 SWE-bench Verified 子集 pass@1 从 7.3% 提升至 27.5%。

不止对标 DeepInfer:SGLang 交付了什么
DeepSeek 开源 DeepInfer 后,SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示,SGLang 在 prefill 吞吐、decode 步长等关键指标上持平或领先,并补齐了完整推理服务所需的 KV cache、PD 分离和负载均衡能力。

miniTE报告:原生NVFP4如何稳定高效训练RL
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因,覆盖量化、激活缩放、KV cache与执行路径差异,并提出TRIAGE与miniTE两条路线,在8×B300上实现约1.33–1.37倍学习器更新加速。
加载中...
已经到底啦