硅基流动联创胡健:企业级MaaS预集成100+大模型,国产芯“更好用”了

内容摘要新浪科技讯 9月23日上午消息,硅基流动近日推出企业级MaaS(Model as a Service)平台,宣布提供从异构算力纳管、模型训练、推理部署到场景应用的全链路闭环解决方案,可为电力、能源、制造、金融等行业客户实现低成本、高性能

新浪科技讯 9月23日上午消息,硅基流动近日推出企业级MaaS(Model as a Service)平台,宣布提供从异构算力纳管、模型训练、推理部署到场景应用的全链路闭环解决方案,可为电力、能源、制造、金融等行业客户实现低成本、高性能、安全可靠的大模型规模化落地。

据硅基流动联合创始人兼首席产品官胡健介绍,硅基流动企业级MaaS平台实现了可在国产算力卡上适配并部署领先模型,并取得了比肩英伟达等头部算力厂商同规格卡的性能效果,解决了国产芯片从可用到好用的问题。

当前,企业在AI大模型规模化落地过程中,普遍面临模型适配难、推理性能与成本难以平衡、服务可靠性要求高、输出质量不稳定以及安全合规压力大等核心痛点。

针对前述难题,硅基流动企业级MaaS平台预集成了100+主流开源与闭源大模型,提供多种算力卡推理加速包,开箱即用、一键部署。依托硅基流动公有云能力,新模型1-3天即可完成适配并同步至企业私有环境,极大缩短上线周期。

其次,选好模型,AI应用就成功了一半。通过智能路由、自研推理框架及动态扩缩容,硅基流动实现了高性能与低成本的统一。支持上下文感知、KV Cache感知、LoRA感知等路由策略;依托算子优化、显存管理、量化加速等底层技术提升吞吐、降低延迟;支持基于实时指标的弹性伸缩,支持缩容至0,显著提升资源利用率。

此外,该MaaS平台还通过内置模型测评与优化工具链,支持自定义测评集和测评结果比对,辅助模型选型与prompt优化。提供一键调优与Multi-LoRA推理,简化部署、节省资源等服务。(文猛)


新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

 
举报 收藏 打赏 评论 0
今日推荐
浙ICP备19001410号-1