e公司-上市公司资讯第一平台；最新、最快、最有价值的上市公司快讯；数据拆解上市公司密码，为投资者挖掘客观信息；撮合上市公司与投资者互动，直播上市公司有价值的活动、会议。

上市公司资讯第一平台

综合股票资讯公告视频

共查询到1篇相关资讯

第四范式SageOne IA一体机升级支持模型弹性伸缩

记者7日从第四范式获悉，公司一体机解决方案SageOne IA日前进行了全新升级，推出“模型弹性伸缩”技术，来应对流量波动。第四范式是港股代表性AI公司。公司日前联合华为昇腾AI发布全新升级SageOne IA一体机解决方案，在支持DeepSeek V3/R1、QWen2.5、LLama3.3等主流大模型的基础上，企业可灵活在满血版和多个蒸馏模型之间切换。方案中集成了智能算力池化技术（vGPU）、大模型应用开发平台，以及开箱即用的AI应用套件。公司希望，通过构建从底层算力到上层应用的完整自主技术体系，为企业智能化转型提供新一代全栈式基础设施。当前企业一般采用传统扩缩容方案，即当应用负载增加时，通过人工干预或系统按既定规则扩展计算节点，保证服务可用；当负载减少时释放多余的计算节点，这一定程度上增加了算力成本和IT运维复杂度。“模型弹性伸缩”是系统根据负载状况，自动灵活切换同一系列下不同参数大小的模型提供模型服务，无需额外扩展计算节点，节省算力成本，提升资源使用效率的同时还大大降低运维工作量。公司相关人士举例说，在大模型推理场景下，负载较小时，满血版模型提供高精度的推理服务；进入高峰时段时，系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例，来处理大量并发请求。由此，结合模型预加载等技术，可避免模型服务切换时，导致服务中断或输出质量波动问题，做到用户无感知的平滑切换；当流量回归常态后，系统再自动升级到满血版模型服务，并释放多余的较小参数模型实例。同时，系统可预设多种基于负载的触发条件，如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标，形成动态切换策略和任务路由机制，使弹性方案在实际应用中更贴近业务需求。
第四范式模型弹性伸缩AI
证券时报·e公司王小伟04-07 14:15

没有更多了...

热门文章

更多