国产算力芯片的崛起为我国企业在AI领域带来了新的机遇,华为昇腾系列芯片凭借其强大的性能和自主可控的优势,逐渐成为国内企业构建AI算力基础的重要选择。然而,将现有业务从英伟达GPU等平台迁移至昇腾平台,需要克服技术门槛和资源挑战,成为许多企业面临的难题。
针对这一难题,中软国际打造昇腾迁移服务,为企业提供专业、高效的解决方案,助力企业快速、平稳地完成向国产算力的转型,加速拥抱国产算力新时代,激活澎湃算力。
中软国际昇腾迁移服务
中软国际昇腾迁移服务,依托于华为云昇腾生态,由中软国际昇腾迁移专业服务团队精心打造。该服务旨在为大、小模型服务提供商、AIGC应用服务商、内容审核服务提供商、自动驾驶技术终端用户以及人工智能计算中心等多类客户,提供模型迁移适配技术服务的全面解决方案。
中软国际昇腾迁移服务团队拥有丰富迁移实施项目经验,针对不同分类场景,能够结合客户行业属性和业务特点,提供复杂业务场景下的昇腾迁移支撑,为用户提供专业的昇腾迁移咨询评估、模型适配转换、自定义算子开发、代码适配、模型迁移实施部署等全流程的昇腾迁移技术服务。
▲中软国际昇腾迁移解决方案架构
中软国际昇腾迁移服务,具有保障客户业务快速迁移切换、合理优化提升模型精度满足客户商用需求、优化时延指标提升业务性能的特点,可为用户迁移后业务长期稳定运行,提供全面、安全、优质、持续的保障。
服务流程
中软国际昇腾迁移服务通过一系列系统化的步骤,确保企业在迁移至昇腾平台过程中实现无缝衔接和性能优化。整个流程包括六个关键阶段:
01
模型场景调研分析及设计
深入了解客户现有的业务模型和应用场景,制定具体的迁移策略,确保所有需求和目标都得到充分考虑。
02
迁移评估服务
通过使用模型移植准备度评估工具,从模型业务适配、API兼容性、算子支持等方面进行全面评估,识别可能的挑战并制定应对策略。
03
环境搭建服务
在目标环境中创建必要的云服务实例(如ECS和OBS)、配置虚拟专用网络(VPC)和安全组,并设置存储和数据库服务(如RDS),为迁移提供稳固的基础设施。
04
模型迁移、转换服务
通过模型导出工具(如PTH转ONNX、TFLite转ONNX等)导出现有模型,之后使用MindlIR转换、OM转换等模型转换工具将现有模型转换为昇腾平台兼容的格式,并进行运行适配和性能优化,确保模型在新平台上的高效运行。最后,通过模型导入工具实现模型的顺利迁移,确保数据和功能的完整性。
05
模型部署服务
将经过转换和优化的模型部署到目标环境中,确保其能够在新的硬件和软件平台上稳定运行,并提供必要的技术支持以解决部署过程中的问题。
06
模型运维服务
提供持续的运维支持,监控模型的运行状态,进行性能调优和故障排除,确保模型在生产环境中的长期稳定运行和高效性能。
▲中软国际昇腾迁移服务架构
通过以上系统化的流程,中软国际不仅能够帮助客户高效完成业务迁移,还能够在迁移后提供持续的支持和优化服务,确保业务的平稳过渡和持续发展。
客户价值
AI成本降低:基于昇腾/NVDIA优化+在离线混部,节省迁移时间50h+,节约成本15%;
高性能:性能优异、稳定可靠,提升客户模型性能,优化算力资源利用率,改善模型部署效果,实现模型精度提升;
效率提升:时延指标优化,提升业务效率25%;
快速迁移切换:快速低成本,快速切换,减少业务终端迁移耗时,保障业务平稳迁移,实现客户自研大语言模型快速从GPU切换到昇腾算力,迁移效率提升30%;
定制化:方案针对客户不同分类的场景,能够结合客户行业属性和业务特点,提供复杂业务场景下的定制化昇腾迁移,满足不同用户的个性化需求;
服务案例
项目背景
某智能电力公司是一家专注于在智能电力领域提供物联终端和数字化解决方案的高新技术企业,致力于以物联通信和电力智能算法等物联网技术提升电力终端设备和系统的感知、通信与数据处理能力。
客户在原有的Intel+NVIDIA等非国产化硬件设备上部署了智能电力巡检业务,涉及模型开发和推理部分,其业务需要整体适配迁移到基于华为鲲鹏+昇腾AI处理器的国产化设备,以满足客户对硬件设备国产化的要求,提高自主可控能力。
方案简介
在智能电力领域,对变电站智能巡视业务系统的站内人员安全风险识别模块、设备状态检测模块、缺陷检测模块,进行相应的模型适配、精度校验、代码适配、测试验证等服务。
现状痛点
非国产化(英伟达)人工智能硬件受制约:目前客户使用的英伟达人工智能硬件易受国际出口政策影响,非国产化硬件不利于后期业务规模的扩大;
昇腾适配问题:模型转换对工具版本要求高,模型调整复杂,且代码适配逻辑复杂,难度大。
解决方案
基于华为昇腾服务器,进行了精度校验、Convert_lite转换、性能测试、AOE自动调优、效果测试,实现模型平滑快速迁移。
充分利用有限的硬件资源进行优化,满足算子和整网的性能要求;
通过生成调优策略、编译、在运行环境上验证的闭环反馈机制,不断迭代,最终得到最佳的调优策略,从而更充分利用硬件资源,提升性能。
完成从Intel+GPU到鲲鹏+昇腾的模型、代码适配工作,涉及20+模型迁移适配,并赋能客户。
中软国际昇腾迁移服务,帮助企业实现从传统平台向昇腾平台的平稳过渡。这不仅提升了企业的技术自主可控能力,也在业务连续性和性能优化方面提供了坚实的保障。未来,中软国际将继续致力于提供更优质的昇腾迁移服务,助力更多企业在数字化转型的道路上取得成功,共同推动国产算力芯片产业的发展与壮大。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。