当前位置: 首页 > news >正文

昇思MindSpore进阶教程--使能图算融合

大家好,我是刘明,明志科技创始人,华为昇思MindSpore布道师。
技术上主攻前端开发、鸿蒙开发和AI算法研究。
努力为大家带来持续的技术分享,如果你也喜欢我的文章,就点个关注吧

正文开始

图算融合是MindSpore特有的网络性能优化技术。它可以通过自动分析和优化现有网络计算图逻辑,并结合目标硬件能力,对计算图进行计算化简和替代、算子拆分和融合、算子特例化编译等优化,以提升设备计算资源利用率,实现对网络性能的整体优化。相比传统优化技术,图算融合具有多算子跨边界联合优化、与MindSpore AKG(基于Polyhedral的算子编译器)跨层协同、即时编译等独特优势。另外,图算融合只需要用户打开对应配置后,整个优化过程即可自动完成,不需要网络开发人员进行其它额外感知,使得用户可以聚焦网络算法实现。
图算融合的适用场景包括:

  • 对网络执行时间具有较高性能要求的场景;
  • 通过拼接基本算子实现自定义组合算子,并希望对这些基本算子进行自动融合,以提升自定义组合算子性能的场景。

使用方法

当前图算融合优化默认关闭状态,我们只需在训练脚本中为context指定参数enable_graph_kernel=True即可启用图算融合:

import mindspore as ms
ms.set_context(enable_graph_kernel=True)

样例脚本

为了说明图算融合优化场景,我们构造了一个简单网络MyNet, 包含一个乘法和加法计算。在打开图算融合进行优化之后,这两个计算便会自动合成一个融合算子:

import numpy as np
import mindspore as ms
from mindspore.nn import Cell
import mindspore.ops as opsms.set_context(mode=ms.GRAPH_MODE, device_target="GPU")
# save graph ir to view fusion detail.
ms.set_context(save_graphs=2)
# enable graph kernel optimization.
ms.set_context(enable_graph_kernel=True)class MyNet(Cell):def construct(self, x):a = ops.mul(x, 2.0)res = ops.add(a, 1.0)return resx = np.ones((4, 4)).astype(np.float32) * 0.5
net = MyNet()
result = net(ms.Tensor(x))
print("result: {}".format(result))

该计算图的融合结果如图1所示,其中左图为未使能图算融合时的对应计算图,右图为使能图算融合后的对应计算图。可以看到该网络中的加法和乘法被融合成一个算子。该融合过程可以通过查看中间IR,或者通过Profiling等工具跟踪算子执行过程进行验证。

在这里插入图片描述

自定义组合算子

基于图算融合技术,用户可以很方便地实现高性能的自定义组合算子。其主要流程为:

  1. 在脚本中用基本算子组合的方式实现自定义算子定义和使用;

  2. 打开图算融合配置;

  3. 图算融合对自定义组合算子中的基本算子自动进行算子融合,并生成高性能融合算子。

相比其它自定义算子方式,这种方式具有对框架无侵入、简单易用等优点。

样例脚本

我们构造一个简单网络MyNet,并在其中使用了自定义算子MyOp。代码样例如下:

import numpy as np
import mindspore as ms
from mindspore.nn import Cell
import mindspore.ops as opsms.set_context(mode=ms.GRAPH_MODE, device_target="GPU")
# enable graph kernel optimization.
ms.set_context(enable_graph_kernel=True)class MyOp(Cell):""" my first custom OP composited by basic OPs """def construct(self, x, y):a = ops.sub(x, y)return ops.mul(a, x)class MyNet(Cell):def __init__(self):super(MyNet, self).__init__()self.my_op = MyOp()def construct(self, x, y):a = ops.mul(x, 2.0)b = ops.pow(a, 3.0)res = self.my_op(b, y)return resx = np.ones((4, 4)).astype(np.float32) * 0.2
y = np.ones((4, 4)).astype(np.float32) * 0.3
net = MyNet()
result = net(ms.Tensor(x), ms.Tensor(y))
print("result: {}".format(result))

该计算图的融合结果如图2所示,其中左图为未使能图算融合时的对应计算图,右图为使能图算融合后的对应计算图。可以看到不仅自定义算子MyOp中的基本算子进行了融合,并且与主图中的其他算子也进行了更大范围融合。该融合过程可以通过查看中间IR,或者通过Profiling等工具跟踪算子执行过程进行验证。
在这里插入图片描述


http://www.mrgr.cn/news/40491.html

相关文章:

  • redis 中IO多路复用与Epoll函数
  • SpringBoot项目 | 瑞吉外卖 | 短信发送验证码功能改为免费的邮箱发送验证码功能 | 代码实现
  • YOLOv8改进 ,YOLOv8改进主干网络为华为的轻量化架构GhostNetV1
  • Vortex GPGPU的github流程跑通与功能模块波形探索
  • 【艾思科蓝】Vue.js组件开发实战:从零构建高效可复用组件
  • 基于SpringBoot+Vue的学生宿舍管理系统
  • 2024/10/1 操作系统大题专训之文件
  • Sqoop实战-- Sqoop的Job任务、增量导入、数据格式转换与Lombok的使用指南
  • 基于C++和Python的进程线程CPU使用率监控工具
  • 谈谈英国论文写作复合句式的运用
  • 一种支持4种多模态RAG技术的引擎:VARAG
  • 简单线性回归分析-基于R语言
  • 使用ffmpeg合并视频和音频
  • 社区医疗健康管理:SpringBoot技术应用
  • 【C++】BitSet和Bloom_Filter
  • 电脑扬声器无法识别,没有声音处理
  • 什么是极大似然估计
  • 还在为PDF编辑头疼?2024年推荐4款高级PDF编辑器让你秒变高手!
  • 【无人机设计与技术】自抗扰控制(ADRC)的建模与仿真研究
  • 【初阶数据结构】排序——交换排序