直播视频回放:
直播文字整理稿:
为什么OpenCV会加上Tengine,以及加上Tengine之后会带来什么样的效果,先告诉大家结论,结论就是 : 加上Tengine之后带来超过50%的性能提升。
我们测试了EAIDK610(2*A72+4*A53)平台上OpenCV的性能对比(加上Tengine和没有加上Tengine), 单核A72上性能的提升平均值为:75%;单核A53上面性能提升的平均值为74.25%; 同时在多核上面提升的平均值为:25% ,以上测试的硬件均是EAIDK610平台,测试的网络是mobilenet1.0,queezenet1.1,resnet18,vgg16四个网络。
带来这么大性能提升的原因是因为Tengine,但是Tengine是什么?
先针对对Tengine不了解的同学简单介绍下Tengine是什么。Tengine是自主知识产权的商用级AIoT智能开发平台,而且Tengine开源和商业并行,以自主产权的Tengine为核心,构建跨硬件平台,开放兼容的AI应用开发平台,旨为加速人工智能技术在细分行业领域的高效应用落地,为产业伙伴和行业用户提供智能解决方案和技术服务赋能。
其实简述来说就是端侧推理框架。当前做AI落地的碎片化太严重了,算法的训练框架选择性太多了,TensorFlow,pytorch,mxnet,caffe等好多选择,不同的算法工程师选择还不一样,多个项目可能是多个不同格式的模型,那这个模型怎么在端侧运行推理呢? 这时候就需要用到Tengine,同时针对底层硬件的碎片问题,Tengine也能很好的处理,Tengine支持各种各样的端侧硬件,所有的arm核的CPU都支持,包括 mali系列的GPU也支持,全志,瑞芯微,高通,海思,mtk等等公司的芯片都支持,还有当前层出不穷的NPU也支持好多种,海思的NNIE,arm中国的AIPU等。
同时Tengine还有几个重要的特性,Tengine开源,在github上面可
随着OpenCV4.3的发布,OpenCV DNN模块在端侧(ARM核CPU)的推理速度达到了一个新的高度,会带来超过50%的性能提升,那带来如此大提升的原因是什么呢?为了增强OpenCV DNN在ARM上的性能,OpenCV从4.3.0和3.4.10开始使用Tengine在ARM上加速DNN。第2期OpenCV Webinar 邀请了OpenCV DNN在ARM上加速项目Tengine in OpenCV的项目负责人、OPEN AI LAB高级软件工程师李琦,为大家揭秘本次在端侧推理加速的功臣 - Tengine 自主知识产权的AI推理框架,介绍Tengine是如何与OpenCV结合,本次结合对普通的开发者来说有什么实质意义,以及怎么去用OpenCV中的Tengine实现自己的模型在端侧的推理性能翻翻。直播视频回放:
直播文字整理稿:
为什么OpenCV会加上Tengine,以及加上Tengine之后会带来什么样的效果,先告诉大家结论,结论就是 : 加上Tengine之后带来超过50%的性能提升。
我们测试了EAIDK610(2*A72+4*A53)平台上OpenCV的性能对比(加上Tengine和没有加上Tengine), 单核A72上性能的提升平均值为:75%;单核A53上面性能提升的平均值为74.25%; 同时在多核上面提升的平均值为:25% ,以上测试的硬件均是EAIDK610平台,测试的网络是mobilenet1.0,queezenet1.1,resnet18,vgg16四个网络。
带来这么大性能提升的原因是因为Tengine,但是Tengine是什么?
先针对对Tengine不了解的同学简单介绍下Tengine是什么。Tengine是自主知识产权的商用级AIoT智能开发平台,而且Tengine开源和商业并行,以自主产权的Tengine为核心,构建跨硬件平台,开放兼容的AI应用开发平台,旨为加速人工智能技术在细分行业领域的高效应用落地,为产业伙伴和行业用户提供智能解决方案和技术服务赋能。
其实简述来说就是端侧推理框架。当前做AI落地的碎片化太严重了,算法的训练框架选择性太多了,TensorFlow,pytorch,mxnet,caffe等好多选择,不同的算法工程师选择还不一样,多个项目可能是多个不同格式的模型,那这个模型怎么在端侧运行推理呢? 这时候就需要用到Tengine,同时针对底层硬件的碎片问题,Tengine也能很好的处理,Tengine支持各种各样的端侧硬件,所有的arm核的CPU都支持,包括 mali系列的GPU也支持,全志,瑞芯微,高通,海思,mtk等等公司的芯片都支持,还有当前层出不穷的NPU也支持好多种,海思的NNIE,arm中国的AIPU等。
同时Tengine还有几个重要的特性,Tengine开源,在github上面可