陈天奇团队发布深度学习编译器TVM:把深度学习部署到手机等更多硬件

发布时间:2017-08-18  |  标签:            

DMLC项目发起人陈天奇今天早间宣布推出TVM。

所谓TVM,按照正式说法:就是一种将深度学习工作负载部署到硬件的端到端IR(中间表示)堆栈。换一种说法,可以表述为一种把深度学习模型分发到各种硬件设备上的、端到端的解决方案。

有了 TVM,业界与学界开发者们可以快速、轻松地在各个系统(包括手机、嵌入式设备与低功耗芯片)上部署深度学习应用程序,同时无须担心资源与速度的限制。「TVM 作为神经网络和硬件后端之间的共同层,消除了为每类设备或服务器优化各自基础架构的需要。」TVM 项目负责人陈天奇表示,「我们的框架允许开发人员快速、轻松地部署和优化大量硬件设备上的深度学习系统。」

陈天奇团队发布深度学习编译器TVM:把深度学习部署到手机等更多硬件

陈天奇在微博上表示,TVM和之前发布的模块化深度学习系统NNVM一起,“组成深度学习到各种硬件的完整优化工具链”。

同在DMLC小组的刘洪亮(phunter_lau)进一步在微博上解释了这个工作的意义:“TVM可以把模型部署到不同硬件,比如群众常问的能不能用AMD的GPU,用FPGA怎么搞,TVM提供这个中间层有效解决这个问题”。

随后陈天奇也补充说:

除了比较明显的多硬件支持,更重要的是支持比较方便的自动调优和轻量级部署。比如我们有同学可以在一些workload可以达到和cudnn差不多的效果,而且同样的东西可以迁移到其它非cuda设备。

非常建议大家尝试一下。

而在reddit上,刘洪亮形象的比喻称:以后可以让树莓派来找猫~

陈天奇团队发布深度学习编译器TVM:把深度学习部署到手机等更多硬件

【扫描下面二维码,和我们一起畅聊AI吧】