您的位置::丰库门户网站 >国际> 雷霆娱乐赌博游戏扫雷·PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

雷霆娱乐赌博游戏扫雷·PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

雷霆娱乐赌博游戏扫雷·PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

雷霆娱乐赌博游戏扫雷,晓查 发自 凹非寺

量子位 报道 | 公众号 qbitai

关于pytorch和tensorflow谁更好的争论,从来就没有停止过。

开源社区的支持度、上手的难易度都是重要的参考。还有人说:学术界用pytorch,工业界用tensorflow。

然而还有一项不可忽略的因素,就是二者的实际性能。

没关系,不服跑个分?!

最近,一位来自“huggingface”的工程师,使用了nlp中的transformer模型,分别在两大平台上测试了一组推理速度。

虽然huggingface只是一家创业公司,但是在nlp领域有着不小的声誉,他们在github上开源的项目,只需一个api就能调用27个nlp模型广受好评,已经收获1.5万星。

pytorch和tensorflow究竟哪个更快?下面用详细评测的数据告诉你。

运行环境

作者在pytorch 1.3.0、tenserflow2.0上分别对cpu和gpu的推理性能进行了测试。

两种不同的环境中具体硬件配置如下:

在测试过程中使用本地python模块的timeit来测量推理时间。每个实验重复30次,然后对这30个值取平均值,获得平均推理时间。

nlp模型的batch size设置为分别设置为1、2、4、8,序列长度为8、64,、128、256、512、1024。

测试结果

话不多说,先上跑分结果:

在大多数情况下,这两个平台都能获得相似的结果。与pytorch相比,tensorflow在cpu上通常要慢一些,但在gpu上要快一些:

以上的数据都是在所有模型总的平均结果。结果显示,输入大小(batch size×序列长度)越大,对最终结果的影响也越大。

当输入太大时,pytorch会出现内存不足的情况。作者把这些部分从结果中删除,因此这会使结果偏向pytorch。

总的来说,pytorch模型比tensorflow模型更容易耗尽内存。除了distilled模型之外,当输入大小达到8的batch size和1024的序列长度时,pytorch就会耗尽内存。

至于更完整详细的清单,请参阅文末的google文档链接。

两大平台的加速工具

除了初步的测试,作者还用上两个平台独有的加速工具,看看它们对模型推理速度有多大的提升。

torchscript是pytorch创建可序列化模型的方法,让模型可以在不同的环境中运行,而无需python依赖项,例如c++环境。

torchscript似乎非常依赖于模型和输入大小:

使用torchscript可以在xlnet上产生永久的性能提升,而在xlm上使用则会不可靠;

在xlm上,torchscript可以提高较小输入时的性能,但会降低较大输入时的性能。

平均而言,使用torchscript跟踪的模型,推理速度要比使用相同pytorch非跟踪模型的快20%。

xla是可加速tensorflow模型的线性代数编译器。作者仅在基于tensorflow的自动聚类功能的gpu上使用它,这项功能可编译一些模型的子图。结果显示:

启用xla提高了速度和内存使用率,所有模型的性能都有提高。

大多数基准测试的运行速度提升到原来的1.15倍。在某些极端情况下,推理时间减少了70%,尤其是在输入较小的情况下。

最后,作者还在google文档的列表里还加入了“训练”选项卡,或许不久后就能看到两大平台上的训练测试对比,唯一挡在这项测试面前的障碍可能就是经费了。

传送门

原文链接:

https://medium.com/huggingface/benchmarking-transformers-pytorch-and-tensorflow-e2917fb891c2

完整跑分清单:

https://docs.google.com/spreadsheets/d/1sryqufw2d0xluh4sq3e9wnxu5eaqkaohzrjbd5hdq_w/edit#gid=0

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(qbitai)对话界面,回复“招聘”两个字。

量子位 qbitai · 头条号签约作者

վ'ᴗ' ի 追踪ai技术和产品新动态

免责声明:

凡注明为其他媒体来源的信息,均为转载自其他媒体,转载并不代表本网赞同其观点,也不代表本网对其真实性负责。
您若对该稿件内容有任何疑问或质疑,请即与丰库门户网站联系,本网将迅速给您回应并做处理。

s