徐州| 台湾| 安康| 邕宁| 永仁| 景泰| 定结| 新和| 马鞍山| 鄂托克前旗| 禄丰| 垣曲| 吉利| 石龙| 永泰| 宜川| 丰县| 兴业| 大洼| 福鼎| 札达| 石林| 海原| 化隆| 策勒| 咸丰| 洛川| 漳平| 九江县| 凯里| 青川| 莲花| 普宁| 云县| 东平| 乡城| 阳江| 工布江达| 大厂| 建德| 让胡路| 东丽| 北海| 固镇| 资源| 唐河| 荔浦| 忻州| 桓台| 三都| 费县| 乳山| 大竹| 玛纳斯| 景洪| 内江| 竹山| 册亨| 大田| 积石山| 上甘岭| 垦利| 海安| 科尔沁右翼中旗| 康马| 惠阳| 灯塔| 周至| 南平| 中江| 辽阳市| 肥城| 镇雄| 建阳| 头屯河| 武胜| 临夏县| 衡阳市| 盐亭| 洛隆| 乌什| 依安| 兴和| 寻乌| 云县| 伊春| 兴国| 赞皇| 万荣| 凌云| 澄迈| 府谷| 海晏| 霸州| 措勤| 永靖| 清河| 大姚| 尼木| 北宁| 合阳| 穆棱| 乌兰| 岳阳市| 开封县| 西峡| 阳原| 西充| 武定| 西峡| 武宣| 天峻| 石屏| 南安| 富裕| 巢湖| 汝南| 丰顺| 武当山| 清河| 泽州| 库尔勒| 朝阳县| 榆树| 古交| 江孜| 若羌| 长泰| 化德| 南通| 乌拉特前旗| 蒙城| 前郭尔罗斯| 赵县| 右玉| 通道| 喜德| 名山| 靖州| 中方| 石嘴山| 龙陵| 虞城| 平陆| 杜集| 五莲| 曾母暗沙| 台湾| 当涂| 麻栗坡| 左贡| 靖远| 仁布| 如东| 郯城| 琼中| 肃南| 绥江| 舒城| 蒙阴| 梁平| 建水| 金乡| 汉中| 翁牛特旗| 桐城| 神木| 古县| 水富| 汉口| 王益| 鄂州| 屏边| 玉林| 德惠| 嘉禾| 宁武| 平南| 深圳| 松原| 明溪| 平江| 密山| 康定| 朝阳市| 东平| 湛江| 普兰| 杜集| 庆安| 长春| 石城| 华宁| 天长| 大悟| 辽源| 琼山| 渭南| 安西| 淮安| 南岳| 山亭| 石泉| 五河| 兴平| 沙洋| 山亭| 来安| 资溪| 西吉| 那曲| 桂平| 图木舒克| 内丘| 丹棱| 奇台| 安泽| 临漳| 通山| 东营| 纳溪| 朝阳市| 通榆| 虞城| 东莞| 汉沽| 临汾| 淮阴| 衡阳县| 乾县| 尖扎| 昌江| 西峡| 庆云| 胶州| 昌都| 通渭| 贵溪| 颍上| 柳州| 邹平| 申扎| 巴中| 宽城| 图木舒克| 莱阳| 仙游| 彰武| 昂昂溪| 淇县| 宁强| 农安| 清河| 芜湖县| 潼南| 绥滨| 六安| 民和| 伊吾| 大荔| 新河| 靖江| 济阳|

【宝马5系汽车图片】华晨宝马

2019-10-21 21:27 来源:九江传媒网

  【宝马5系汽车图片】华晨宝马

  从小处着眼,从细处着手,最终是要落到实处,一个行动胜于一打宣言。佛光大学公共事务学系助理教授柳金财认为,限缩两岸学术交流合作不利于台湾学术发展,若当局硬要干涉或管制,只怕会继续加快台湾人才流失。

最终,两岸联队作品《BEYOUNG》斩获一等奖。  台湾媒体评论称,针对不实媒体报道及网络谣言,不只有“国家通讯传播委员会”的监督,也早有“社会秩序维护法”等相关法律制裁。

  两岸政策是国民党的强项、最有力的王牌,不应该轻言改变;而未来两岸关系要发展得好,需要多沟通多交流。王毅希望两岸侨胞以全民族整体利益为重,在坚持世界上只有一个中国、大陆和台湾同属一个中国的框架下,超越分歧,避免内耗,团结互助,共创未来。

    在有关经济、教育和文化议题的内容中,该政纲也提及要深化两岸产业合作,扩大两岸教育交流合作,促进两岸文化交流,传承与发扬中华文化的精髓。岛内有评论直言,敲锣打鼓谈“台独”,怎么“维持现状”?  北京联合大学台研院副院长李振广则认为,“赖清德不会善罢干休,他还会找机会挑衅,他是两岸关系的危险之源。

至于台当局“行政院长”赖清德及蔡英文办公室秘书长陈菊是否也在评估人选范围内?陈明文说,“这不排除”。

  七八年前还没有通往平潭的桥,人们只能借助水路交通,往来非常耗时,“现在的平潭不但桥通了,自来水、煤气管道、供电系统也逐步完善……每天都有新变化,基础建设不断升级。

  ”为何越来越多年轻人选择尽早出去留学?张耀文认为是“台湾长期的低薪环境和高房价,造成年轻人对未来前途充满着不确定性”,因此当有适当的机会去深造,当然要马上抓住。  对大陆及香港出口贸易的持续增长,让台湾贸易顺差数字由前年的670亿美元增至去年的787亿美元。

    家住新北市板桥区的陈思欣便是去年这个时候与先生在这里登记结婚的,这次她则是带着刚出生的女儿来办出生登记。

  在此基础上,汪洋进一步指出,大陆将认真落实惠及两岸同胞的各项政策措施,扩大两岸民众的受益面和获得感,尤其要为两岸基层民众、青年创业就业提供更多机会。  据国民党统计数字,本次主席选举共有万多名具有投票权的党员,会有超量联署的状况,可能是因为党员基于人情因素重复联署、不具投票权的党员也参加联署,或是直接将党员名册转录为联署书等多种可能性。

    柯文哲表示,台北和上海是两岸重要城市,过去交流很顺畅。

    解决低薪只有回到拼经济成长、活络民间投资,才是正途,零碎片面的小措施难有成效。

  大背景是,2008年马英九上任,两岸关系在“九二共识”基础上快速升温,台湾受邀在世界卫生大会(WHA)等国际场合亮相。网友批评,核四用了,台湾怎么会当冤大头、去买快六块的电?今天不是不愿意给民进党赚风力,要赚你们拿去赚,至少放台湾一条生路,不要为了钱故意搞核四,搞垮台湾。

  

  【宝马5系汽车图片】华晨宝马

 
责编:
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷锋网 读懂智能&未来
人工智能 正文
发私信给程弢
发送

0

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

本文作者:程弢 2019-10-21 14:03
导语:从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。
尽管这次会谈只局限于民间性、经济性、事务性和功能性的范围,但其本身所具有的意义及影响引起了台湾岛内及国际社会的高度重视和普遍关注。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

在谷歌发布TPU一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。

从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。

据雷锋网(公众号:雷锋网)了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对CPU、GPU组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi称之为“下一个平台”。Jouppi曾是MIPS处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用CPU、GPU混合架构上来进行深度学习的训练。

Jouppi表示,谷歌的硬件工程团队在转向定制ASIC之前,早期还曾用FPGA来解决廉价、高效和高性能推理的问题。但他指出,FPGA的性能和每瓦性能相比ASIC都有很大的差距。他解释说,“TPU可以像CPU或GPU一样可编程,它可以在不同的网络(卷积神经网络,LSTM模型和大规模完全连接的模型)上执行CISC指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU兼具了CPU和ASIC的有点,它不仅是可编程的,而且比CPU、GPU和FPGA拥有更高的效率和更低的能耗。

TPU的内部架构

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

该图显示了TPU上的内部结构,除了外挂的DDR3内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的X86衍生架构。Jouppi说,尽管它有众多的矩阵乘法单元,但是它GPU更精于浮点单元的协处理。另外,需要注意的是,TPU没有任何存储的程序,它可以直接从主机发送指令。

TPU上的DRAM作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了64,000)。Jouppi并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

256×256阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU有两个内存单元,以及一个用于模型中参数的外部DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从“神经元”输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行64,000次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快TPU的性能和效率。例如,使用高带宽内存或混合3D内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU对比Haswell处理器

在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。

在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell芯片功耗为145瓦,其系统(拥有256 GB内存)满载时消耗455瓦特。

相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有384瓦。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

除此之外,谷歌还测试了CPU、GPU和TPU处理不同批量大小的每秒推断的吞吐量。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

如上图所示,在小批量任务中(16),Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后雷锋网需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是,谷歌已经逐渐在自己的数据中心部署TPU,但是上述测试数据只是理论结果,实际应用表现如何?我们还不得而知。

Via nextplatform,雷锋网编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?
分享:
相关文章

文章点评:

表情

略懂技术的小编

关注一切有未来感的产品及技术!
当月热门文章
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
近尾洲镇 延庆东关 第三中学 莱城区 上洋桥
荥经县 程村镇 护国寺社区 木北二社区 铁家坟东