编辑视点

  • 这座城里究竟藏着多少黑科技?—

    这座城里的黑科技让人惊艳。……

  • 40ZB总数据量!存储器发展现状与

    市场的风口下,中国公司能否抓住这次机遇?……

  • 从手机到汽车,终端厂商为啥纷纷

    对于一些电子设备终端厂商,以前不曾涉足的芯片设计越来……

  • 嵌入式
  • 电源
  • 汽车电子
  • 单片机
  • 消费电子
  • 测试测量
  • 显示光电
  • 物联网
  • 模拟
  • 通信技术
  • EDA
  • 智能硬件
  • 工业控制
  • 医疗电子
  • 资讯

  • 华星光电获颁TUV莱茵国内首张液晶屏低蓝光M
  • 领先全球,巴林和英国将试行人工智能政府采
  • 英特尔联合百度,共同开发Nervana神经网络训
  • 新品

  • FIIL T1是否真像想象中的那么优秀
  • 用过的都说好,OPPO K3实际使用测评
  • OPPO K3对战红米K20,勇者相逢,谁将胜
  • 应用

  • NSA不是假5G 搭载高通骁龙X50当然是真5G手机
  • 锂电池充电方式灰色地带,那些你需要了解的
  • 技术专访

  • 种种瓶颈,看单片机大师“周立功

    6月28日,ZLG(立功科技·致远电子)于中国国际软件博览……

  • 秒杀GPU的专用AI芯片,内置RoCE实

    据一家名为Allied Market Research的预测,2025年AI芯片……

  • 基础知识

  • 单片机MCU如何实现让部分代码运行在RAM中?看这里
  • 关于SPI-Flash的一些基础知识
  • 单片机MCU相关基础知识整理篇
  • 电平控制LED灯,电平转换电路
  • 技术交流
  • 侃单片机
  • 开源创客
  • 模拟技术
  • 新手园地
  • ST MCU
  • 无人机
  • 情感天地
  • 编辑推荐

  • 【21ic第三届设计大赛】+超强!数字函数发生器(STM8L 主控)
  • 【21ic第三届设计大赛】+基于UCOSIII操作系统函数发生器设计
  • 【21ic第三届设计大赛】+ 数字函数发生器
  • 推荐两本算法入门书籍:我的第一本算法书+算法图解
  • 21ic第三届设计大赛】+冗余执行系统
  • 【21ic第三届设计大赛】+使用国产MCU制作冗余执行系统
  • 〓◆Silicon Labs在线研讨会精彩回顾◆〓
  • 【5月板卡】Attiny817自动浇水器
  • 2019父亲节+感恩有你
  • 2019父亲节+老爸老了
  • 厂商

  • 十大热门

  • 三本《电子工程师自学速成》丛书:入门篇/提高篇/设计篇
  • 过压保护电路分析
  • 《电机学》为何含变压器?那是因为电机的核心是其内的时变磁场
  • RC电路在脉冲电压下,电容端的电压最后会稳定在哪个范围?
  • 如何利用DA输出和自制电流探头通过示波器测量STM32 FOC电机...
  • 【betway|备用网站200元,谢谢了!】请教大家如何理解仪表的零点和...0
  • 旋转矢量(续)
  • 光电传感器和运放电路输出差异较大
  • PIC16 单片机 datasheet上Flash大小与编译出来的一致, 为什么?
  • STM8S无法正常中断,求各位路过的大神慷慨相...
  • 手把手教你学单片机之基础知识篇
  • 郭天祥十天学会PIC单片机
  • XJY数据结构与算法视频教程(下)
  • XJY数据结构与算法视频教程(中)
  • XJY数据结构与算法视频教程(上)
  • 在线研讨会

  • 英飞凌产品在UPS中的应用和特点

    演讲人:施俊,宋光波

    时间:2019-07-24 10:00:00

  • 伺服驱动器应用中英飞凌产品及方案解析

    演讲人:张明丹,苏建中

    时间:2019-08-07 10:00:00

  • 简化精密信号链设计

    演讲人:Ryan Curran, Matthew Duff

    时间:2019-08-08 10:00:00

  • TI在线培训中心

  • 解析电池保护和电量计方案,TI 专家与您面对面
  • C2000 DesignDRIVE 马达控制详解
  • CC1120评估套件指南
  • 嵌入式课程
  • 电源课程
  • 汽车电子课程
  • 信号链课程
  • 求固态继电器方案

    预算:¥1000014小时前

  • LED 灯光驱动器DMX解码

    预算:¥5000023小时前

  • 物联网项目-成熟方案

    预算:¥300001天前

  • 分类

  • 通信
  • 工业
  • 电路设计
  • 消费
  • 汽车
  • 智能家居/家电
  • 智能穿戴
  • 安防监控
  • 医疗电子
  • 半导体/EDA
  • 机器人/无人机
  • 软件/系统开发
  • 测量/模拟
  • 电池电源
  • 光电显示
  • 游戏/办公
  • 其他
  • 采购主管/采购经理

    上海市7天前

  • 硬件工程师

    上海市12天前

  • 资深算法工程师

    上海市12天前

  • 分类

  • 电子/电器/半导体/仪器仪表
  • 质量管理/安全防护
  • 软件/互联网开发/系统集成
  • 硬件开发
  • IT质量管理/测试
  • 电信/通信技术
  • 汽车制造
  • 其它
  • 基于S7-300PLC和Wincc的移载车控制系统
  • 基于FX_(2N)PLC控制的飞机起落架作动筒液压测试系统
  • 基于FMS开放式数控系统的研究及在线监控
  • 基于PLC和触摸屏的智能沥青洒布车控制系统设计
  • 基于WLAN的挖掘机作业情况视频监控系统的设计与实现
  • PLC刀库控制系统研究
  • 城镇智能热网的监控系统
  • 基于HyperWorks的汽车尾喉结构优化
  • 电路图

  • 无线温湿度测试系统电路设计图
  • 车用语音手机来电提醒器电路图
  • 车载手机充电器电路图
  • 电力拖动控制线路图13例
  • 单片机蜂鸣器的控制程序与驱动电路图
  • 可控硅控制电路图解及制作13例
  • 激光枪射击游戏的电路图
  • 索尼PS2主机故障维修原理电路图
  • TI designs 参考设计库

  • 用于 2 线、4 到 20 mA 电流环路系统的 RTD 温度发送器
  • 汽车类高电流无刷直流 (BLDC) 电机驱动器
  • 采用 iBeacon 技术的 SensorTag
  • 安森美半导体Fan Club上新,第二期积分榜活动来袭

    [活动时间]:2019.07.01-10.01

  • Infineon工具体验“闯三关”,轻轻松松得京东卡

    [活动时间]:即日起-2019.07.25

  • Power integrations上新啦~萌新报道:电机驱动器,了解一下?

    [活动时间]:2019.06.24-07.24

  • 老司机带你少走弯路 国赛经验大分享

    [活动时间]:即日起-2019.07.16

  • 超值大奖!21ic第三届设计大赛,邀请您干票“大”的

    [活动时间]:2019.5.16-6.30

  • 观看TI直播 学技术领惊喜好礼

    [活动时间]:即日起~6.15

  • 上传资料赢千元现金,“全勤”双重奖励!

    [活动时间]:2019.05.01--07.31

  • “芯”驱动,新未来——开启你的汽车电子

    [活动时间]:即日起~5.6

  • 热门:
  • 电源|
  • 嵌入式|
  • 汽车电子|
  • 下载|
  • 图酷|
  • 外包|
  • 公开课|
  • Datasheet|
  • 会展|
  • 在线研讨会|
  • TI在线培训中心|
  • 库存|
  • 评测|
  • 技术专题|
  • 开发板共享库
  • 首页 > 专访 > 技术专访
    [导读]据一家名为Allied Market Research的预测,2025年AI芯片相比2018年将迎来10倍到20倍的增长。而未来最有潜力的增长将来自专用ASIC。虽然GPU是目前AI芯片市场的明星,但是专用ASIC将主导市场的这种苗头已经从近期Habana Labs的产品发布中显露出来。

    目前AI芯片市场很火热,产品类型也很丰富:GPU、ASIC、FPGA、CPU等。据一家名为Allied Market Research的预测,2025年AI芯片相比2018年将迎来10倍到20倍的增长。而未来最有潜力的增长将来自专用ASIC。虽然GPU是目前AI芯片市场的明星,但是专用ASIC将主导市场的这种苗头已经从近期Habana Labs的产品发布中显露出来。

    document_image_rId9.png

    业界最大幅度能效提升,单卡性能小幅提升

    document_image_rId10.jpg

    Habana Labs在去年曾推出了专门应用于推理的AI芯片Goya,而今年在北京,Habana Labs的首席商务官Eitan Medina先生宣布了全新训练AI芯片Gaudi的发布。

    document_image_rId11.png

    根据给出的信息来看,在运行ResNet-50模型的时候,Gaudi的处理能力比英伟达的V100提升了14%;而更令人印象深刻的是其功耗的表现,消耗每瓦特的功耗可以提供的IPS处理能力相比特斯拉T4提升了94%!据Eitan先生介绍,单卡的Gaudi的功耗是140W,可以实现1650 IPS的性能。Gaudi的另一个优势在于其集群的处理能力的增长率也要比V100好上很多,如下图所示,在大约640个Gaudi和640个V100性能对比下,Gaudi是V100的3.8倍。所以Gaudi从小型服务器到大规模服务器的部署,都非常适合。尤其是在大规模部署方面,绝对是目前市场上最佳选择之一。

    document_image_rId12.png

    那么这种优异的随数增速的处理能力来自哪里呢?那就不得不提到其内置的RoCE。

    内置RoCE实现任性拓展

    RoCE是一种目前业内普遍认可的英伟达曾在今年3月份以69亿美元现金收购以色列芯片商Mellanox Technologies,看重的就是RoCE技术。在近期的GTC 2019上,黄教主就强调了RoCE的重要性:随着服务器数量的提升,必须要借助RoCE的功能才可以将整个系统的处理性能实现提升。通过NVLink+PCIE+RoCE等技术构成了英伟达的NCCL的通信库,确保整个系统的性能随着硬件堆叠而继续提升。而Habana  Labs则直接将RoCE功能集成到了Gaudi中。

    document_image_rId13.png

    Gaudi使用标准以太网RoCE来进行拓展,相比起英伟达的NVLink和InfiniBand在系统拓展和构建方面就更为简单。每个Gaudi中都内置了十个RoCE端口,而英伟达的V100则需要首先外接一个PCIE的转换卡,然后连接到RDMA上实现以太网的带宽拓展。Gaudi在成本和设计简化度上明显优于V100。

    document_image_rId14.png

    Habana Labs在芯片之上提供两种不同的产品形态:PCB板卡样式的HL-205和PCIe卡样式的HL-200。以HL-205为例,通过内置的RoCE可以实现多种不同的组合。

    document_image_rId15.png

    上图是8个HL-205,加上两个PCIe的开关组成的一个训练系统,接口为4x16 PCIe Gen4,可连接到外部主机服务器,最多80X100Gb以太网链路。外部以太网链路可以连接到任何交换层次结构。这种系统可以实现超大型模型并行训练。

    document_image_rId16.png

    这8个HL-205还可以有另一种网络的方式,这种方式主要是针对已经使用了V100的训练系统中进行V100的替换。因为V100只有六个端口用于拓展。HL-205支持在OAM规范中定义的6个通道上分配20个SerDes端口。但是这种网络连接的系统并没有将Gaudi的性能发挥到极致,这非常适合在现有V100的系统中进行器件替换。如果你想要构建一个更为高效的训练系统,Habana Labs提供了另一种名为HLS-1的系统。

    document_image_rId17.png

    HLS-1对外提供PCIE的这种接口,同时还提供了以太网接口。在系统内部,每个Gaudi会拿出10个RoCE中的7个来与其它7个Gaudi实现互连,剩下的3个作为外部以太网接口。所以HLS-1可以提供24个100G的外部以太网接口。这是一个非常高效的训练系统,无需任何以太网交换机,用户使用起来也非常方便,只需要通过PCIE就可以将HLS-1与自己的计算系统进行互联。而且复用率较高,可以连接到各种不同的CPU平台进行整个训练系统的搭建。

    document_image_rId18.png

    两个HLS-1通过背板连接在一起就可以提供一个非常高效的16 Gaudi的训练系统。同时6个HLS-1可以放在同一个机架上组成一个训练系统。

    document_image_rId19.png

    document_image_rId20.png

    到这里还没有结束,接下来给大家介绍下更大规模集成的训练系统的组成,因为Gaudi内置了10个RoCE,所以HLS-205相比英伟达的DGX-2在大规模集群方面可以实现更强大的堆叠。

    24个HLS-205之间可以保持相互100GbE的通信速率。如果将通信速率降低为50GbE,那么自然可以直接使系统数量翻两倍。而DGX-2在进行大规模集群的情况下,性能放大的表现并不足够优秀。Gaudi的这种集群系统可以在几小时内训练大量的模型,这对于想要最大限度地减少培训时间,建立大型,高效率的AI训练系统的客户群而言非常有价值。

    在Habana Labs的官方介绍中,提供了1000多个Gaui横向扩展的方案,这是一个8*11*12 = 1056的拓展方案。如果想要更大规模的拓展 ,则需要牺牲一定的带宽来实现。

    document_image_rId21.png

    也可以选择采用全连接的单跳系统的方式来进行拓展,8个HL205的Gaudi系统通过网络交换机进行连接,总计16个100G的网络连接。这种大规模的系统可以直接连接到深度学习的加速器。

    document_image_rId22.png

    还有一种拓展方式称为“high end 2k Gaudi”系统。每个HL205包含一个64口的交换器,每个交换器都连接到256X100G的交换机。

    document_image_rId23.png

    Gaudi内置10个RoCE所带来的优势非常明显,V100被远远甩在了身后。但在Gaudi上进行开发的体验是否有保证呢?Habana Labs也考虑的非常周到。

    将现有设计移植到Gaudi平台

    新的硬件平台出来后,性能一般都会更优异,但客户最终会关心的一个问题是,如何将我现有的设计方便地移植到新的平台上?这是他们决定是否进行硬件平台变换的重要因素。

    document_image_rId24.png

    Habana提供的软件环境叫做SynapseAI,软件在上层API可以对接多种主流框架,例如TensorFlow、Caffe2、ONNX和Glow等等。软件的核心包括一个Habana Labs的库、一个用户库和一个图形组件。如果客户有定制化的需求,可以通过用户库来进行定制化的设计。软件下层公国KMD API与Gaudi的PCIe驱动进行连接。

    Habana Labs的Synapse AI希望可以帮助到做深度学习的开发者能够专注于算法本身的开发,而无需考虑过多的硬件移植和适配等问题。

    ---

    Gaudi在性能、拓展性和功耗方面超越了V100和T4,随着未来AI方面需求的逐渐明确,专用的ASIC的方案肯定会比GPU、CPU等更加高效和适合。

  • 换一批

    延伸阅读

    [智慧物流] Geek+、嘉里大通、戴尔携手赋能智慧物流

    Geek+、嘉里大通、戴尔携手赋能智慧物流

    亿欧物流7月2日消息,戴尔科技集团智能仓启动庆典在厦门举行。......

    关键字:智能仓 人工智能 3C产品

    [技术专访] 秒杀GPU的专用AI芯片,内置RoCE实现灵活拓展

    秒杀GPU的专用AI芯片,内置RoCE实现灵活拓展

    据一家名为Allied Market Research的预测,2025年AI芯片相比2018年将迎来10倍到20倍的增长。而未来最有潜力的增长将来自专用ASIC。虽然GPU是目前AI芯片市场的明星,但是专用ASIC将主导市场的这种苗头已经从......

    关键字:GPU Habana Labs RoCE 人工智能

    [智慧交通] 人工智能时代未来对智慧交通发展的影响

    人工智能时代未来对智慧交通发展的影响

    随着时代的进步,以及各种科技的不断发展,让我们的日常生活发生了巨大的变化,大数据技术和人工智能技术的广泛推广应用让我们的生活变得更加方便快捷,而以此为基础创建智慧交通管理模式,能够对我国目前的交通拥堵问题进行有效地解决,让我国的交通领域能......

    关键字:智能识别 人工智能 智慧交通

    [智慧医疗] 5G智慧医疗--全球首个骨科手术机器人5G远程手术“飞刀”

    5G智慧医疗--全球首个骨科手术机器人5G远程手术“飞刀”

    6月27日北京积水潭医院院长田伟在机器人远程手术中心,通过远程系统控制平台与嘉兴市第二医院和烟台市烟台山医院同时连接,开启全球首例骨科手术机器人多中心5G远程手术。那么这次5G远程手术动刀了!全球首个骨科手术机器人能给我们带来什么样的成果......

    关键字:5G 远程医疗 人工智能

    [智慧工业] 嘉定工业区落户新一代数据库与人工智能研究中心

    嘉定工业区落户新一代数据库与人工智能研究中心

    近日,嘉定区政府、国家信息中心数字中国研究院与柏睿数据共同在嘉定建立新一代数据库与人工智能研究中心,北京派客动力科技有限公司、上海政达信息科技有限公司等近10家企业成为首批签约企业。同时,嘉定区政府还与国家工业信息安全发展研究中心、柏睿数......

    关键字:人工智能 智慧工业 智能制造

    [通信网络] 我国移动通信网络步入多网络共同发展阶段

    我国移动通信网络步入多网络共同发展阶段

    人民网研究院组织编写的移动互联网蓝皮书《中国移动互联网发展报告(2019)》在北京正式发布。......

    关键字:移动通信网络 5G 人工智能

    [智慧安防] 荣耀安防评选再获嘉奖

    荣耀安防评选再获嘉奖

    近日,第二届中国安防产业赋能大会暨「荣耀安防」评选在深圳举行,大会以“AIoT赋能”为主题,探索交流人工智能、物联网对安防产业链带来的新一轮革新,同时对安防产业带来创新与新气象的赋能者、弄潮儿进行了嘉奖与礼遇。其中,知名AI安防企业英飞拓......

    关键字:人工智能 物联网 安防产业

    [智能家居] 智能家居成消费升级爆点

    智能家居成消费升级爆点

    近日关于智能家居的消息不断,小米发布智能互联网烟灶套装等颇受市场关注,LifeSmart云起首家全场景智能家居旗舰店于杭州开店,京东618期间智能家居销售6月18日当天同比增长290%。......

    关键字:智能家居 人工智能 物联网技术

    [生物识别] 新技术--虹膜生物识别智能芯片“坤芯K10”

    新技术--虹膜生物识别智能芯片“坤芯K10”

    随着人工智能的发展,其主要分支生物识别技术也将进入大爆发。根据市场研究公司MarketsandMarkets的最新预测,生物识别市场将从2018年的168亿美元增长至2023年的418亿美元。这一增长代表预测期间的复合年增长率达到19.9......

    关键字:人工智能 虹膜识别 K10芯片

    [智慧交通] 傲势用科技无人机公路巡检助力智慧交通

    傲势用科技无人机公路巡检助力智慧交通

    随着我国公路事业的高速发展,国内的公路使用里程数不断上涨,随之带来的交通安全隐患也令高速公路状况实时监控的需求水涨船高。但由于目前交通视频监控源的数据过于庞大庞大,导致了监控图像质量、传输时延都受到了一定程度的影响,增加了实时监控系统的建......

    关键字:人工智能技术 无人机 公路巡检

    [移动互联] 《中国移动互联网发展报告》

    《中国移动互联网发展报告》

    6月24日下午,移动互联网蓝皮书《中国移动互联网发展报告(2019)》发布会将在人民日报社内举行,主题为“智能时代的移动互联网”。......

    关键字:5G 人工智能 移动互联

    [汽车电子] 图像传感器平台将加速汽车安全特性的部署

    图像传感器平台将加速汽车安全特性的部署

    Hayabusa平台的符合车规的图像传感器涵盖从100万像素到500万像素分辨率,可扩展,并为制造商提供用于各种不同应用的配置选项。该平台的首款器件AR0233AT,是一款260万像素的传感器,同时具有高动态范围和抑制LED闪烁能力,以每秒......

    关键字:图像传感器 汽车安全 ADAS

    [单片机新闻] Intel延期的只是10nm吗?这项重要技术也落后三星、台积电两三年

    Intel延期的只是10nm吗?这项重要技术也落后三星、台积电两三年

    英特尔在制程工艺上的延期不只是影响10nm及未来的7nm工艺,更重要的是英特尔使用EUV光刻工艺也面临不确定性,分析称2021年底英特尔都不太可能用上EUV工艺,而台积电、三星明年的7nm改进版工艺就会用上EUV工艺。......

    关键字:英特尔 10nm 台积电 三星

    [消费类电子新闻] 想靠低价手机抢夺市场?苹果iPhone XE曝光,售价约4000元

    想靠低价手机抢夺市场?苹果iPhone XE曝光,售价约4000元

    iPhone销量下滑,除了因为创新乏力外,还有一个原因就是价格太高,苹果估计也想通过低价手机来守住市场份额。 ......

    关键字:苹果 iPhone XE A12处理器

    我 要 评 论

    网友评论

    技术子站

    更多

    项目外包

    更多

    推荐博客