编辑视点

  • “自主研发”的主基调下,主流科

    此次展会既为电子行业展示了中国电子信息的真实技术水平……

  • “中国芯”之路上有哪些艰难险阻

    成都是一个“走出来就想回来”的城市,这座城不仅拥有“……

  • 这座城里究竟藏着多少黑科技?—

    这座城里的黑科技让人惊艳。……

  • 嵌入式
  • 电源
  • 汽车电子
  • 单片机
  • 消费电子
  • 测试测量
  • 显示光电
  • 物联网
  • 模拟
  • 通信技术
  • EDA
  • 智能硬件
  • 工业控制
  • 医疗电子
  • 资讯

  • 华为Mate30 真的不能预装谷歌服务?这对华为
  • iPhoneXS 与 iPhoneXR 到底有什么区别?为什
  • 格力PK奥克斯, 到底谁家的空调有问题?
  • 新品

  • 绿芯发布新一代 SSD:自研 EnduroSLC 闪存,
  • 中兴通讯自立自强!摆脱巨额罚款影响 ,核心
  • 荣耀MagicBook Pro测评之频率测评
  • 应用

  • Sion系列电动汽车
  • 一种将太阳能和水蒸气结合在一起的面板装置
  • 技术专访

  • 如何降低家电待机能耗?选对X电容

    最近,Power Integrations(以下简称PI)公司发布了新一代……

  • 什么样的物联网传感器方案才能抢

    物联网(IoT)迅猛增长并带动智慧城市、智能家居、工业物联……

  • 基础知识

  • 单片机MCU如何实现让部分代码运行在RAM中?看这里
  • 关于SPI-Flash的一些基础知识
  • 单片机MCU相关基础知识整理篇
  • 电平控制LED灯,电平转换电路
  • 技术交流
  • 侃单片机
  • 开源创客
  • 模拟技术
  • 新手园地
  • ST MCU
  • 无人机
  • 情感天地
  • 编辑推荐

  • 〓◆安森美在线研讨会精彩回顾◆〓
  • 我用AI视觉模组DIY了一个驾驶疲劳监测仪
  • 十七年嵌入式开发经历的工程师感慨
  • 不好意思,我发现新大陆了,喜欢PIC和AVR的赶快来
  • 〓◆Arrow + ADI 在线研讨会精彩回顾◆〓
  • 有哪些工具可以让嵌入式开发事半功倍?详细盘点工程师...
  • 【电赛交流】关于大学生电子设计大赛的几点经验交流
  • 〓◆Cytech + ADI 在线研讨会精彩回顾◆〓
  • TI 杯2019年全国大学生电子设计竞赛 赛题分析来一波
  • 【HC32L136_demo板】如何使用J-flash独立烧录hex文件
  • 厂商

  • 十大热门

  • GD32F303之快速傅里叶变换
  • "PCB"就是拉几根线吗?
  • 我对一体机电脑的改进想法
  • 萌新问个三极管的问题
  • [HC32L136 demo板]+SdCard的驱动实现(软件IO模拟SPI)
  • 极为基础和简单的叠加原理
  • 求助,新人接触pic16
  • 求助dsPIC33CH系列单片机的中文资料或者程序例程
  • Linux下GNU Radio平台的搭建以及该如何使用NI USRP设备
  • DCDC输出的高频噪声抑制
  • 东南大学 机器人原理与应用(上)
  • 小哥Allegro72讲速成视频(下)
  • 小哥Allegro72讲速成视频(中)
  • 小哥Allegro72讲速成视频(上)
  • 自己动手写FAT32文件系统
  • 在线研讨会

  • 优化模拟集成的四大支柱

    演讲人:Brad Brannon

    时间:2019-09-19 10:00:00

  • 轻松实现LED电源的NFC参数设置及LED光衰减的自动补偿

    演讲人:朱琦

    时间:2019-09-20 10:00:00

  • LAPIS 16位MCU「ML62Q1000系列」介绍

    演讲人:姚玲玲

    时间:2019-09-25 10:00:00

  • TI在线培训中心

  • 如何使用独立计量ADC设计单相分流电表
  • 电池测试设备直流电源系统设计
  • 如何使用独立计量ADC设计高精度CT分相电表
  • 嵌入式课程
  • 电源课程
  • 汽车电子课程
  • 信号链课程
  • 求三相交流电流、相序、缺相检测软硬件设计

    预算:¥100003天前

  • 网络球机云台控制

    预算:小于¥100004天前

  • Type-C扩展坞电路原理图和PCB设计

    预算:¥200004天前

  • 分类

  • 通信
  • 工业
  • 电路设计
  • 消费
  • 汽车
  • 智能家居/家电
  • 智能穿戴
  • 安防监控
  • 医疗电子
  • 半导体/EDA
  • 机器人/无人机
  • 软件/系统开发
  • 测量/模拟
  • 电池电源
  • 光电显示
  • 游戏/办公
  • 其他
  • 单片机程序开发

    广东省8天前

  • 电子工程师

    江苏省14天前

  • 嵌入式工程师

    上海市14天前

  • 分类

  • 电子/电器/半导体/仪器仪表
  • 质量管理/安全防护
  • 软件/互联网开发/系统集成
  • 硬件开发
  • IT质量管理/测试
  • 电信/通信技术
  • 汽车制造
  • 其它
  • STM32F105XX中文数据手册
  • TI官方的电平转换解决方案
  • 基于多循环频率聚焦的宽带循环平稳信号阵列测向方法 刘章孟等
  • VWDK调制真的可实现吗?
  • 空间色噪声环境下双基地MIMO雷达角度和多普勒频率联合估计方法
  • 基于模糊函数的雷达辐射源个体识别
  • 机会式网络编码的系统中断性能
  • 通道一致性误差对InSAR性能的影响分析
  • 电路图

  • 无线温湿度测试系统电路设计图
  • 车用语音手机来电提醒器电路图
  • 车载手机充电器电路图
  • 电力拖动控制线路图13例
  • 单片机蜂鸣器的控制程序与驱动电路图
  • 可控硅控制电路图解及制作13例
  • 激光枪射击游戏的电路图
  • 索尼PS2主机故障维修原理电路图
  • TI designs 参考设计库

  • 用于 2 线、4 到 20 mA 电流环路系统的 RTD 温度发送器
  • 汽车类高电流无刷直流 (BLDC) 电机驱动器
  • 采用 iBeacon 技术的 SensorTag
  • 集卡兑好礼 ADI就是你的幸运之星

    [活动时间]:2019.09.02-10.01

  • 下载站VIP五折起,全站资源免积分下载!

    [活动时间]:

  • (有奖)寻宝+分享大赛,探索你最care的汽车系统解决方案

    [活动时间]:即日起至9.25

  • Intel注册下载,秋爽红包拿不停!

    [活动时间]:08月12日— 09月30日

  • 加入myTI,悦览海量技术资料,开启深度学习模式

    [活动时间]:即日起至2019-9-20

  • TI 夏日福气大礼包,与开发板的小确幸

    [活动时间]:即日起至2019-09-20

  • 下载得“能量”,是德科技邀您一起制造凉爽

    [活动时间]:2019.07.10--08.10

  • 安森美半导体Fan Club上新,第二期积分榜活动来袭

    [活动时间]:2019.07.01-10.01

  • 热门:
  • 电源|
  • 嵌入式|
  • 汽车电子|
  • 下载|
  • 图酷|
  • 外包|
  • 公开课|
  • Datasheet|
  • 会展|
  • 在线研讨会|
  • TI在线培训中心|
  • 库存|
  • 评测|
  • 技术专题|
  • 开发板共享库
  • 首页 > 专访 > 技术专访
    [导读]据一家名为Allied Market Research的预测,2025年AI芯片相比2018年将迎来10倍到20倍的增长。而未来最有潜力的增长将来自专用ASIC。虽然GPU是目前AI芯片市场的明星,但是专用ASIC将主导市场的这种苗头已经从近期Habana Labs的产品发布中显露出来。

    目前AI芯片市场很火热,产品类型也很丰富:GPU、ASIC、FPGA、CPU等。据一家名为Allied Market Research的预测,2025年AI芯片相比2018年将迎来10倍到20倍的增长。而未来最有潜力的增长将来自专用ASIC。虽然GPU是目前AI芯片市场的明星,但是专用ASIC将主导市场的这种苗头已经从近期Habana Labs的产品发布中显露出来。

    document_image_rId9.png

    业界最大幅度能效提升,单卡性能小幅提升

    document_image_rId10.jpg

    Habana Labs在去年曾推出了专门应用于推理的AI芯片Goya,而今年在北京,Habana Labs的首席商务官Eitan Medina先生宣布了全新训练AI芯片Gaudi的发布。

    document_image_rId11.png

    根据给出的信息来看,在运行ResNet-50模型的时候,Gaudi的处理能力比英伟达的V100提升了14%;而更令人印象深刻的是其功耗的表现,消耗每瓦特的功耗可以提供的IPS处理能力相比特斯拉T4提升了94%!据Eitan先生介绍,单卡的Gaudi的功耗是140W,可以实现1650 IPS的性能。Gaudi的另一个优势在于其集群的处理能力的增长率也要比V100好上很多,如下图所示,在大约640个Gaudi和640个V100性能对比下,Gaudi是V100的3.8倍。所以Gaudi从小型服务器到大规模服务器的部署,都非常适合。尤其是在大规模部署方面,绝对是目前市场上最佳选择之一。

    document_image_rId12.png

    那么这种优异的随数增速的处理能力来自哪里呢?那就不得不提到其内置的RoCE。

    内置RoCE实现任性拓展

    RoCE是一种目前业内普遍认可的英伟达曾在今年3月份以69亿美元现金收购以色列芯片商Mellanox Technologies,看重的就是RoCE技术。在近期的GTC 2019上,黄教主就强调了RoCE的重要性:随着服务器数量的提升,必须要借助RoCE的功能才可以将整个系统的处理性能实现提升。通过NVLink+PCIE+RoCE等技术构成了英伟达的NCCL的通信库,确保整个系统的性能随着硬件堆叠而继续提升。而Habana  Labs则直接将RoCE功能集成到了Gaudi中。

    document_image_rId13.png

    Gaudi使用标准以太网RoCE来进行拓展,相比起英伟达的NVLink和InfiniBand在系统拓展和构建方面就更为简单。每个Gaudi中都内置了十个RoCE端口,而英伟达的V100则需要首先外接一个PCIE的转换卡,然后连接到RDMA上实现以太网的带宽拓展。Gaudi在成本和设计简化度上明显优于V100。

    document_image_rId14.png

    Habana Labs在芯片之上提供两种不同的产品形态:PCB板卡样式的HL-205和PCIe卡样式的HL-200。以HL-205为例,通过内置的RoCE可以实现多种不同的组合。

    document_image_rId15.png

    上图是8个HL-205,加上两个PCIe的开关组成的一个训练系统,接口为4x16 PCIe Gen4,可连接到外部主机服务器,最多80X100Gb以太网链路。外部以太网链路可以连接到任何交换层次结构。这种系统可以实现超大型模型并行训练。

    document_image_rId16.png

    这8个HL-205还可以有另一种网络的方式,这种方式主要是针对已经使用了V100的训练系统中进行V100的替换。因为V100只有六个端口用于拓展。HL-205支持在OAM规范中定义的6个通道上分配20个SerDes端口。但是这种网络连接的系统并没有将Gaudi的性能发挥到极致,这非常适合在现有V100的系统中进行器件替换。如果你想要构建一个更为高效的训练系统,Habana Labs提供了另一种名为HLS-1的系统。

    document_image_rId17.png

    HLS-1对外提供PCIE的这种接口,同时还提供了以太网接口。在系统内部,每个Gaudi会拿出10个RoCE中的7个来与其它7个Gaudi实现互连,剩下的3个作为外部以太网接口。所以HLS-1可以提供24个100G的外部以太网接口。这是一个非常高效的训练系统,无需任何以太网交换机,用户使用起来也非常方便,只需要通过PCIE就可以将HLS-1与自己的计算系统进行互联。而且复用率较高,可以连接到各种不同的CPU平台进行整个训练系统的搭建。

    document_image_rId18.png

    两个HLS-1通过背板连接在一起就可以提供一个非常高效的16 Gaudi的训练系统。同时6个HLS-1可以放在同一个机架上组成一个训练系统。

    document_image_rId19.png

    document_image_rId20.png

    到这里还没有结束,接下来给大家介绍下更大规模集成的训练系统的组成,因为Gaudi内置了10个RoCE,所以HLS-205相比英伟达的DGX-2在大规模集群方面可以实现更强大的堆叠。

    24个HLS-205之间可以保持相互100GbE的通信速率。如果将通信速率降低为50GbE,那么自然可以直接使系统数量翻两倍。而DGX-2在进行大规模集群的情况下,性能放大的表现并不足够优秀。Gaudi的这种集群系统可以在几小时内训练大量的模型,这对于想要最大限度地减少培训时间,建立大型,高效率的AI训练系统的客户群而言非常有价值。

    在Habana Labs的官方介绍中,提供了1000多个Gaui横向扩展的方案,这是一个8*11*12 = 1056的拓展方案。如果想要更大规模的拓展 ,则需要牺牲一定的带宽来实现。

    document_image_rId21.png

    也可以选择采用全连接的单跳系统的方式来进行拓展,8个HL205的Gaudi系统通过网络交换机进行连接,总计16个100G的网络连接。这种大规模的系统可以直接连接到深度学习的加速器。

    document_image_rId22.png

    还有一种拓展方式称为“high end 2k Gaudi”系统。每个HL205包含一个64口的交换器,每个交换器都连接到256X100G的交换机。

    document_image_rId23.png

    Gaudi内置10个RoCE所带来的优势非常明显,V100被远远甩在了身后。但在Gaudi上进行开发的体验是否有保证呢?Habana Labs也考虑的非常周到。

    将现有设计移植到Gaudi平台

    新的硬件平台出来后,性能一般都会更优异,但客户最终会关心的一个问题是,如何将我现有的设计方便地移植到新的平台上?这是他们决定是否进行硬件平台变换的重要因素。

    document_image_rId24.png

    Habana提供的软件环境叫做SynapseAI,软件在上层API可以对接多种主流框架,例如TensorFlow、Caffe2、ONNX和Glow等等。软件的核心包括一个Habana Labs的库、一个用户库和一个图形组件。如果客户有定制化的需求,可以通过用户库来进行定制化的设计。软件下层公国KMD API与Gaudi的PCIe驱动进行连接。

    Habana Labs的Synapse AI希望可以帮助到做深度学习的开发者能够专注于算法本身的开发,而无需考虑过多的硬件移植和适配等问题。

    ---

    Gaudi在性能、拓展性和功耗方面超越了V100和T4,随着未来AI方面需求的逐渐明确,专用的ASIC的方案肯定会比GPU、CPU等更加高效和适合。

  • 换一批

    延伸阅读

    [工业控制] 工业互联网逐渐起到了推动制造业转型升级的关键作用

    工业互联网逐渐起到了推动制造业转型升级的关键作用

    近年来,随着人工智能、物联网等技术的快速突破,传统产业的数字化、智能化、网联化发展已经成为大势所趋。在新一代信息技术与传统制造业体系的加速融合下,工业互联网逐渐起到了推动制造业转型升级的关键作用。......

    关键字:工业互联网 制造业 人工智能 物联网

    [消费类电子新闻] 万物互联,当下人工智能是否迎来最好的时代?

    万物互联,当下人工智能是否迎来最好的时代?

    在金融领域,联邦学习能够用以分析潜在的欺诈行为;在保险定价领域,能够以更多维度精准分析用户的属性。对于企业而言,应用联邦学习能够更有效地节省成本,同时也能够更精准地去做用户的分级。另外对于一些数据非常敏感的场景,比如说医疗领域,不同医院之间......

    关键字:人工智能 最好时代 数据孤岛

    [模拟技术] “现代AI教父”现身上海:支持上海成AI发展策源地

    “现代AI教父”现身上海:支持上海成AI发展策源地

    施米德胡贝是人工智能行业内名副其实的先驱。这位“现代AI教父”日前来沪参加了上海世界人工智能大会(WAIC),其间其接受第一财经记者专访。......

    关键字: DeepMind 人工智能 上海

    [模拟技术] 面对数据孤岛和隐私问题,人工智能迎来最好时代?

    面对数据孤岛和隐私问题,人工智能迎来最好时代?

    站在今天回看,2017年或许是中国人工智能发展的一个重要节点。2017年,“人工智能”首次被写入全国两会政府工作报告,国务院总理李克强表示,要全面实施战略性新兴产业发展规划,加快新材料、人工智能、集成电路、生物制药、第五代移动通信等技术研发......

    关键字:人工智能 AI 机器人

    [模拟技术] AI灵魂是什么?去世后需要AI灵魂吗?

    AI灵魂是什么?去世后需要AI灵魂吗?

    AI是什么?灵魂是什么?AI灵魂是什么?那么人类去世后到底需不需要一个AI灵魂呢?......

    关键字:去世 AI灵魂 人工智能

    [大数据] 复旦大学携手汇付天下欲共同推动大数据产学研发展

    复旦大学携手汇付天下欲共同推动大数据产学研发展

    为了进一步推动上海建设具有全球影响力的科创中心的目标,打造基于人工智能、大数据等金融科技创新发展能力,复旦大学大数据学院与汇付天下有限公司(01806.HK,以下简称“汇付天下”或“公司”)在2019世界人工智能大会期间达成战略合作,发挥......

    关键字:大数据 人工智能 科技

    [大数据] 大数据时代背景下的安全保障

    大数据时代背景下的安全保障

    在生活水平提高的今天,健康、安全问题逐渐被人们重视。基于对健康的需求,生活中衍生出保险行业,而随着互联网的兴起,保险在互联网上也大放光彩。安心保险就是国内首批获得牌照的互联网保险企业,它提供的新型互联网保险深受消费者的欢迎。......

    关键字:大数据 互联网 人工智能

    [大数据] 金融与大数据、人工智能技术相结合

    金融与大数据、人工智能技术相结合

    随着越来越多普通消费者与金融发生联系,金融业务中的消费者体验变得日益重要。中国人民银行正式印发金融科技发展三年规划,让金融科技再次成为热点话题,其中提到的人工智能在金融领域的应用前景让业内再次引发了讨论。......

    关键字:大数据风控 人工智能 人脸识别

    [大数据] 大数据专业专科生是否会青睐

    大数据专业专科生是否会青睐

    大数据之所以受到广泛的关注,一个重要的原因是大数据开辟出了一个新的价值领域,这会在很大程度上促进创新,也会培育出一系列产业生态,大数据将在未来较长一段时间内成为推动科技发展的重要驱动力之一。......

    关键字:大数据 物联网 人工智能

    [大数据] 2019 CCF大数据与计算智能大赛启动

    2019 CCF大数据与计算智能大赛启动

    自2013年起至2018年,6届CCF大数据与计算智能大赛共计发布58道赛题,45家知名企业为大赛提供了实际业务中的疑难问题。其中世界500强企业5家、市值超过百亿的有16家、大数据产业明星企业40家。6届大赛共吸引1500余所高校、18......

    关键字:大数据 人工智能 CCF

    [工业控制] 世界人工智能大会在上海开幕

    世界人工智能大会在上海开幕

    世界人工智能大会在上海开幕。开幕式上,科技部宣布依托好未来建设智慧教育开放创新平台。......

    关键字:人工智能 世界人工智能大会 上海

    [智慧安防] AI智慧安防助力城市精细化管理

    AI智慧安防助力城市精细化管理

    人工智能自上世纪50年代被正式确立为研究学科以来,几经沉浮,终于在今天成为了全球瞩目的焦点,成为引领未来的战略性技术。人工智能技术的突破及不断演进,给安防产业带来的变革是全链条式的,贯穿前端设备、系统、平台以及上层应用等环节。......

    关键字: 人工智能 AI视觉智能设备 AI芯片

    [工业控制] 还在担忧机器人会抢你“饭碗”么?三大建议告知你

    还在担忧机器人会抢你“饭碗”么?三大建议告知你

    国外媒体报道,随着包括机器人、人工智能、机器学习等在内的技术改变工作性质,员工们将需要新的技能来适应角色转换。市场研究公司Gartner就预测,定期更新技能和投资新培训的员工将比那些有经验或有终身任期的员工更受重视,但这并不容易。......

    关键字:人工智能 机器人 机器学习

    [智慧物流] 传化智联智慧物流为重庆升级城市配送体系

    传化智联智慧物流为重庆升级城市配送体系

    在2019中国国际智能产业博览会(简称:智博会)上,传化智联作为服务产业端的智能物流平台,正加快在重庆的布局,物流也将成为智博会的“新亮点”。目前,传化智联城市物流中心在西南地区已有重庆、贵阳、昆明、遵义、玉溪5个已投入运营的公路港。......

    关键字:智慧物流 人工智能 5G

    [智能硬件] 2019世界人工智能大会上海开幕 世界人工智能大会有何看点?

    2019世界人工智能大会上海开幕 世界人工智能大会有何看点?

    以“智联世界,无限可能”为主题的2019世界人工智能大会29日在上海开幕。国内外顶尖高校、行业领军企业、国际组织的500余位嘉宾参会,大会将举办超过200场各类论坛和特色活动,分享海内外顶尖专家学者的前......

    关键字:世界人工智能大会 人工智能

    我 要 评 论

    网友评论

    技术子站

    更多

    项目外包

    更多

    推荐博客