首页 > 编程知识 正文

ai嵌入图片有什么用(dram是内存条吗)

时间:2023-05-04 17:51:17 阅读:91135 作者:1453

最近,据预测,DRAM凛冬即将来临,这种情况很可能持续一年半以上。 但供不应求的市场现状不会影响华邦电子上半年的收入。

根据华邦电子近日公布的数据,2021年上半年内存业务营收为新台币257亿100万元,比去年同期增长36%,其中DRAM产品线占2021年上半年营收的46%,DRAM收益率增长近4成。 2021年上半年Flash产品线的收益为54%,Flash的收益每年超过3成。

据悉,华邦电子正在扩充产能,其中位于台湾高雄的新工厂投产后,今后每年将以15~20%的产能幅度满足客户的需求。 除了生产能力方面的布局外,华邦电子在产品技术方面的布局策划篇也同样具有代表性。

在最近的采访中,华邦电子DRAM产品市场部经理jadhb表示:“未来一两年,边缘计算将更加流行。 通常认为AI的模型很大。 但是,实际上,业界通过继续优化架构,致力于缩小AI模型,可以说在精度允许的范围内进行了终极的压缩化处理。 ”

存储方案设计趋势:插件内存

在物联网、人工智能、5G、大数据、云计算等新兴技术的带动下,近年来人们的生活质量明显呈现出快速迭代。 特别是2020年的新型冠状病毒大爆发和之后的后冠状病毒时代,迅速拓展和活跃了我们新的生活方式。 短视频的兴起,数据进一步呈指数级增长。 这些海量的数据上传到云中,使用人工智能技术进行云管理、云托管、云挖掘是传统的做法。 但是,随着数据的急剧增加,面临着运算量过多、无负荷的课题。 解决办法是将运算直接转移到终端或边缘计算上。

确实,在终端APP应用和边缘运算APP应用的驱动下,AI模型总是向优化,也就是所谓的压缩化方向发展。 看看市场上的产品,就很容易看出这种趋势的变化。 如谷歌目前最有名的Tensorflowliteformicrocontrollers,可以将AI的神经模型引擎的权重控制得很低。 市场上也有像MobileNetV2-YOLOv3-Nano这样制作优化升级优化的制造商。 其重量大小已经控制在3.0MB,雅虎快速测试也可以控制在1.3MB。 在Yolo-Fastest-XL上也最大3.5MB

插件存储器是未来的设计趋势。 目前,主要芯片制造商在设计存储器控制器时推荐使用HyperBus技术。 这项技术最早于2014年由Cypress发布。 HyperBus接口的一个特点是,与其他内存IC的传输控制接口相比,针脚少。 这样简化了电路板的布局,也减小了布线面积。 鉴于这一趋势,华邦电子相关的HyperRAM系列产品也相继上市。

据悉,华邦电子自2019年正式推出HyperRAM新存储产品以来,在内存容量方面已经可以提供HyperRAM1.0、HyperRAM2.0、HyperRAM2.0e系列产品。 其中HyperRAM1.0的容量为32Mb; HyperRAM2.0的容量为64Mb。 256MB的HyperRAM 2.0/2.0e分别支持x8和x16,在3.0V或1.8V的工作电压下,HyperRAM2.0的性能达到最高工作频率200MHz,相当于数据传输速率400Mbps

HyperRAM的关键技术

功耗低、针脚少、设计方便是华邦电子HyperRAM的主要卖点。 低功耗实际上是内存产品市场对这类产品的主要诉求。 华邦HyperRAM最大的亮点之一是超低功耗。 HyperRAM 2.0e的B/W约为1GB/s,运行功耗小于50千瓦,常温时的待机功耗小于70千瓦,如果是超低功耗模式,常温时的待机功耗小于35千瓦。

明明耗电量那么低,HyperRAM是怎么做的呢? 原来,华邦在电路上做了特别的设计。 HyperRAM进入超低功耗模式后,关闭所有功耗电源,只保留所需的电路。 当然,数据总是保存的。 这种超低功耗模式的唤醒时间预计比传统的待机模式要长。 但是,据jadhb称,其实现在很多IoT的设备并不需要那么急于唤醒的时候,华邦经过与客户的沟通,发现目前HyperRAM超低功耗模式的唤醒时间没有问题。

关于封装尺寸,HyperRAM的面积比LPDDR和SDRAM小很多,设计变得容易了。 虽然也有针脚数量的部分,但HyperRAM的针脚少,现在有两种类型。 8 I/O和16 I/O、16 I/O约为30球。 以往的LPSDRAM和SDRAM都是60Ball或60Ball,与此相对,HyperRAM基本上减少到了接近一半的针脚数,即不足30个。 因此,在客户使用方面,从PCB板的面积和设计来看,也更为简单,功耗更低,带宽方面也没有太大衰减,符合当前的市场需求。

HyperRAM的应用

HyperRAM的应用范围非常广,不仅可以利用HyperRAM来保存AI数据,还可以保存视频流和音频流的数据。 目前,客户端采用HyperRAM的APP市场主要是4G功能手机、智能手表、LTE物联网模块、人工智能物联网设备。 像华邦这样的64MB的hyperram不仅可以保存RTOS,还可以用于一些简单的轻度智能,但不能进行实时的图像识别。 例如智能仪表和智能仪表通常以每秒一张的速度进行图像识别,经由NBIOT传输到中央控制台后,可以传输数据。 对于不需要实时影像解析的APP

场景,HyperRAM非常合适。

此外 据介绍,其实现在有很多小型的eFPGA公司把HyperRAM用于Display Buffer,所需容量为32Mb-256Mb。还有WiFi IoT设备中采用HyperRAM,主要是为了提供Data buffer。其实WiFi IoT里面还有放一些ISP(Image Signal Processing,图像信号处理)的功能,以及一些MPU,需要做图像识别(Image Recognition),它对HyperRAM的容量需求比较高,且起跳幅度较大,大概是从64Mb-256Mb。

jadhb表示,从今年年底到明年开始,可能陆续会有很多导入HyperRAM的设计。如智能音箱、家用摄像头、智能门铃、智能门锁等智能家居应用,以及工业用人机界面,甚至汽车仪表。据介绍,目前在欧洲,已经有将HyperRAM应用于电动自行车的主机上的产品。

不过,整体而言,HyperRAM在微控制器、芯片组制造商方面的被接受度会更高一些。jadhb介绍说,HyperRAM在微控制器与AI结合的新型应用上会越来越普遍,这也是未来的发展趋势。据介绍,通过目前与华邦合作的客户来看,与HyperRAM相搭配的主要是Cortex-M7或者M55之类的微控制器,或是一些其他的MPU。而应用大概是KWS(Key Word Spotting)或者是简易的图像识别。

比如微控制器,可能需要搭载RTOS功能,或外挂一些WiFi/BT(Blue Tooth),或LTE,甚至还要添加设备端AI(On Device AI)的NPU功能。在添加AI功能的前提下,使用既有的SRAM存储RTOS之后,SRAM的空间就不够大了。而通常Microcontroller里面不会配置高容量的SRAM,因为成本太高。解决的办法就是采用外挂内存的处理方式。目前,虽然主流的智能设备如耳机、蓝牙(BlueTooth)、TWS等,基本采用的还全都是NOR Flash。不过随着衍生性应用需求的增多,为了实现更高阶的应用,就需要更大的内存来实现低延迟(low latency)、语音计算等功能。jadhb介绍说:“外挂内存就是很好解决办法。这样的产品,可能明年开始就会出现在市场上。”

图 音频/视频等MCU设备中的端上人工智能需求激增的应用与市场

除了在微控制器领域,华邦还在积极跟MCU以及一些系统厂商进行合作,希望将HyperRAM的生态系统建立起来。因为MCU系统的电路板不会做的很大,需要的引脚数(pin-count)不用太多,所以HyperRAM就是一个很好的选择。jadhb介绍,目前很多microcontroller或者工业控制部分都希望导入华邦HyperRAM。尤其因为在低频(low frequency)的情况下,microcontroller其实并不需要特殊的DRAM去做控制,一般的GPIO在低时钟频率,如100MHz以下,就可以模拟出HyperRAM控制功能。所以对于microcontroller来讲非常适合采用HyperRAM产品

jadhb进一步分享说:“HyperRAM可作为工作内存使用,适合AIoT设备的嵌入式AI和图像处理应用。华邦仍在持续对HyperRAM这个产品线做一些研发和企划。2.0e之后是2.0 Plus,这款产品速度将会再次得到大幅度提升。接下来,华邦会将HyperRAM的容量延伸到128Mb甚至256Mb,届时将可以存储更多图像数据或者更多AI模型。并且根据华邦的预期,未来这两三年AIoT的应用会越来越广泛。我们希望在市场的回响越来越好之后,将推出HyperRAM3.0。”

华邦HyperRAM计划

NOR+NAND,全面提升AI“读取速度”

因为目前AI大多将数据存放在终端进行运算,也会有一些AI模型需要存放在终端,通常都是存放在NOR Flash或者是NAND Flash上面。使用情境就是把AI模型快速的从闪存读取出,再传到DRAM/SDRAM 或者HyperRAM做一些运算。所以, “读取速度”成为了很重要的考量点。

如果AI的模型是比较小,容量比较小,NOR Flash其实在小容量读取上是非常快速的,是一个不错的选择。但是如果随着添加的功能越来越多,或者是需要识别的东西越来越复杂的时候,AI模型所占的容量就会比较大。此时,在大容量的情况下,NAND Flash的读取速度相比于NOR Flash更快。所以在这样的使用场景上,就要去可以选择不同容量的NOR搭配不同容量的NAND,同时满足小容量与大容量的快速读取。

华邦SpiStack :NOR芯片和NAND芯片堆叠封装

华邦SpiStack将NOR芯片和NAND芯片堆叠到一个封装中,例如 64Mb Serial NOR和1Gb QspiNAND芯片堆叠,使设计人员可以灵活地将代码存储在 NOR 芯片中,并将数据存储在NAND芯片。此外,虽然是两个芯片 (NOR+NAND) 的堆栈,但单一封装的SpiStack,在使用上仅需6个信号引脚。

两颗芯片变一颗芯片,PCB拉线才会变小

总结来看,华邦的SpiStack拥有三大优点,即硬件兼容、成本优势、质量优良。对于闪存产品,客户永远都会期待它拥有以下三个优点,PCB占地小、成本低、组合多样化。而华邦的SpiStack产品家族可以充分满足这些需求。

首先,华邦通过把两颗不同的SpiNOR与SpiNAND,采用标准型封装为一个闪存产品。原本的NOR是八只脚的标准封装,原本的NAND也是八只脚的标准封装,放在一起之后,它还是八只脚的标准封装,所以在硬件设备上或者是拉线设计,甚至电路板设计上,不需要做任何的更改。因为华邦的SpiStack封装是标准型,而不是特规型的封装。此外,SpiStack的管脚也与原本的标准型封装完全对应,所以在硬件兼容方面,采用华邦SpiStack产品,使用者无需重新进行电路板设计。第二个,消费型的电子产品售价不可以太高,所以这就要求各个零件的成本都需要降低。而成本与PCB设计息息相关。PCB电路板面积越大,所要耗费的成本就越高。华邦SpiStack产品可以把一颗NOR Flash加上一颗NAND Flash堆叠起来,使得原本要用两颗闪存的占地面积变成一颗闪存,这样就可以缩减电路板的面积,也可以缩减原本使用者缩减闪存成本。电路板上的拉线也从原本两颗的拉线变成只需要一颗的拉线,能够进一步节省电路板的面积。第三个, 目前华邦SpiStack产品线的产品型号W25M161AVEIT、W25M321AVEIT、W25M641AVEIT、W25M121AVEIT,分别是16Mb、32Mb、64Mb、128Mb的NOR Flash搭配上1Gb NAND。此外,客户也可以选择其他种不同容量的NOR搭配不同容量的NAND。客户的考量需求有两个, 一个主要是根据开机数据量的大小,另一个是考量到需要存放较大的数据,比如说是图片数据或是程序数据。客户可以就这两个考量来决定所需要NAND Flash和NOR Flash的容量大小。用户或系统设计者,将不会浪费太多成本去使用超过需求容量的闪存。

华邦电子闪存产品营销部经理kadyd特别强调说,市面上也有将NOR芯片和NAND芯片放在一个封装里面的产品,但他们的方式都是用硬件的实体脚位去做切换,这样就无法保持8脚位数的标准封装了,必须采用另外的封装方法。华邦导入了一个全新方法,用软件指令做芯片切换。当需要控制某一颗芯片的时候,只要用一个软件的方式去切换,就会操作到特定的芯片。每一个芯片都会有自己的识别码,用软件去指向特定的识别码。此外,SpiStack(NOR+NAND)支持并发操作,当某颗芯片在执行写入/擦除时,另一颗芯片可以同时进行写入/擦除/读取。它们互不干扰,反之亦然。所以SpiStack也可以节省写入与擦除的时间。此外,SpiStack用到的NAND跟NOR,都是华邦已经通过车规级验证,且生产NAND与NOR采用的都是成熟制程,所以在质量上是毋庸置疑的。

用户案例:瑞萨的RZ/A2M

7月初,华邦电子正式确认,华邦HyperRAM 和 SpiStack (NOR+NAND) 产品将与瑞萨基于Arm 内核的RZ/A2M 微处理器 (MPU) 搭配使用。瑞萨RZ/A2M属于RZ产品系列微处理器,基本适用于所有需要图像预处理的应用,尤其在非汽车的产品当中属于性能卓越的系列。

瑞萨 RZ/A2M硬件结构框图

RZ/A2M的基础是ARM Cortex-A9 528MHz MPU。和其他的MPU一样,有一些共通的外设。但是比较特殊的是RZ/A2M同时设置有两个网口,两个USB,两个SDHI,还有一些security在里面。此外还有三个比较特别的与其他品牌MPU不同的地方,RZ/A2M配置了瑞萨独有的DRP硬件加速内核,主要用于图像预处理,速度非常快。

据了解,DRP是一个硬件加速,即搭载外置memory的图像预处理应用。它是瑞萨自研加速核,可以比一般的CPU快10倍左右。以二维码扫描仪为例, 单纯用一款528MHz的芯片,便能达到60帧输出,基本等同于其他客户用的FPGA级别。

那为什么RZ/A2M还要采用华邦的HyperRAM呢?

面对这个问题,瑞萨电子中国企业基础设施事业部经理 Anson介绍说,音频/视频等MCU设备中的人工智能需求激增,是促使瑞萨等企业选用HyperRAM产品的主要原因。据了解,RZ/A2M内部配有一个4MB的SRAM,可用于比较简单的应用,如一些HMI(人机交互界面),或者是简单的控制应用。因为本身配备DRP的核,即使CPU运转不快, 仍然可以用于图像预处理。但是面对现在很多的嵌入式系统,数据量以及程序库依然远远大于普通的HMI。4MB的内存容量,面向现在嵌入式AI系统来讲,有些应用场合是不够的。所以很多时候瑞萨都会建议客户采用外挂内存。

瑞萨RZ/A2M采用华邦的HyperRAM和SpiStack (NOR+NAND)可以减少PCB上的内存安装面积、导线数量和BOM成本。两种封装尺寸均仅有8x6mm , 其中有13个信号引脚用于HyperRAM,6个用于SpiStack (NOR+NAND)。与传统的SDRAM和并行NOR/NAND相比,华邦HyperRAM和SpiStack的封装尺寸和终端数量都减少了80%左右。随着嵌入式AI系统变得越来越复杂,使用搭载外部存储器的RZ/A2M可支持应用程序代码或训练模型不断增加的数据量。

— 结束语 —

过去,传统存储面对的主要是数据库、文件和流媒体等传统应用。今天,在新兴技术驱动下,存储主要面对的是云计算、大数据和人工智能等大规模数据应用场景。此外,随着IoT终端设备微型化的趋势,新一代高效能、低功耗的MCU市场正在兴起。虽然MCU的制程节点已经从55nm、40nm朝28nm,甚至16nm移转。尺寸上的满足并不能同步带来运算能力的优化,需要新一代的外部内存作为数据缓冲之用。正是这些新型应用的崛起和快速普及给数据存储带来了全新的机遇,市场对存储芯器芯片的需求日益增长。当然,机遇和挑战往往总是相伴而生的。行业进入深耕时代,抢占用户的能力决定了未来,找准场景快速落地将成为关键。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。