更多精彩内容,请微信搜索“FPGAer俱乐部”关注我们 这是一篇对地平线公司产品的猜想博文,本人对地平线充满了无限的仰望和崇拜,绝无冒犯之意。因为对AI芯片设计公司感兴趣所以才分析。为何不分析别家呢? 因为4月在深圳会展中心的电子信息博览会地平线过来了。商汤,寒武纪,深鉴都没有来参展。 地平线产品:征程 1.0 只支持一路1080p30fps,而且有检测距离限制。识别200个目标
征程2.0上可以最多支持8路1080p 30fps实时处理而且加入了交通标志牌识别,路况识别征程1.0 在展会上是一个不通电的样机,销售说1.0效果不怎么好,让我看2.0的效果。 而2.0 是一个用altera A10 挂载7个DDR3做成的demo。 先看他们的效果图
先分析征程 1.0 :很明显,地平线2015年7月成立,2018年2月初发布征程1.0,从IC研发周期看,这个IC 研发速度还是非常快的。当时是为了尽快融资他们将识别算法迅速用硬件实现,所以还有一些算法残留影子 —— 识别200个目标(谁不知道ADAS只需要识别几个目标就可以了,所以2.0版本上就把这个从算法上拿掉了,精简了算法)。“行人检测可达60m”手册上这句话,个人理解暴露出他们的算法把图像压缩了,压缩之后的图像对小物体检测出现了丢失现象(2.0版本没有这个限制)。目前1.0 主要用在自动泊车
再分析征程 2.0 ,手册上着重强调了他们采用了新型稀疏二值化神经网络,算法上拥有像素级视频语义分割(都到像素级了,所以图像应该没有进行缩小,所以也就没有了1.0中的检测距离限制。分割之后图像中的空白区,蓝天,建筑物都不需要参加运算的吧。),深度评估等功能(这个是用来分析车辆行人下一个动作,至于效果谁知道呢)。以上是对地平线产品的猜想,如果有不对的地方欢迎大家批评指正。 再看看其他公司是怎么实现这种检测的,看看百度,这是百度Apollo 2 在新浪上的视频截图 ,对啊,道路旁边的建筑物,树木都去哪里了 ?
最后看看谷歌的 waymo 第二代在腾讯上的视频截图
谷歌的稍微好点。右下方还有一个真实视频显示。主车就是视频中间那个绿 {MOD}的框框。注意看绿 {MOD}框框前面有一个小的红 {MOD}框框。看左下方真实视频里面的右边一点点,里面有一个男生骑着自行车,那个红 {MOD}框框就是他。 国内有太多的公司想做ADAS,展会上随便就可以找出上10家来,可是除了地平线在展会上展示的效果(FPGA demo)不错之外,其他公司应该跑的是GPU上的demo。理论上CNN 算法移植的FPGA里面可以实现加速,可是实际上CNN 对内存读写数据量太大,GPU 有HBM 技术支持,GTX 1080 对自己内存读写速度就可以达到10G 以上,高端的就更快了。CNN 移植到FPGA,在实验室里可以放个小图像进去跑几层看看效果。真正要实现产品化,图像至少来个720p的,卷积一不小心就是几十层,最终要放到硬件里 难度还是很大的,这个难度主要不在FPGA工程师那里,这个原因我在 这个系列的第一篇
基于FPGA的CNN算法移植(一)概述 里就说的很清楚了。能对CNN ,RNN 能进行优化的算法工程师实在是太少了。深鉴可不可以学习一下吴恩达,把自己变成一个算法优化的培训机构呢? 哈哈哈,玩笑了。小公司做这个ADAS项目,那就是个巨坑。FPGA工程师们,共勉吧。 由 地平线的产品效果,到百度的产品效果,再到谷歌的产品效果,大家有没有什么启发呢?
本文转载自http://www.cnblogs.com/sepeng/p/8806244.html,如涉及侵权,请私信小编删除。============华 丽 的 分 割 线============想加入我们FPGA学习交流群吗?可以长按或扫描以下二维码,审核通过后我们邀请您加入。这些微信群旨在打造一个提供给FPGA工程开发人员及兴趣爱好者(统称“FPGAer”)进行技术交流、答疑解惑和学习的平台。而且我们也将会通过网络举办FPGA技术讲座,分享相关研究文献。 了解更多FPGA知识可以长按或扫描以下二维码关注“FPGAer俱乐部”。