您的位置:首页 > 媒体评论

端侧AI普及,到底卡在哪了?「端侧ai是什么」

发布时间:2022-10-19 03:25:36  来源:互联网     背景:

“我们的AI芯片设计出来了,但是没多少人能用起来。”这是两三年前端侧AI芯片CEO们的烦恼。

“面对十多款端侧AI芯片,选型就是一个难题。”一位AI应用的开发者在2022年依旧面对的难题是,“即便最终做了选择,面对上千页的开发手册,学习和开发门槛都很高。”

与云端AI面临的挑战类似,边缘和端侧AI软硬件的成熟度以及软硬的融合很大程度上阻碍了AI的普及,降低AI开发门槛,提升通用性成为了AI普及的当务之急。

当然,技术挑战还不是卡住端侧和边缘AI普及的唯一原因,商业层面也面临诸多挑战,比如应用场景众多,如何在众多的应用场景中形成一个良好的商业闭环?如何让传统行业也能轻松用上AI技术?

这其中,非常关键的一点就是提供打动消费者的使用体验。曾经火爆一时的智能音箱已经证明,不佳的使用体验只会让消费者迅速对新技术感到失望。要实现良好的AI产品用户体验,多传感器融合以及多种AI技术的应用成为了未来的发展方向。

那么,云边协同能否加速端侧AI普及?

端侧AI的三道槛

在智能音箱爆发的2018年,智能音箱里并没有用于实现AI功能的专用芯片,AI的算法也并不成熟,再加上整个行业的低价恶性竞争,体验不佳的智能音箱让众多尝鲜者很快放弃了这一AI“爆品”。

端侧ai是什么

智能音箱非常好地反映出了端侧AI普及面临硬件、算法以及应用需求多样的三道槛。

这一次AI的浪潮得益于深度学习技术的发展,新的AI算法对算力提出了更高要求,促进了众多设计专用AI芯片公司的诞生,2016年左右涌现了大量AI芯片公司,这些公司的产品在2018年左右陆续推出。

2018年推出全球第一颗量产RISC-V商用边缘AI芯片,并出货了上百万颗芯片,2021年推出第二代AI芯片勘智K510的嘉楠科技对于AI的发展和应用颇有感触。

嘉楠科技副总裁汤炜伟对雷峰网表示,“我们的第二代勘智K510的AI算力已经达到3TOPS,AI的硬件正在通过迭代成熟,工具链依旧有比较多的挑战。”

端侧ai是什么

芯片的工具链很长,大体上可以分为前端和后端,前端的工具链主要做算法的优化,比如压缩、融合等,后端的工具主要负责调用芯片。

运行于芯片上的算法,则是边缘和端侧AI普及的第二道槛。

“针对端侧AI的算法太少,这直接导致了许多AI硬件没办法用起来。”一位AI从业者如此看待AI算法与AI普及的关系。

汤炜伟认为,“这个说法有道理,但不全面,算法肯定是影响最终效果和体验的因素,但算法不够好可能是因为应用场景太小没人愿意投入,或者那个场景的数据难以获取,增加了算法提升的难度。”

“AI算法从实验室环境到实际应用有非常多的挑战,在真实场景中AI算法很容易受到各种环境的影响。我认为边缘侧AI的算法可以分为三类。”汤炜伟表示。

一类算法是通用算法,比如图像检测和分割算法;一类是场景算法,比如人脸识别、人体姿态算法;还有一类是定制算法。

“AI算法的应用范围越窄,在具体的场景中就越精准,效果更好。但同时也意味着它可能会导致用户群体和体量更小。”汤炜伟认为。

边缘和端侧AI硬件和算法向前迭代的时候,就会遇到普及的第三道槛——应用多样,需求不同。

从AI语音到AI视觉,从单传感器到多传感器融合的智能硬件,从工业到农业再到智能家居,边缘AI的一大特点就是应用场景丰富,不同的应用场景对于芯片的性能和功耗,对于使用的算法的类型和精度,以及使用的场景都大不相同。此时,如果有一个通用的AI解决方案,将有助于AI的普及。

不过,汤炜伟认为,“短期内比较难有通用的AI解决方案,因为AI的算法还在不断迭代。另外,端侧和边缘的AI硬件采用的是ASIC专用芯片,并没有统一的标准,实现通用的AI解决方案难度比较大。”

实际上,边缘和端侧AI产品的开发当务之急是解决产品开发门槛高的问题。

云边协同是AI普及良药?

“十几款可选的AI芯片,每一种芯片的工具链都不一样,学习其中一种的门槛就很高,如何才能快速开发出AI产品?”这是AI开发者共同的难题。

芯片的选型无论对于中小型公司还是大型公司都是一个挑战,中小型公司支持两三个平台就已经非常吃力了,大公司有能力投入进行细致筛选,但周期很长,要选出一个能够长期合作的合作伙伴的难度也很大。

但无论选择哪个硬件平台,开发的门槛客观存在。因为端侧和边缘AI设备的开发涉及嵌入式开发的AI开发,懂嵌入式开发或者AI开发的工程师本来就很少,更别说既懂嵌入式又懂AI开发的人。

这就非常考验芯片公司的工具链和软件平台,有更加容易上手和高效的工具链实际上是所有AI芯片公司的核心竞争力。

“我们做软件工具链的时候利用了开源的优势,嘉楠AI芯片的SDK和应用实例的各种软件都已经开源,开源的好处在于新客户可以直接看详细的文档,大大降低了客户的使用难度,也降低了我们支持客户的难度。”汤炜伟说,“开源也有利于大家一起协作创新。”

据雷峰网了解,一个公司评估了市场上四五家AI芯片的产品,最后因为工具链以及算法损失精度更小选择了与嘉楠合作。

据汤炜伟介绍,嘉楠有自己开源工具链的沟通群,一群长期稳定做软件工具链的人能够方便的在群里沟通,反馈问题,这对他们提升工具链有很大的帮助。

好用的工具链确实能降低开发难度,但对于许多缺乏开发能力的开发者,更低门槛的云边一体的解决方案或许是更优的选择。

“今年上半年,我们合作伙伴的客户说想要做一个云边协同的应用,三方一拍即合一起做了一个大型的AI云边协同应用。”汤炜伟说。

这是一个海上渔船监测系统的云边协同AI解决方案,海上渔船本来就装有一些包括摄像头在内的多种检测渔船状态的传感器,会接入边缘网关进行数据处理,但由于渔船长期在海上,网络信号并不稳定,难以远程即时了解渔船的状态,渔船上的传感器也不能协同实现一些智能化的功能。

嘉楠联合AWS、智次方和客户,给每艘渔船安装上了基于K510的产品作为智能边缘网关。有了这个智能边缘网关,渔船上的摄像头采集的视频图像就能借助K510的AI能力,进行本地图像分析处理,对船员作业情况进行统计分析和识别,如果算法模型或者系统有迭代更新,可以在云端方便的控制进行更新。

同时,勘智K510上集成了AWS IoT Greengrass组件,可以简化整个系统的部署和管理,即使整个系统管理的船只规模变大,行驶在不同的海域,通过云端管理平台,都能及时的掌握设备的运行状态,实现实时监测系统的整体运行情况。

汤炜伟说,“传统的AI应用受限于终端的计算能力和网络条件,往往部署在云端,无论是处理及时性,还是系统运行成本,都有其弊端。随着技术的进步,采用边云协同的方案,可以充分利用云端灵活的管理系统和边缘端不断强大的计算能力,做到鱼与熊掌兼得,正成为很多应用场景的优选方案。”

rtx3090对比3080

端侧ai是什么

云边协同对于AI普及更重要的价值在于,“我们和AWS的合作已经搭建好了一套云边协同的方案,已经提前做好了前期的开发和测试,客户在使用的时候就像‘搭积木’一样方便,除了海上渔船的应用,有许多客户也计划采用我们的云边协同的方案。”汤炜伟指出。

云边协同的AI解决方案对于包括像渔船、农业等传统行业应用AI展现出了极大的价值,对于助推边缘AI的普及,以及推动AI在更多领域的创新,都是一个显著的推动力。

接下来的问题是,端侧AI的机会在哪?

下一个端侧AI的爆款产品

端侧AI的上一个爆品,还是年出货量不到5000万的智能音箱。智能音箱之后,一直没有看到端侧AI的新爆品。

“端侧AI的竞争实际上非常激烈。”汤炜伟说,“之所以智能音箱之后没有现象级的单品,主要还是出货量的级别不够大,智能手机一年出货近14亿部,智能音箱高峰时候一年不到5000万的出货量,与智能手机相比差距很大,但相比许多终端AI产品的出货量已经很高。”

目前看来,扫地机器人可能有智能音箱的趋势,一年的出货量可以达到2000-3000万台。

汤炜伟也同时指出了未来边缘和终端AI智能产品的走向,他认为未来许多场景的AI产品不会只是用单纯的视觉或语音方案,将会是多传感器融合的产品,就像现在的智能门锁一样,既有指纹识别,也有人脸识别,还能用密码,这将是未来AI边缘和AI产品发展的趋势,智能家居的产品也将受益于智能手机和安防技术的下沉。

当然,更好的云边协同,也将让更多行业和公司用上AI技术。“将来会有更多行业或者有应用场景的公司加AI能力解决实际问题。比如手机制造商,他们想做好摄影,就加入AI的算法,实现了比较多新的AI功能,实现了差异化。或者我们和亚马逊合作的海上渔船监控的解决方案。”汤炜伟说。

AI是需要和场景进行结合的技术,能给传统的行业带来效率的提升甚至革命性的变革,也能创造全新的应用,这一进程正在加速。


返回网站首页

本文评论
抖音大投手:月赚3000万 广告狂人新时代「抖音新人推广」
图片来源 |AMC剧集《广告狂人》别墅、财富、小镇青年凌晨4点,杭州,近300方湖景大平层,护眼灯已经连续发出超过72小时的暖光。26岁的姑娘王雨倚坐在全实木办公桌前,目光流转于三...
日期:08-25
b站现状原视频_早该把B站打回原形了
作者|黄青春当 B 站游戏业务“换血”的内部信在社交平台不胫而走时,人们不会想到陈睿再次以这样戏剧性的方式回归一线;人们更想不通,占尽天时、地利、人和的 B 站如何一步步沦为...
日期:11-17
到底发生了什么?“币圈茅台”创始人被批捕!「茅台区块链币」
2022年9月14日,韩国法院向加密货币LUNA的主要开发者发出逮捕令。到底是咋回事呢?加密货币LUNA素有“币圈茅台”之称。但在2022年5月,LUNA币出现暴跌,短短一周,价值跌去99.99%,近乎...
日期:09-18
幻核是腾讯的吗_腾讯“幻核”将关闭  上线未满一年
  【ITBEAR科技资讯】7月21日消息,2021年8月2日,腾讯“幻核”平台上线,是中国最大的数字藏品平台之一。幻核隶属于腾讯PCG部门的创新业务。马斯克为何造特斯拉  然而,在不到...
日期:07-31
Steam 客户端现已上线 ChromeOS 108 Beta 版,距加入正式版再近一步
  11 月 4 日消息,随着玩家呼声越来越高,Steam 客户端终于进入 ChromeOS Beta 版,离加入正式版系统更进一步。此外,新系统更新还提升了 Steam 的兼容范围,可玩游戏也达达到了...
日期:11-08
格力核心经销商倒戈 董明珠回应_董明珠为什么去格力销售
原标题:格力核心经销商倒戈 董明珠回应:不志同道合的人离开正常10月13日消息,据老板联播报道,今年以来,核心经销商“倒戈”事件频频将格力电器推上风口浪尖。董明珠在接受采访时...
日期:10-18
叮咚买菜 每日优鲜 区别_叮咚买菜会步每日优鲜后尘吗?
作者 | 李欣彤每日优鲜暴雷的巨震余波未散,被波及的各色玩家中,叮咚买菜是离得最近的那一个。为了与跌入谷底的同行划清界限,叮咚买菜CEO梁昌霖在财报电话会上公开表示,非常不赞...
日期:08-24
把警告当耳边风 马斯克被爆强推付费认证导致推特失败_推特马斯克最新消息
凤凰网科技讯 北京时间11月15日消息,据科技新闻网站Platformer报道,就在埃隆·马斯克(Elon Musk)准备推出售价8美元的蓝V付费认证服务Twitter Blue之前,推特内部团队已经警告他...
日期:11-28
大盘冷到冰点 北美也等《阿凡达2》救市
进入12月,由环球发行的R级动作片《暴力之夜》开画突破千万美元。《暴力之夜》由托米·维尔科拉执导,讲述了一个与常见合家欢式电影迥异的圣诞故事:一支佣兵团队在圣诞夜突袭一...
日期:12-16
显卡挖矿_币圈矿难 显卡过冬
“现在显卡回归到正常价了,它也没什么作用了。”吕桓任职于某互联网公司,工作之余则是一位游走在二级市场的显卡中间商。国货品牌手机过去两三年,靠着倒卖显卡这项副业,他一度望...
日期:10-14
谷歌Chrome104正式版发布:CPU占用更低了_chrome cpu占用高
  距离上一个稳定版v103过去六周后,谷歌今日发布了Chrome 104正式版。  谷歌提到,管理后台页面加载的省流计时器可以获得标志性削减,这将在不影响浏览器访问速度的前提下,减...
日期:08-04
储能行业深度报告:开启下一个万亿大市场_万亿规模的储能行业:迎来历史性拐点?
文:Apple编:祺然随着双碳目标的持续推进,新能源产业得以快速发展,与之相关的行业也随势进入历史新阶段。今天,我们重点讨论储能行业。何为储能?根据百度百科的解释,储能是指通过介...
日期:10-03
小爱同学推出朗读屏幕功能「小爱同学推出朗读屏幕功能怎么关闭」
  9月29日消息,小爱同学是小米开发的个人智能助手,今天官方宣布上线朗读屏幕功能。根据介绍,语音或按键唤醒手机上的小爱同学,打开朗读屏幕功能,可以解放双手和眼睛。买羊的广...
日期:10-01
飞信是中国移动的综合通信服务_飞信转型作落幕!中国移动宣布“和飞信”9月停止服务
  2018年,中国移动正式宣布,推出飞信的转型之作,主打通讯与协同办公的“和飞信”业务。  近日,中国移动发布公告,宣布和飞信业务将从9月30日开始停止提供服务,届时用户将无法...
日期:07-31
90的黑巧克力很苦吗?_2万元测9款黑巧克力,是不是越贵越苦越减肥?
凰家评测 凤凰网科技 凤凰新闻客户端 出品如何在ipad上用灵动岛黑巧克力是一种现在颇为流行的零食,经常被冠以「健康」「减肥」的名头。那什么样的巧克力可以算作「黑巧克力...
日期:12-10
美国大厂纷纷裁员,互联网的故事要结束了吗?_大裁员的背后
【文/观察者网专栏作者 冷哲】几个月前马斯克宣称要收购推特开始,就好像推倒了第一块多米诺骨牌,后续的发展变得愈发剧烈了。最近一两周,推特的大裁员才刚刚落幕,Facebook的大裁...
日期:11-20
淘金TikTok “交个朋友”有些野心「tiktok社交」
文|王亚琪编辑|斯问没有人不眼红Tiktok的流量,但第一批盯上“流量红利”的人,已经开始学会保持“警惕”。这种警惕来自过去一年多时间的摸爬滚打——如果你在2021年选择入局Tikt...
日期:12-12
躁动图计算:蚂蚁和字节们想找到“幻视”额头上那颗宝石
在美剧《国土安全》里常出现这样的桥段:警员在自己家里理出一面墙,把手上案件里的所有关联人物和事件都贴在墙上,然后就是一个填肉的过程......照片、箭头和关键词组成一幅复杂...
日期:09-17
ios14.0.1微信闪退_微信iOS版8.0.24发布:iOS 16测试版终于不闪退了
  日前,微信iOS版8.0.24正式发布,除了新增缓存分类清理等功能外,还对iOS 16测试版进行了适配。  根据iOS 16 Beta2用户反馈,在8.0.24版本中刷朋友圈或是看订阅号等内容时,不...
日期:03-12
第一个倒闭的银行_为啥要救倒闭的银行?现在的诺奖得主40年前就给出了答案
前两天,本 · 伯南克( Ben S.Bernanke ),道格拉斯 · 戴蒙德( Douglas W.Diamond )和菲利普 · 戴布维格( Philip H.Dybvig )三个人共同夺得今年的诺贝尔经济学奖。根据官方说明,这次...
日期:10-14