大发24个小时精准计划

生成式AI大火,终端+云端才是真未来?

2023年科技圈最热门的技术是什么? 毫无疑问,相信大多数用户都会回答——AI。

Chat GPT的到来引发了业内外的广泛讨论,也引发了对AI发展的新一轮思考。 目前全球各大科技公司都在积极布局大规模AI模型,但现实情况是大家的注意力仍集中在云端。 相比之下,终端侧AI的发展显得有些落寞。

当前,人工智能正朝着深度学习能力的方向发展,这对计算能力提出了更高的要求。 尽管终端侧对算力的要求略低,但面对越来越复杂的计算,仍然需要终端拥有更强大的AI。 计算性能。

作为终端侧人工智能的领导者,高通一直在积极推动终端侧生成式人工智能的发展。 目前,高通AI技术(硬件、软件、工具)正在赋能包括智能手机、XR、PC、平板、汽车在内的部分终端产品。

6月16日,高通正式发布《混合AI是AI的未来》白皮书。 在这份文件中,高通不仅分享了对当前AI发展态势的一些看法和对发展趋势的预测,还明确了自己的AI发展路线—— AI是AI的未来。

生成式AI大火,终端+云端才是真未来?

高通认为,随着生成式人工智能正以前所未有的速度发展,计算需求越来越大,人工智能处理必须分布在云端和终端,才能实现人工智能规模扩展,发挥最大潜能; 智能手机、汽车、PC 和物联网端点等云和边缘终端协同工作,以实现更强大、高效和高度优化的 AI。

在技​​术交流会上, 产品管理高级副总裁Ziad向我们展示了在终端侧AI方面取得的进展。 以智能手机为例,目前高通在终端侧能够支持超过10亿个参数的模型。 它正在运行,未来几个月,这个参数有望突破到100亿,包括从文本生成图像,从文本生成文本,从文本生成视频,甚至从图像生成文本,从图像生成视频。

与云端AI相比,高通的解决方案可以在智能手机上完成,在全飞行模式下,仅需15秒即可完成20步推理,生成细节丰富的图像。 以下是一些值得关注的点。 一方面,当生成式AI用例完全在终端侧运行时,用户的数据会一直保存在终端上,也可以在没有互联网连接的情况下运行。 不仅安全隐私得到极大保障,终端设备还可以提供非常丰富的应用体验。

另一方面,它的处理速度非常快,我们看到也就十几秒,但是它需要的功耗和计算量比云端处理要低很多,尤其是功耗,只有几毫瓦。

另外,云处理器上的训练模型一般采用32位浮点运算,高通采用8位整数运算(INT8)。 不过,去年年底,在第二代骁龙8移动平台上,高通进一步支持了4位整数运算(INT4)能力。 与 INT8 精度相比,INT4 带来了 90% 的 AI 推理性能提升和 60% 的能效提升,使得第二代骁龙 8 在自然语言处理用例中实现了 4.35 倍的 AI 性能提升。

生成式AI大火,终端+云端才是真未来?

如今,高通的人工智能能力正在赋能多种产品。 同时,利用高通AI软件堆栈,开发者可以在高通的硬件上创建、优化和部署AI应用。 并将经验应用到采用高通技术和平台的其他产品,加速推进混合人工智能成为现实。

true 2010年中关村在线科技圈最热门的技术是什么? 毫无疑问,我相信大多数用户的答案都会指向人工智能。 Chat GPT的到来引发了业内外的广泛讨论,也引发了对AI发展的新一轮思考。 目前全球各大科技公司都在积极布局大型AI模型,但现实情况是大家的注意力还集中在云端。 相比之下,终端...

本文地址:http://zixun.gpbctv.com/zixun/202306/737340.html

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除。

您可能还会对下面的文章感兴趣: