(资料图片) 高通近日发布AI白皮书称,混合AI是AI的未来,将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。此外,混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。(图源:高通中国官方微信公众号)据高通混合AI白皮书,在混合AI场景中,边缘大模型是云端大模型的感知器官,例如用户对手机说话,自动语音识别(ASR)AI模型如Whisper在设备上转换语音为文本,发送到云端,云端运行大模型,回发文本答案。在进阶版本中,设备AI更进一步保护隐私,承担更多处理,提供更个性化的提示给云:通过设备学习和个人数据,设备创建用户个人形象,与调度程序协作,基于上下文提供更好的提示;例如,用户要求手机预约和朋友在最爱餐厅吃饭,对简单查询,较小的大模型可在设备上运行无需云交互,如果用户需要复杂信息,则本地将需求转化为提示发给云端大模型并返回详细答案。高通指出,随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。混合AI策略适用于几乎所有生成式AI应用和终端领域,对推动生成式AI规模化扩展,满足全球企业与消费者需求至关重要。中信建投阎贵成等人6月15日研报表示,AIGC大模型及应用爆红,拉动算力需求。在万物互联大部分场景中,云端处理存在时延较长、成本较高、并且涉及数据隐私等问题,边缘AI算力的引入至关重要。我们认为未来AI算力将综合考虑硬件能力、成本等因素,以混合AI的架构,在边端和云端灵活分配。据了解,混合AI指的其实是云端和设备端共同处理AI计算,借助设备端的即时感知、即时处理优势,来填补云端AI在延迟方面的短板,同时还通过云端的超高算力,来弥补端侧AI性能的缺憾。高通中国区董事长孟樸表示,混合AI势不可挡,助推AI规模化发展。在孟樸看来,从过去20年AI的发展,到最近大语言模型的发展、交互式AI的发展,所有这些都推动了整个产业的快速发展。可以看到,人们使用的电子设备,不论是手机,还是冰箱、彩电等,越来越多地实现了智能化和网联化,所有这些终端产品都产生了大量的数据,而且都具备情景感知的特点。据财联社不完全整理,在混合AI领域有所布局或有所合作的A股上市公司包括江南化工、天准科技、首都在线和优刻得等,具体情况如下:江南化工持有北京光年无限科技有限公司12.91%股份,根据北京光年科技公司的介绍,“智娃”产品支持硬件系统耦合,即支持本地内容资源的调用、支持离在线混合AI计算架构(该架构可明显提升AI响应时间等)。天准科技是英伟达Jetson金牌合作伙伴,是Jetson在国内最大的NPN(NVIDIAPreferredPartner)合作伙伴;天准科技基于英伟达Jetson和地平线J5平台面向AMR移动机器人、自动驾驶、智慧交通、首都在线提供边缘侧的推理算力支持AIGC应用,针对GPU服务器的特殊性,自研了管理芯片及配套的管理系统,搭建了面向ChatGPT行业的泛渲染异构算力公有云平台,新一代算力平台可为ChatGPT类人工智能应用提供算力、算法、云渲染等技术服务,已为国内多家涉及人工智能类客户提供服务。优刻得是国内领先云服务提供商,根据客户实际业务需求,可以为AI客户提供CPU/GPU算力资源和服务,以公有云、混合云等不同模式满足客户的多样化使用场景需求。 |
标签:
|关于我们 |联系我们 |网站地图 |广告服务
Powered by www.zbce.cn 中部财经网
© 2013-2017 联系我们:55 16 53 8 @qq.com