WAIC丨云天励飞陈宁：大模型落地迈入“深水区” 边缘AI或是最优解

7月5日,由中国信息通信研究院承办的WAIC2024“迈向AGI:大模型焕新与产业赋能”论坛在上海成功召开。论坛深度聚焦大模型行业应用落地、终端智能、大模型安全等前沿热点话题。云天励飞董事长兼CEO陈宁博士受邀发表主题演讲,首次展示云天励飞边缘AI的战略全貌。

大模型落地的多重挑战边缘AI提供解法

今年WAIC上,“大模型+行业”的应用落地成为关注热点。

当前,云端大模型落地行业面临许多挑战:行业数据缺失,信息反馈缓慢,长尾场景无法覆盖,模型幻觉等。大模型应用落地进入“深水区”,上述难点如何应对?云天励飞的答案是:边缘AI。

云天励飞董事长兼CEO陈宁博士

边缘AI具备三个特点:更低成本、更好的数据隐私保护以及更快的响应速度。

近年来,越来越多行业巨头开始拥抱边缘AI:一方面,谷歌、微软、Meta包括云天励飞都推出了轻量化大模型支撑边缘AI的应用;另一方面,苹果、英伟达等巨头推出边缘AI芯片,应用在AI手机和机器人上,云天励飞也在2022年底推出DeepEdge10系列芯片,支撑边缘端的大模型运行。

此外,边缘AI让物联网升级成为AIoT,助力大模型落地。国泰君安证券研究所数据显示,随着AIOT的发展,未来3年边缘智能硬件设备将保持50%以上的复合增长率。

从行业发展趋势中可以看到,边缘AI正在加速到来。

在应用落地层面,边缘AI分为个人、家庭、城市三类场景:

在个人领域,搭载了边缘AI的各种3C设备让每个人都能拥有一个AICopilot,AI服务随手可得;

在家庭领域,边缘AI让以服务机器人为代表的各种智能终端主动完成家庭任务,成为每个家庭的生活助手;

在城市领域,边缘AI赋能下的千行百业实现无数场景的价值闭环,如公共安全从“被动治理”到“主动预防”,城市治理实现从发现、分拨到处置、上报的整体闭环等。

未来,边缘AI将渗透至物理世界的各个角落

在演讲中,陈宁博士提到,边缘AI的发展可以分为四个阶段:

第一个阶段是在边缘设备上搭载小模型算法,让边缘设备具有处理简单任务的能力,比如在摄像头中加入车辆识别、人脸识别等算法;

第二阶段是视觉语义大模型走向边缘,代表的产品有AI手机、AIPC等,这也是我们当前所处的阶段;

第三阶段是端到端行为大模型走向边缘,在这一阶段,各类机器人、智能可穿戴设备将变得随处可见;

第四阶段是通用人工智能时代,届时我们将进入万物皆智能的世界。

云天励飞边缘AI布局全景

基于当前边缘AI的发展趋势和多年的技术积累,云天励飞制定了"2+3+3"边缘AI的战略布局全景,即2个技术平台——多模态大模型、NPU加速计算平台;3类主营业务——智能硬件、智算运营、智慧行业;3个应用方向——个人Copilot、家庭Copilot、城市Copilot,助力边缘AI渗透至物理世界的各个角落。

入选信通院2024大模型典型示范应用案例数字政务大模型落地实践

在本次论坛中,中国信息通信研究院发布了2024大模型示范应用案例,“云天天书”数字政务大模型荣列其中。

云天励飞提出“E-MAGIC”政务大模型服务框架,集成数据交易平台、AIGC内容生成平台、数据加工及分析平台、GPT大模型训练中心、输入提示工程中心和算力支持六大核心组件,利用前沿的AI技术和大数据处理能力,为政府部门提供高效的数据服务和智能化解决方案,提升日常办公的效率及服务质量等。

云天励飞“E-MAGIC”政府大模型平台架构

此外,云天励飞在某区全面落地的数字政府大模型,实现了基层工作“大减负”:比如在12345系统,过去人工根据权责清单进行点选和事件分拨最快也需要15秒,在应用大模型后3秒后即可实现智能分拨,无需人工参与,还能避免误操作,效率提升达到80%。

在今年的WAIC上,“大模型+行业”成为趋势,如何让大模型作为新质生产力赋能千行百业是政府部门和企业都关心的问题。在这个过程中,云天励飞将持续深耕,不断创新,推动边缘AI与物理世界的融合,加速推动大模型行业落地。