网站首页

产品中心

智能终端处理器 智能云服务器 软件开发环境

新闻中心

关于PG电子

公司概况 核心优势 核心团队 发展历程

联系PG电子

官方微信 官方微博
主页 > 产品中心 > 智能终端处理器

全息AR仍处萌芽期长期前景诱人

发布时间:2023-12-01 15:00浏览次数: 来源于:网络

  要实现“凌空虚指”的交互效果,不但还需突破终端、显示和交互三大底层硬科技技术突破,还需要“端、管、云”一体化的高度融合。

  全息显示技术又称虚拟成像技术,即在实景半空中呈现三维物体影像。其利用干涉原理记录物体光波信息,当采用激光辐射物体,物体将形成漫射式的物光束,部分激光与刚形成的物光束产生干涉,记录干涉条纹的底片经过特殊处理形成全息图;再现原物信息需要将得到的全息图进行激光照射,激光的强相干性使其出现原始象和共轭象,即利用衍射原理得到三维全息图像,这是公认的未来实现3D显示最为理想的技术。

  不同于其他传统的3D显示技术,全息显示无需依赖任何外部设备(3D眼镜、头盔),注重在稀薄的空气中成像,裸眼观察“悬浮状”幻象,“凌空虚指”进行触控交互。而裸眼3D技术是利用光栅原理,虽然效果与全息显示技术无异,但其对距离和角度有严格要求,且容易造成眩晕及左右眼画面不一致的现象。比较而言,全息显示技术具备了无视角限制,全方位查看与实物无异的优势,能够与空中成像进行深度交互,这是触控感应交互的一大新突破,满足了人们对自然真实、三维视觉效果的追求。

  日常人们在演出场地体验到的裸眼全息观感实际上是佩珀尔幻像。这是一种“伪全息”显示技术,与真正的全息显示技术生成的视觉效果十分贴近。其本质上是光学错觉技术,是舞台演出场合博取眼球的“戏法”。其原理是在舞台上放置呈45°角度的投影载体,演出者在指定区域经过投影至载体表面形成反射图像进入观众视野。

  2001年Mylar膜(全息膜)问世,其成本低廉、呈现效果清晰、颗粒感较弱,因而迅速成为了绝佳的显示载体,且迎来了应用大潮。例如打破次元壁的“初音未来”虚拟人物登上舞台,以及重现邓丽君演唱画像、实现跨越时空的同台演唱等,均采用了全息膜投影的方式。除了以“膜”为介质之外,还有水幕、烟雾等等,但都存在观感不佳或短暂成像的问题。以下三种较为前沿的空气成像技术仅停留在实验室研究阶段。

  由此可见,全息显示技术发展阻碍点在于该技术的一大瓶颈--介质尚未突破,全息显示技术因无法克服空气成像(摆脱对空气以外介质的依赖)缘故而止步不前。空气介质难以成像是由于物体成像基于光在物体上的反射或折射进入人眼,而光在空气中具有很强的穿透性,空气中只有少量灰尘颗粒能够将小部分光线散射进入人眼,发散的光无法成像。而要想汇集光线,需要依赖具有负折射率性质的材料界面,物体在界面另一侧实现成像。因此汇聚光线、实现光场重构是未来的主要研究趋势。

  除此之外,人与悬浮图像的直接交互技术也是后续将面临的难关。即便抛开技术层面,其仍有数据量、计算量大,成本高等痛点,距离真正意义上的“凌空虚指”还有大段征途。

  未来,当全息触控交互技术正式落地,每个人如同拥有了一扇“任意门”,即刻能通向心中的目的地。人们只需在室内使用设备进入新场景,新场景或是现实世界里的地区,或是虚拟游戏世界,以各自的“分身”全息投影影像进入场景,拥有“瞬移”技能。还可以对影像的角色进行换装、任意更改发型等。挥动手掌便可在空中放出数字显示面板,手指能在面板的任意位置滑动、点击,凌空从界面中抽取出实体摄像头进行拍摄或在面板上搜索读取资料信息,这些特征将直接取代手机的功能。

  此外,在新场景中人们的影像可以相互交谈对话,异地同屏,穿戴上触觉装备还可握手与拥抱,人们像是生活在两个世界之中。从2020年马云、马斯克已运用全息投影技术同台现身世界人工智能大会的“云会展”来看,“全息”概念已极具想象空间,未来其核心竞争力与取代力将有目共睹。

  全息AR目前的应用空间以to B的工业领域为主,还涵盖小部分的to C文娱领域,在B、C端均处于由小众化市场向大众化市场渗透的阶段。面向群体为对价格不敏感的企业端用户,对标技术依赖程度高、资金充裕的行业。例如生物医疗、军用国防、汽车制造,营销广告等。其次,C端则尝试以通讯技术这一社交刚需作为突破口,促成市场高普及率。

  整个全息显示市场可按照产品类型、应用场景、地域进行细分,赛道广阔,呈现高速发展趋势。据映维网预测,全球全息显示器赛道市场到2020年将达到360亿美元。而据frost& sullivan 报告显示,全球全息AR赛道市场规模按收入指标计算,将从2016年的36亿美元增长至2018年122亿美元,并推测会在2025年创下总收入5052亿美元,且在未来5年的复合年均增长率软硬件均约高达68%,可见其未来市场空间不可限量。国际巨头在全息AR行业的市场布局主要关注AR显示设备,底层SDK平台和AI技术,例如苹果公司的AR kit以及谷歌公司的AR Core都是为AR专研的软件工具开发包平台,国内市场则更关注其软件应用程序的开发。

  国内全息AR市场相较于国际市场发展缓慢,但细分赛道众多,市场蓬勃飞升指日可待。由横向比较从2016年经汇率换算为3亿美元,占全球市场规模的8.3%到2020年预测34.2亿美元,占全球市场规模的9.2%,增速较缓。而进行纵向比较,国内市场规模由2016年的3.13亿美元增长到2018年的10亿美元,两年的增长率高达220%。而据推测其爆发性增长阶段将以2020年为起点,且在今后5年内不断攀升,形成增量市场。

  全息显示技术被视作是3D显示技术的重要里程碑,但其在终端智能硬件上还存在着巨大的技术挑战。全息显示设备主要是全息显示器,与AR\VR适配的则有头戴式显示器、全息AR智能手机、平板电脑。理想化全息显示器对于像素大小的要求是小于1um,也就是能在一个尺寸较为合理的显示屏上呈现几万亿个像素。如此庞大的数据量对网络要求极高,但目前整个3D成像产业的图像采集、处理、传输以及可视化到最终显示的各环节技术都无法满足其要求。并且现有本地处理能力难以支持高显示质量的实时全息显示。

  (1)由于传输内容的实时成像速度与观感的终极目标是像电影中呈现的触控自如,但现有高端GPU芯片的渲染能力还达不到理想状态,图像处理性能至少还需要提升7倍才能满足高像素填充率和画面流畅度。

  (2)本地计算的复杂度过高而当前服务器算力不足。近几年AI视觉计算算力需求猛增,摩尔定律推动芯片制程和性能的稳步提升,然而摩尔定律已经失速,发展先进算法将是大势所趋,但要保证其成本也在可控范围,目前阶段很难达到。

  (3)数据量的激增,终端计算性能跟不上。全息成像需要的数据速率远大于1Gbps,手机类终端屏幕动态全息的速率标准约为12.6Gbps,电视类终端屏幕则约为1.9Tbps,(bps即比特率)比特率决定着视频的清晰度,比特率越大,视频清晰度就越高,人眼基本上看不到像素颗粒。但这对服务器提出了更高的要求,响应时间要快,数据吞吐量就会升高。数据吞吐量大意味着服务器承受的压力更大。后端成千上万的服务器处理存储能力有限、价格昂贵,且不够稳定。因此高分辨率匹配的带宽稳定性与其成本之间的平衡是亟待解决的问题。

  云管端一体化是全息显示技术落地的初步突破口。首先云端的云计算拥有低成本的信息存储和计算资源能力,有着以低廉开销来解决海量信息处理的高性价比魅力,同时其低成本将降低下游的内容与应用创新门槛,利于下游端的生态构建。其次“管道”里的海量数据在高速流动,管道端的高带宽速度能实现毫秒级低时延,满足全息终端的实时性。管道端是指提供信息传输服务的通信网络,移动网络建设经历了从1G到5G的高速迭代,3G到4G经过了15年,4G到5G则是12年,显然时间间隔在逐渐缩短,随着5G商用化,2019年通信界巨头都已开始在6G上的研发,据预测6G将于2030年开始商用。对于全息AR而言,移动通信网络最低要求都要达到5G的标准,但高带宽速度会使得网络流量猛增,产生昂贵的数据流量费用,成本的兼顾仍是难题。

  最后,本地的芯片处理技术具备高级算法和建模识别能力以保证成像质量,先进算法的研发费用也造就了智能终端的价格高位。总而言之,全息AR的商业化进程要借助云管端一体化的技术合力,但当前还不具备强云端处理能力和高管道传输效率,成本居高不下,因此终端硬件处理能力成为其商业化道路的拦路虎。

  全息显示器包括显示部件和光学部件。目前传统的显示部件如LCD(液晶显示器)和LCOS(硅基液晶),其缩放范围、投影角度均受到制约,只能呈现较低的图像质量和狭窄视角。其中显示部件最关键的就是空间光调制器,空间光调制器特性与图像的显示效果有显著关联。空间光调制器的像素总数和刷新率决定了显示系统的空间带宽积,全息显示设备像素总数少导致空间带宽积受限,这将缩减空间光调制器所能呈现的数据总量,进而影响了三维图像的分辨率,导致重构图像的尺寸和视场角都非常小,且其硬件也仅支持小尺寸和较小视角的实时全息显示,最后影响显示效果。

  而在光学部件方面,全息光学元件是核心部件之一,其是一种感光材料薄片,由记录介质构成,或称为光栅介质。全息光栅光波导技术则是使用全息光学元件代替亚波长的刻蚀光栅来实现虚拟图像的引导。相较于传统光波导,其具有高透明度和衍射效率的优势,适用于全息AR显示设备。但该技术还未成熟,其仿真设计上需要多重光学理论来回运算且无法通过传统的光线追踪方式处理,元件的生产工艺要求确保纳米尺度结构的完美复刻,工序极其复杂,量产难度大。

  人类接受的信息70%来源于视觉,工业4.0离不开智能制造,智能制造离不开智能视觉。视觉交互指机器对光信号的感知能力,包括对信息的获取、传输、处理、存储理解的过程,但目前的视觉交互技术较为基础,嵌入式图像处理系统还存在芯片计算能力不足、存储空间有限等问题,不能满足运算量较大的图像处理。

  图像本身的采集速度、处理速度较慢,再加上新引入的深度学习类算法,加大了系统实时处理的难度,系统跟不上机器的运行节奏。此外,即便视觉芯片集成和高速图像传感器能够模仿人类视觉系统处理机制,解决视觉图像系统中数据串行传输处理的问题,但“图像传感器+视觉处理器”集成式芯片难以实现大规模量产。因而凌空触控的出现时间暂不明确。

  全息AR应用端内容定制化程度高,只关注全息AR部分特性,且未来应用空间也趋于特定场景,较为局限。从现有应用场景来看,全息AR在B端的应用空间小众化,均是对传统方式的颠覆,如若成本无法对标传统方式,其很难在已有的场景获得普及。在C端试图向大众化市场延伸的突出场景是全息AR游戏,但封闭式的全息AR游戏体验馆相当于游戏界奢侈品,即低频次消费品,单次体验价格昂贵且时长短,还留存了眩晕感等问题,仅能触达小众高端消费群体。

  全息AR游戏体验对环境和设备要求极高,场馆布置、硬件投影设备、感应交互装置价格总计百万元起步,日常需考虑设备维护开销,回本时间长。颇高的运营、管理成本支出使得少数承办的商家提升价格。尽管人们对于精神消费日益重视,但消费水平和经济实力约束了其在游戏上的过大开销投入。从宏观层面来看,整个游戏行业中已有三大游戏类型把握市场风向,分别是主机游戏、移动游戏和PC游戏。

  其中,移动游戏市场份额占比最高,其优势在于下载快捷、操作方便、随时随地且“零成本”。据艾媒咨询数据显示,2019 年中国移动游戏市场规模达1660.3亿元,预计2020年移动游戏行业市场规模将超过1800亿元。PS4、Xbox One和Switch引领的主机游戏实现足不出户的多人娱乐体验,虽然主机价格不低,但体验次数和时间完全不受限,体验内容可按个人喜好甄选。相比之下全息AR游戏既不具备成本低廉优势、也无法多次不限时体验、还需前往游戏馆指定位置,因而挤进现有的市场格局“分一杯羹”抢占份额的竞争能力较弱,多重因素阻碍了全息AR游戏的大众化道路。

  其次,全息AR行业目前欠缺产业链资源整合等多方面能力。下游端无法实现规模经济和量产,设备价格高昂,用户认知程度偏低,云管端一体化的协同还需要时间。

  在我国全息投影行业中,小型企业占到企业数量65.5%,中型企业占企业数量的21.8%,大型企业占比则为12.7%。创新型企业大批涌现,市场前景备受看好。

  创新型公司自主研发及创新能力将成为其在行业的立足之本,颠覆性的技术、专利成为其与龙头企业抢占市场份额的资本。然而并非所有公司深耕技术就能有回报,创新也意味着冒险,存在颗粒无收的概率,国际龙头企业在这方面或许缺乏创新动力。例如苹果、微软、索尼、Google、三星等,均已形成了既定业务营收来源,维持现状也能保证收益稳定。微软专注于软件开发,Windows系统、Office、X-box等业务盈利能力强劲,而Google专注平台,提供操作系统。这些企业的原有业务创收丰厚,在全息AR领域暂时只进行初探。

  是一家总部位于美国加利福尼亚州的初创公司,其获取了光学平台专利,并致力于开发增强现实(AR)设备的显示器,为原始设备制造商(OEM)提供了面向劳动力和消费者市场的一套可定制、低成本的AR眼镜解决方案,并在C轮融资中筹集了5000万美元。Digilens的投资者包括UDC Ventures,三星风司,Niantic Labs,索尼创新基金,三菱化学控股公司等。三星风险投资公司在2020年增加对DigiLens的投资,其首先参与了C轮融资,并再次通过“可转债”投资工具进行投资。DigiLens首席执行官Chris  Pickett认为,这些合作伙伴关系为公司提供了良好的生态系统,使他们的产品能够以各种不同的形式进入显示市场的各类细分赛道。

  DigiLens主要产品是全息波导显示器,显示器突破性的架构允许多路衍射光学结构的多路复用,集成压缩光路,缩小镜片外形尺寸,扩大视场角(FOV)并且其研发的光敏聚合物技术及高性能晶体波导能显著降低AR显示设备(智能眼镜、头戴显示器)成本,简化工艺生产。其专有光聚合物与低成本全息接触复制工艺制造光学元件的这一过程使得AR眼镜的零售价格将低于499美元。市面上AR眼镜价格范围在1000美元-5000美元之间,DigiLens拥有了比市场上的其他AR解决方案更具成本效益的优势。借此与国内领先光学元件制造商水晶光电达成合作伙伴关系,推动设备量产、进入中国市场并进行亚洲布局。

  是一家智能材料光电公司,致力于改变人们使用光的方式,从光中更多受益。Metamaterial Inc.公司最初于2011年成立,其核心业务之一是利用光学技术开发全息AR产品。META的全息光学元件 metaVISION基于定制设计的光敏聚合物,适合通过层压、热成型、注塑成型和铸造进行产品集成。根据AR设备的核心是将真实世界的光线与虚拟世界的数字信息重叠的光学组合器,Meta公司设计了一款在AR眼镜和透明显示屏中作为光学组合器使用的定制体积全息图。其专有的光敏聚合物和先进的记录方法能够制造一种光学组件,组件具备以薄、质量轻、低成本的塑料薄膜来复制庞大、质量重的透镜和反射镜的光学性能,还能用于开发新型全息光学元件。应用于汽车和航空工业领域的平视显示器,以及新兴的城市建筑的透明显示屏中,在2020年的第一季度,公司全息技术的研发收入达到344453美元,相当于2019年同季度的收入翻倍。

  LMX-001是一款近眼全息波导显示器,用于定制化硬件的集成。这意味着索尼作为开发工具包的提供方,后续让开发者定制他们所需要的AR硬件和软件解决方案。产品纤薄轻巧、图像呈现明亮清晰、可快速批量生产。它结合了占用空间小和视野清晰的优势,成为理想化的工业全息AR设备。英国Imagination Factory团队使用Sony 的LMX-001全息波导显示器开发了世界上第一个带有全息显示器的泳镜解决方案。该解决方案称为Swim AR,它可固定在常规的护目镜上,为游泳者提供实时的训练数据,例如时间、距离里程,分段。团队计划为Swim AR进行小批量生产,市场反馈良好。

  此外,早在2017年中期索尼就已向美国专利商标局申请了全息显示屏专利。此全息显示屏使用光发射器及大量能够高速移动、倾斜的微镜来加强光的反射。在无需佩戴任何设备的情况下,发出的光会经过调制后在人体左右眼形成不同的图像,形成三维效果。显示器还配备了眼球追踪技术和脸部识别用来确认直视全息屏幕的人数,摄像头与光学传感器用于计算玩家到屏幕的距离,同时微镜能不断的调整图像来保证移动中的玩家视图稳定。其兼容设备包括索尼自身的PlayStation,微软(Xbox)和任天堂(Switch)以及AR/VR头戴显示器。上述现象还只是设想,期待在未来能够实现产品落地。

  2018年底,三星电子向美国专利商标局申请了“三维成像设备及其电子设备”专利。其原理为三个主要组件:全屏显示器、半反射镜和反射元件将呈一定角度放置,当智能手机放入专用的扩展坞中,智能手机屏幕(全屏显示器)的图像会显示在半反射镜上,通过反射元件将图像反射,最终由投影显示器投射到空中。实现空中投影的显示器搭载了中继透镜,中继透镜囊括了一系列微透镜并集成了空间光调制器(SLM)和滤光器,通过光线干预,使系统投影高质量的全息影像。Samsung Galaxy智能手机的相机带有图像传感器,用于确定用户的距离,根据用户相对于扩展坞的位置来调整图像,当全息影像离人较远,则文本或其他内容将放大显示。距离越近,投影将自动缩小。

  苹果公司在2019年9月提出一项应用于AR头戴显示器的专利。开发该专利的关键是为了消除“调节性辐辏”问题,即虚拟对象布满视野环境,而没有考虑使用者期望的景深水平,在某些情况下,这种视觉冲突会导致眼睛疲劳、头痛和恶心。因此苹果公司提出使用“反射式全息合成器”来达到同样的目的,即在向AR设备元件反射光线的同时允许环境光的穿过。

  全息组合器与光学引擎一同使用,向组合器的指定点投射光线来再现场景。该光学引擎包括多种图像投影系统,例如激光二极管,Led和其他用于人眼视网膜中央凹及外围投影的仪器。这些投影仪器配合眼球追踪系统确定目光有效解决上述视觉问题,苹果还在逐渐完善其AR设备体感。值得一提的是,华为欧洲实验室中心也发现了这个痛点,并于近期联合剑桥大学先进光电子中心发表全息AR显示论文,开展视网膜成像的AR光学模组研发,提升现有设备灵活聚焦和全息显示的功能,缓解视觉不适问题。两者的研发进程或将成为未来看点。

  苹果的终端处理能力强,具备研发全息AR终端硬件的技术条件,也是最有可能在此领域做出成效的大公司,而目前其重心还将放在延续手机的生命周期上。从其业务营收占总收入可以看出苹果盈利主力是手机,与苹果手机相比,可穿戴设备创造的收入仅为手机收入的四分之一。

  2015年推出HoloLens 第一代,采用光波导技术将视场角提高至30度,扩大了用户的视野范围,加强硬件来提升用户体验。2019年推出HoloLens第二代,软件上配备了Windows全息操作系统,并使用透明全息透镜这一光学元件,其设备没有外接线路属于无线连接,戴上设备后可以任意移动,能够很自然地触摸,抓住或移动全息图,图像如真实的物体一样作出反应。产品主导的商业解决方案全面化,例如CAE公司运用Hololens2提供了改变医疗保健教育和培训的解决方案,CAE Healthcare通过Microsoft HoloLens 2的沉浸式环境提供全套培训教育内容,学习者可以通过参与研究高解析度的全息图,加深对多种临床诊断下患者的病理了解。缩短学习曲线,扩充技能掌握能力,增强知识储备,培训效果显著,有效提高医疗界安全系数。类似为HoloLens提供解决方案的公司还有8家,行业合作伙伴广泛。

  作为今日头条青云计划、百家号百+计划获得者,2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者,曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。

下一篇:多功能政务终端
上一篇:链博会观察|“绿色+智能”卷动汽车“链”

咨询我们

输入您的疑问及需求发送邮箱给我们