备受期待的苹果XR头显马上在6月5日的WWDC上发布,AR/VR行业又在美国掀起了一波高潮。闻风而动的Meta赶紧在6月1日就放出了Quest 3的正式宣传,先声夺人加入了混战。而在这两天开幕的硅谷AR/VR行业盛会AWE上,高通、Meta、Magic Leap、XREAL、ThinkReality等老牌XR厂商密集亮相。
据Bloomberg等多家外媒猜测,苹果XR头显可能采用Pancake的光学方案,在VR功能的基础上,采用与Meta Quest Pro及Quest 3相同的VST技术(摄像头拍摄视频透过)以实现兼容AR功能。苹果、Meta两大家同时下注,这使得AR、VR双模混合成为了行业新风向,但两家都不约而同选择VST,则隐隐点出了一个存在已久的行业痛点,即业界缺少光学透过式(OST)的大视角AR光学方案。此次AWE大会上展出了一款由Ant Reality带来的120度大视角超薄AR光学方案,吸引了大量业内人士排队打卡体验。
以下,我们通过Ant Reality的大会演讲的中文译文,来深度解析一下实现120度大视角超薄AR光学的技术路径。
(干货预警,共4554字,阅读约花费7分钟。)
大家好,我是Ant Reality的创始人覃政。
今天要介绍的是我们的Crossfire:一款AR/VR两用的120°视角AR光学,它集成到产品中将会是这样轻薄的眼镜形态。
众所周知,大视角是行业所趋,然而在AR领域,大视角却非常罕见。
1. 混合波导为什么能实现大视角?与Birdbath、自由曲面、波导方案对比
这是业界常见的Birdbath方案的光路图,由于视窗口径(View aperture)受限于体积问题不能做得更大,而视窗距(View distance)又无法进一步缩短,Birdbath的极限是纵向视角29°对角线60°,也就是说,几何因素限制了birdbath可实现的最大视角为60°。
这是自由曲面方案的光路图,由于它是离轴的(Off-axis)方案,导致其产生扇形畸变,画面边缘清晰度低、图像扭曲,即使是软件反畸变算法也无法很好的校正。之前业界有过90°以上的自由曲面方案,但体积非常大。若做成眼镜体积,且要求画面足够清晰,则最多只能利用自由曲面视野中心50°左右的区域。
传统波导包括衍射波导和几何波导,这是传统波导的光路图,它的视窗口径较大、视窗距较短,因此可以获得较大的视角。然而,大视角需要光机来提供足够大角度的耦入光线。例如,若将视角做到70°,此时光机已经达到3.4cc的体积。过大的光机会在产品左右或上方形成阻挡,导致无法眼镜化,典型的就是Magic Leap或Hololens这样的头环形态。如果希望将产品外形维持在眼镜形态,那么缩小光机体积的同时,通常也会导致视角减小。况且波导方案成本也非常高,这无疑又为市场化增加了障碍。
下面是今天要介绍的全新的光学方案——Mixed Waveguide混合波导的光路图。混合波导通过介质内全反射(TIR),将光线在波导棱镜中多次折叠后最终送入人眼。整个成像系统是在轴的(On-axis),从而在实现大FoV的同时保证了高MTF(图像解析度)。其特殊构型带来的更大视窗口径和超短的视窗距,使得单个混合波导系统的视角可达90°。此外,混合波导镜片薄且无需光机,光源端采用micro-OLED等薄板式光源即可,这使得整机可实现窄边框的眼镜形态。
这是透过混合波导Type-A光学模组的实拍视频,可以看到它视角非常大,图像明亮清晰锐利,且镜片轻薄呈眼镜形态。
混合波导Type-A和Type-B均采用刚才介绍的单混合波导系统,可达最大视角为对角线90°。Type-C,也就是今天着重介绍的Crossfire双混合波导系统,光路图如下,通过两套单混合波导系统进行双向拼接,通过在轴图像融合,最大可达到对角线135°的融合视野。
混合波导系统通过特殊的偏振系统设计实现了杂光的消除,如下图所示,图示中红色的线偏振s光产生的多个非正常光路杂光被绿色的线偏振p系统消除,从而杜绝了大部分鬼影(Ghost image);同时,紫色的圆偏振片系列除了可以防止光线外溢形成漏光(Eye-glow),还实现了反射旋光,以保证正确光路的唯一光线从s光变成系统允许通过的p光而最终进入人眼。偏振反射和偏振旋光的设计,使得整个系统拥有很高的光学效率。最终带来的优良效果是,用户获得足够明亮的显示图像,整个视野非常通透干净,且系统内向鬼影和外向漏光都得到了有效控制。
就这样,我们实现了超大视角的AR。
2. 光学透过(OST)为什么比视频透过(VST)好?混合波导与Pancake+VST对比
但这并不是业界第一次实现超大视角的AR体验,历史上有过几次,通过大体积的头盔实现类似的效果,但产品形态太臃肿,市场并不接受。最近一次,相信大家还记忆犹新,是从Meta Quest Pro上体验到的,它是一种VST(video see-through视频透过)的Pancake方案。今早刚刚公布的Quest 3,也是采用同样的方案。而且马上在6月5号硅谷某大厂即将发布的产品,据媒体爆料也是采用Pancake+VST的方案。
但很明显,OST(optical see-through,光学透过)的AR才是未来产品所必须的。
为什么说OST比VST好呢?
亮度上:VST的亮度由屏幕亮度决定,在100-600尼特之间;OST的光学透过由透过率和外界光线决定,可达到6600尼特甚至更高,是VST的十倍以上。
分辨率上:VST的分辨率约2k-4k每眼;而OST由人的视网膜决定,分辨率约为24k+每眼,也是将近10倍的差距。
延迟上:OST看见真实外界环境,完全没有延迟;而VST总会存在延迟。这个是有无问题,非常关键。
焦平面上:VST只有1个焦平面;而OST透过镜片看见的真实世界存在无数个焦平面,可以防止辐辏冲突和眩晕的产生。这个是深层原因。
可见,OST在亮度、分辨率、延迟、焦场等方面上完胜VST。VST只是在尚未出现超大视角AR光学方案背景下的临时过渡方案。
如果我们直接将Crossfire与Pancake进行对比:
视角:二者都在100多度,均可实现超大视角。
厚度:Pancake的光学厚度在15-25mm;Crossfire更薄,只有10-13mm。
支持AR:Pancake只能通过VST的方式使用摄像头来转录重现;而Crossfire是天然透明的OST。
鬼影:大家都知道Pancake的鬼影问题比较头疼,因为它是直入式圆偏振折返系统,“圆偏振突破“问题始终存在,导致鬼影难以消除,目前做的最好pancake方案的鬼影依然有1%,这个还是非常明显,影响画质通透度;而Crossfire因为本身是侧入式线偏振折返系统,因此在保证AR显示的同时通过线偏振隔离将鬼影控制在0.1%,这只有pancake的十分之一水平,视觉感官上非常明显要通透很多。
成本:你一定会问,虽然Crossfire听起来不错,但是上下两套系统融合,成本上是不是很高?我们计算了一下,Pancake若采用1.4英寸的屏幕,屏幕单价为300美元;而Crossfire采用两块0.9英寸的屏幕,屏幕单价为140美元,两块加起来也就280美元。而二者的镜片成本是类似的。也就是说,Crossfire整个方案比Pancake的成本还要略低一些。
综上,Crossfire与Pancake相比,都可以达到超过100°的超大视角,但Crossfire更薄、真实世界还原度好、鬼影问题更小、且价格更低。
本次AWE,大家可以体验到我们最新发布的Crossfire Max 3K,它是一款单目3K分辨率的AR+VR两用光学模组,视角为120度,厚度为13mm。
通过实拍的视频可以看到,模组可以实现显示光线的遮蔽,从而实现VR和AR两用。
视频中我们可以看到,3K超高分辨率的清晰图像之下,背景的现实世界在切换明暗,实现AR透过,或者VR封闭。这是我们基于液晶光阀的电致调光方案的神奇效果。
有了Crossfire技术,我们很自豪的宣布:超大视角的光学透过式AR,我们终于攻克了这个难题!
3. 灵魂追问:如果其他光学方案也采用Crossfire双向拼接的概念,是否也能实现同样提升呢?
那么,有人会说,你的双向拼接的方法很聪明,但是其他光学方案也可以这样来做吧?
比如经典的自由曲面方案,如果把他做成双向拼接,就会存在比较严重的眼动画面融合问题。
通过这个动画的分析对比可以看出,如果自由曲面采用拼接方案,将会是类似左边这样。由于他是双离轴的系统,所以产生了上下两个相反的扇形画面,这两个画面是衔接不上的。
那么假设通过软件分别对上下画面进行反畸变处理,这时候上下画面是可以衔接上了。但是,人眼并不是静止不动的,当眼球移动起来(Eye-shifting),我们看到,刚才还能衔接上的画面就又开始持续错位了。
假设再土豪一点,加上眼球追踪来实时根据人眼位置进行图像校正处理,是否就可以解决问题了呢?不,即使加上眼球追踪,只能解决X和Y方向的像素错位问题,而因为自由曲面不对称性导致的上下画面的焦面也错位了,这是Z方向的错位,是光学问题,算法解决不了。
而右边Crossfire的情况就好了很多,因为是在轴系统,无论人眼移动到什么位置,上下拼接的画面始终是自然地融合在一起,几乎可以达到完美的拼接显示效果,做到无接缝,无重影。
我们已经知道,自由曲面的拼接方案不好,存在无法完美融合的问题。
那如果将经典Birdbath方案和传统波导方案也进行双向拼接,又会怎样呢?
结论是:
Birdbath若做成双向拼接,视角最大只能达到80°,厚度却要做到实心棱镜25mm以上,重量太重,惨遭淘汰。
波导若做成双向拼接,成本必然加倍,是消费级眼镜承受不了的。
而我们的混合波导Crossfire,它的在轴显示系统可以实现画面完美融合,100°以上的超大视角但厚度只有10-13mm,非常轻薄,并且拥有更低的整体物料价格(BOM)。
4. 采用Crossfire光学的眼镜与Hololens 2、Magic Leap 2、Meta Quest Pro横向对比
本次AWE我们发布了Crossfire的整机参考设计,这是一款AR+VR两用的一体机,眼镜形态,厚度为10mm,视角为100°。我们首次采用纯光学式的动态调光,可以实现更大范围的0.002%-33%的透过率,简言之,也就可以实现更黑的VR封闭和更亮的AR透过。
一起看一下它大视角和VR、AR切换的实拍视频:
所以,如果Crossfire参考设计变成实际产品,它与市面上几款主流的AR设备进行横向对比:
Hololens 2采用OST,固定透过率40%,视角52°,只能用于纯AR。
Magic Leap 2采用OST,有0.3-22%范围的动态调光,暗状态不够彻底,仍然会泄露显示光线,且视角70°也不够大,因此也只能用于纯AR。
Meta Quest Pro本身是为AR、VR两用设计的,视角为106°,但他使用了不够完美的VST方案。
Crossfire的OST方案专为AR\VR混合而生,它达到了0.002-33%大范围的动态调光,在VR模式下,最暗可以黑到0.002%的透光率,即使对着太阳等强光源也看不到,在AR模式下,最亮达到33%的透光率,基本可以戴着这样的眼镜在阴天不开灯的房间里也不觉得暗。视角够大为100-120°,支持VR沉浸体验毫无压力。而Crossfire光学方案的低成本可量产性,导致终端产品售价上不需要几千美元,而是可低至$500-800美元,更适合消费级市场。
可以说,Crossfire是一款完美的AR/VR双模混合方案。
5. 下一代AR光学方案,更好的混合波导
总结介绍下,我们的混合波导家族,Type-A视角85°厚度9mm支持沉浸式娱乐,Type-B视角56°厚度6mm主打轻薄观影和日常佩戴,Type-C专注AR+VR两用,其中Crossfire视角100°厚度10mm,Crossfire Max视角120°厚度13mm。
为什么混合波导更好?因为这六大优势:
这个新技术的诞生,为未来的ARVR产业提供了更丰富的想象空间。
混合波导Type-A和B可取代Birdbath成为下一代消费级光学方案,应用该方案的眼镜可主打类似手机与平板的轻度全天候场景。混合波导Type-C及Max,可成为取代Pancake+VST的升级方案,支持沉浸式ARVR融合体验,可瞄准办公场景取代笔记本电脑,或聚焦娱乐场景取代游戏主机或PC。
整个混合波导系列将会在未来元宇宙生态中作为硬件基础设施发挥其价值与作用。
很高兴,混合波导已经投入量产,量产的合作伙伴是全球知名的歌尔Goertek。一些AR、VR终端硬件厂商已经采购了混合波导技术方案,将会用在下一代产品中。
在去年的AWE,我们首次展出了Crossfire,展出后,我们的120°模组得到了Karl Guttag的认可。在今年的CES上,混合波导受到了更多的关注,大视角以及AR、VR切换的功能让大家耳目一新,全球很多媒体进行了报道。
本届AWE,蚁视(Ant Reality)的展位在113号。
大家可以在展位上体验到Type-A、B、C的模组和以及Crossfire的参考设计,欢迎大家前往体验。
谢谢!