琵琶网> 游戏资讯> 行业新闻> 正文

FBEC2023 | 耀宇视芯 CEO杜逢博:协处理器对于XR所带来的改进与提升

来源:网络     时间:2023-12-13 16:31      作者:hj     访问量:281    我要投稿

  FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开,本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导,陀螺科技主办,中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

  大会以“合力共生·韧者行远”为大会主题,以具有行业前瞻洞察的“航行者”为视角,破冰之旅为主线,关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域,全方位呈现科技前沿成果,聚焦时代与商业热点议题,探讨新科技、新商业、新模式的未来价值,与真正的勇者共赴剧变革新下的凛冬破冰之旅!

  主会场C:元生未来,共链价值——2023全球元宇宙产业核心技术论坛,邀请到耀宇视芯 CEO杜逢博带来主题为“协处理器对于AR头显的必要性”的精彩演讲。杜逢博认为,从交互算法到数据传输再到显示渲染,协处理器将会显著改善VR/AR设备的延迟与功耗。

  以下为演讲实录:

  大家,下午好!今天主要想和大家探讨的是协处理器对于AR所带来的改进和提升。

  目前XR领域头部两个大厂,苹果与微软都在其产品中使用了协处理器。其实,微软2016年推出的第一代HoloLens便使用了协处理器HPU,苹果今年发布的Vision Pro则自带了R1协处理器。两家厂商不约而同地都将XR设备区别于传统消费电子产品的功能承载在协处理器上,同时也都明确提出了延迟这一参数指标,其中微软HoloLens的MTP可以实现小于1毫秒的延迟,而Vision Pro的VST则做到了小于12毫秒的延迟。

  在我们看来,延迟这一参数主要取决于3个因素,一是交互算法,其中头部空间定位主要取决于SLAM技术;二是数据传输;三是显示渲染。

  首先在交互算法上,对于传统VR/AR一体机,尤其是AR的Expose(曝光时间)一般是3毫秒,之后图像便会向外输出,Readout时间约为6-7毫秒。而对于一体机来说,图像输出完会进入主芯片,在主芯片里面花费15毫秒左右的时间,利用CPU或者是DSP处理特征提取、匹配相关的算法。最后在10毫秒左右时间内,基于滑窗的非线性优化或者滤波器方式解算6Dof的空间定位结果。以上整个视觉处理的延迟基本会控制在35毫秒左右。

  值得注意的是,如果采用分体积方式,处理延迟还会进一步增加至38-55毫秒左右,这取决于中间传输的传输方式。在如此明显的延迟之下,协处理器的加入将有效降低交互算法的延迟。

  在协处理器辅助下,虽然曝光时间依然是3毫秒,但到了Readout阶段,由于操作都是在协处理器里面的,无需缓存所有的图像,因此只要十几行图像就可以进行特征提取和匹配计算,约等于整个Readout时间结束后,SLAM算法中的特征提取和匹配算法已经结束,特征提取和匹配操作隐藏在Readout时间内。之后再花费额外3毫秒时间处理基于滑窗的非线性优化模块解算6Dof空间定位后,便可以传输处理完成的空间定位结果。相比图像数据量大幅减少,完成传输仅需1-2毫秒。

  在有协处理器的情况下,SLAM视觉链路延迟会降低至13-14毫秒,这带来最大的好处是IMU积分的时间大幅缩短,对于诸如加速度器这样需要二次积分的传感器来说,不仅能提升传输精度,还能有效降低抖动。

  其次,显示渲染。在一个4帧图像的时间序列中,传统的方式在Vsync 0时刻获得最新定位结果并传输给GPU进行渲染,渲染完1帧以后,经常会用双缓冲的方式对屏幕进行刷新,在传统的双缓冲模式下,信息在Vsync 2时刻才能完成图像刷新,整个过程延迟非常大,如果不做任何处理的话,几乎无法获得很好的效果。

  因此,在渲染阶段我们一般都会使用单缓冲方式,即在渲染完成后直接上屏处理,通过控制上屏时间避免画面撕裂。但即便如此,整个延迟还是处在接近30毫秒的程度。此时,我们一般还会通过PW或者是ATW进行补偿,在屏幕刷新之前再次获取最新的定位的结果,利用该结果对已经渲染完成的图像做一次延迟补偿,重新输出到屏幕。

  该方式可以将延迟压缩至十几毫秒,却仍旧无法达到理想的效果。因此一般我们还会在最新的Get Pose基础下加入往前的位姿预测,基于IMU数据拟合往前积分,获得未来的定位结果。

  此外,还可以选择根据历史的运动数据构建一个复杂的运动模型,用该模型预测未来十几毫秒之后可能存在的定位结果,对图像进行补偿。

  但不可否认的是即使预测算法再好,预测总归是预测,总有预测不准的时候。此时,协处理器的优势就得到了体现,其可以大幅降低甚至完全消除预测时间,让整个渲染过程不需要进行任何的预测,而是直接将实时结果传输至屏幕。

  基于以上对延迟的考量,耀宇视芯推出了第一代协处理器“启明”,并在典型场景下取得了不错的功耗表现。在视觉双目30fps,1000Hz IMU条件下,协处理器“启明”功耗维持在164mw左右;在双目100fps+1000Hz IMU条件下,功耗维持在193mw左右;在VR典型场景下,四目30fps条件下功耗维持在200mw以内。

  总的来看,耀宇视芯第一代协处理器“启明”会给VR/AR设备在空间定位上带来大幅功耗及延迟的降低。欢迎各位到现场体验,谢谢大家!

标签: 暂无

分享到:

上一篇: FBEC2023 | 诺亦腾 联合创始人&CTO戴若犁:AI & AVP是Metaverse和XR的救世主么?

下一篇: FBEC2023 | 对话爱奇艺高级副总裁张航,探索VR线下大空间娱乐趋势

  • 微信扫一扫-礼包攻略通通到手

    微信扫一扫关注琵琶网公众号:

    1.扫描二维码或搜索微信号,关注“琵琶网手游”;

    2.回复“您玩的游戏名称”,即可查看该游戏的最新礼包和资讯;

    还没关注的小伙伴,赶紧扫一扫吧~

相关阅读

  • 热门网游
  • 热门单机

最新活动

更多+

最新入库

更多+

用户评论

(已有0条评论)

表情

登录 |注册
最新评论
加载更多
  • 最新热点
  • 新闻
  • 攻略
  • 评测
  • 视频
  • 问答
  • 攻略推荐
  • 礼包推荐

热门游戏

  • 网游
  • 单机

最新资讯

热门专区

更多+

最新标签

更多+

玩家问答

更多+

快捷导航

返回顶部