FBEC2023 | 普罗米修斯CEO张煜:数字生命——大模型可驱动的体积视频
来源:网络 时间:2023-12-11 10:37 作者:hj 访问量:366 我要投稿FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开,本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导,陀螺科技主办,中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。
大会以“合力共生·韧者行远”为大会主题,以具有行业前瞻洞察的“航行者”为视角,破冰之旅为主线,关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域,全方位呈现科技前沿成果,聚焦时代与商业热点议题,探讨新科技、新商业、新模式的未来价值,与真正的勇者共赴剧变革新下的凛冬破冰之旅!
FBEC2023分会场A:全球3D技术应用论坛邀请到普罗米修斯视觉CEO张煜带来主题为“数字生命——大模型可驱动的体积视频”的精彩演讲。张煜指出,普罗米修斯视觉在相机矩阵采集系统领域已深耕10年,全栈解决方案均为自研。
以下为演讲实录:
大家好,我是普罗米修斯的CEO张煜,我们公司主要做大模型可驱动的体积视频。首先介绍一下我们公司,普罗米修斯视觉是一家专注于研究体积视频技术及应用的高新技术企业,核心技术团队由清华大学博士团队和香港科技大学博士团队等顶尖院校的高精尖人才组成,我们在相机矩阵采集系统领域已深耕10年,是全国唯一一家全栈解决方案都是自研的企业。迄今为止拥有发明专利70多项,目前估值不到10亿,董事长是北航软件学院的创始院长孙伟。
现在我跟大家分享一下公司做了10年的比较成熟的解决方案,其中一个核心方向是专业相机矩阵的同步、标定、采集+传输、存储的全栈解决方案。它涵盖以下四个特点,亚毫秒级别的同步、亚像素级别标定、万兆网络的传输和采集,以及高速固态硬盘存储。
第一个特点是相机同步,整套系统支持从5fps到120fps的可自主调节采集,相机从几台、几十台到几百台都可以支持毫秒级别同步的采集方式。这是我们自研的一套同步系统,它是一个波形发生器,精度可达到亚毫秒级别,最高支持120fps的曝光。而且算法会自动纠正随着时间带来的累计误差,保障长时间采集拍摄过程中的稳定同步。
第二个特点是自动标定,行业人士都知道,几百台相机的标定是很麻烦的问题,我们已经自研超高精度标定算法,所有相机全局收敛,全局误差小于0.5个像素,而且整个过程全自动化,10分钟以内就能完成几百个相机的同步标定。
第三个特点是高速采集+传输,从相机输出、传输网络到存储系统输入都是万兆网架构,保证海量数据采集传输顺畅无延时,无卡顿。
第四个特点是存储系统,在存储上,我们采用了M.2高速固态硬盘采集系统 + 企业级HHD硬盘阵列,既保证高速采集,又确保存储可靠。
这个产品主要有四大应用场景,第一是无标记点动捕人体骨骼数据采集,第二是三维人体动态模型重建数据采集,第三是三维人体动态点云数据采集,第四是语音表情动态数据采集。
在可选相机里面,我们同时支持卷帘快门相机以及全局快门相机。有些应用对深度有要求,因此我们还提供一个模组,这个模组由两个IR相机、彩色相机和随机散斑投射器的POD组成,可以完成非常准确的深度采集。该模组适用于三维建模,点云采集,像流行的NeRF、NeuS等都可以通过这个方式采集数据。
在可选软件包里,首先讲下IR双目的stereo,这就是一个典型的IR相机拍出来的图像,身上的散斑都是我们研发的一些非均匀散斑,通过这种散斑和自研的stereo的一些算法可以做到高精度的深度计算,之后再用基于神经网络的方式让它变得更加精确。
图片上显示的是一个骨骼检测软件包,可实现全身骨骼点检测以及高精度的脸部扫描。在通过多相机的拟合和检测后,骨骼点和脸部的表情点会非常准,这个软件包比较适合一些动捕人体骨骼数据采集的需求。
除了关键点的采集,我们还支持比较典型的SMPL和SMPLX的一些参数人体模型的采集。关于脸部的关键参数模型等,整套系统也同样支持。所以不管是全身还是脸部都可以采用这套相机矩阵,通过增减或者选不同的模块去实现。
接下来介绍一些成功案例,港科大有我们一套动态的重建及应用元实验室数字人重建拍摄系统。深圳第二高级技术学院、江西软件职业技术大学、贵州盛华职业技术学院、北京容积视觉有限公司等,他们的整套方案也是我们提供的。
最后总结一下,公司研发的这套相机矩阵采集系统的相机数量从几台到几百台可选,相机类型不仅可选2K、4K、卷帘快门、全局快门,红外IR相机都是可选的,占地面积7米乘7米,可拍摄范围是5米乘3米高的圆柱体。
此外,我们产品有三大优势,超过10年的产品研发,迭代,大量客户长期使用,系统稳定,好用,完整;清华,港科大博士团队从底层研发,底层可控可定制,算法水平属国际第一梯队;软硬件全国产,成本可控有优势。
微信扫一扫-礼包攻略通通到手
微信扫一扫关注琵琶网公众号:
1.扫描二维码或搜索微信号,关注“琵琶网手游”;
2.回复“您玩的游戏名称”,即可查看该游戏的最新礼包和资讯;
还没关注的小伙伴,赶紧扫一扫吧~
相关阅读
最新活动
最新入库
携手狂欢,共筑希望!《荒野迷城》狂欢版本上线,福利不停歇 《推理学院》双旦之星活动 欢庆时间到!《最终幻想14》星芒节活动降临! 神兵耀世!《剑侠世界:起源》天御系列武器霸气出鞘 星辰神子觉醒解读!魔域口袋版凛冬神临! 《剑网3缘起》×《秦时明月》联动今日登场,冬至佳节更有豪礼相赠
双蛋连过 快乐加倍 《剑网2》年终回馈今日开启清场爆发人间大炮《辐射:避难所Online》新英雄泽塔登场! 新巢穴 新技能!《龙之谷》今日开放圣诞版本 全新片区凛冬守望!魔域口袋版12月最新版本速递! 《经典归来:封神榜 2 重制版》筹备启动,诚邀老玩家再铸辉煌 叫你一声你敢答应吗?来《梦幻新诛仙》能cos金角大王、银角大王? 言出必行,初心未改《诛仙世界》今日震撼公测
《哈利波特魔法觉醒》评测:游戏IP很好,但是网易把握不住! 《叫我大掌柜》评测:原来你是这样的掌柜 《荣耀新三国》评测:高评测3D战场SLG手游,更适合年轻人三国游戏! 《余烬风暴》评测:经典魔幻MMORPG 身临魔幻之境 《艾尔多战记》评测:克苏鲁风放置手游, 画风魔性,玩法有趣! 《有杀气童话2》评测:格斗童话世界 颠覆传统MMO童话剧情!
《少侠江湖志》评测:江湖放置 暴走青春《斗罗大陆:魂师对决》评测:正版3D斗罗手游,热血魂师对决 《圣斗士星矢正义传说》评测:经典动漫IP,放置玩法更休闲娱乐,适合白嫖玩家! 《刀剑神域黑衣剑士:王牌》评测:新一代的rpg手游 玩的就是情怀 《鬼泣·巅峰之战》手游测评:第二款战双,只适合短期玩容易腻 《机动战姬聚变》评测:延续前作IP,回合制战斗略显老套! 《胡莱三国3》评测:胡莱十载再续荣光,真沙盘模拟战斗!
王者荣耀2021世冠总决赛视频 重庆QG 4:2佛山GK第六次捧杯 王者荣耀诸葛亮时雨天司特效 诸葛亮牛年限定皮肤值得买吗? 王者荣耀铠绛天战甲特效视频 铠传说皮肤特效 王者荣耀芈月白晶晶视频 芈月白晶晶技能特效 2020王者荣耀冬季冠军杯总决赛南京Hero久竞 4:1 DYG 南京Hero成为四冠王 2020王者荣耀冬季冠军杯1月17日南京Hero久竞 4:2 成都AG超玩会 南京Hero晋级总决赛
2020王者荣耀冬季冠军1月16日 DYG 4:1MTG DYG晋级冬冠总决赛2020王者荣耀冬季冠军杯1月14日成都AG超玩会 4:1 广州TTG 成都AG晋级半决赛 2020王者荣耀冬季冠军杯1月13日 DYG 4:1 杭州LGD大鹅 DYG晋级半决赛 2020冬季冠军杯1月13日南京Hero久竞 4:2 RNGM 南京Hero久竞晋级半决赛 王者荣耀v8皮肤高清图片 虞姬v8皮肤特效视频 王者荣耀鲁班七号电玩小子优化视频 新版电玩小子特效 王者荣耀元歌新皮肤视频 s22战令元歌云间偶戏特效展示
热门游戏
最新资讯
热门专区
更多+最新标签
更多+玩家问答
更多+快捷导航
用户评论
(已有0条评论)表情