眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷

---

「唯一真正的探索之旅，不是去拜访陌生的土地，而是透过别人的眼睛来观察宇宙。」——马塞尔·普鲁斯特

通过别人的眼睛来看世界，这个又科幻又诗意（又恐怖）的想法，已经成真了！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

《黑镜》第一季《你的全部历史》

现在，我们只需利用眼睛的反光，就能三维重建这个人正在观察的物体。

是的，这很黑镜。

最近，来自马里兰大学的团队，提出一种全新的方法——通过利用包含眼睛反光的人像，来对摄像机没有拍到的场景进行三维重建。

论文地址：https://arxiv.org/abs/2306.09348

项目地址：https://world-from-eyes.github.io/

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

经典科幻中的场景都成真了？

用眼睛反射产生辐射场重建？这个想法看似疯狂，实则有足够的理论依据。

作者介绍说，因为人眼具有高度的反射性，所以从捕捉头部移动的一系列帧中，完全可以做到仅使用眼睛的反射，就能重建和渲染人们正在观察的3D场景。

鉴于这个概念非常「黑镜」，而且这篇论文一发布没几个小时，《黑镜》新一季就宣布上线了，这种巧合简直让人怀疑《黑镜》的导演是不是也注意到了这篇论文。（狗头）

黑镜第六季今日上线

这项研究一出，网友们直接炸了。

所以，我们已经快进到这一步了？

这不就是2000年代《攻壳机动队》中的场景吗？这些虚构全都变成现实了！

100%的《银翼杀手》，现在就给我一份拷贝吧。

儒勒·凡尔纳的《基普兄弟》成真了！

当然，也有人对此表示毛骨悚然：这个技术可千万别被用于调查取证之类的事情。

而在今天，我们已经有了Varjo眼动追踪相机，还有苹果的VisionPro以及其他头显，这些设备都可以捕捉大量镜头素材，结合进这项新技术，无数崭新的科幻场景，恐怕马上都要成真了……

通过利用光线在人眼上的微小反射，研究团队开发了一种方法，可以使用在固定相机位置拍摄的单目图像序列来重建人所观察到的（非直视）场景。

不过，仅仅在观察到的反射上训练辐射场是不够的，原因有几个：1）角膜定位中的固有噪声，2）虹膜纹理的复杂性，3）每张图像中捕获的低分辨率反射。

为了解决这些挑战，团队在训练过程中引入了角膜姿态优化和虹膜纹理分解，并借助基于人眼虹膜的径向纹理正则化损失。

与传统的需要移动相机的神经场训练方法不同，他们使用的方法将相机放置在固定的视点上，完全依赖于用户的移动。

利用人眼反光，实现场景重建

由于准确估计眼睛的姿态十分困难，再加上虹膜和场景反射之间的纹理相互交织，因此这项任务颇具挑战性。

为了解决这一问题，作者针对眼睛姿态、描述场景的辐射场以及观察者的眼睛虹膜纹理，进行了联合优化。

具体来说，主要的贡献有三点：

1. 新的三维重建

提出了一种从眼睛图像中重建观察者世界的3D场景的新方法，可以将先前的基础工作与神经渲染的最新进展相结合。

2. 虹膜的径向先验

引入了虹膜纹理分解的径向先验，显著提高了重建的辐射场的质量。

3. 角膜姿态的优化

开发了一种角膜姿态优化的过程，以减轻眼睛姿态估计的噪声，克服了从人眼中提取特征的独特挑战。

结果显示，利用这个全新的方法，我们可以通过移动画面，从眼睛的反射中获得场景的多个视角，最终实现完整的场景重建。

更厉害的是，团队还尝试利用Miley Cyrus和Lady Gaga的MV，来重建她们眼睛里的景象。

作者表示，他们成功地重建了出现在Miley的眼中的物体，并且从Lady Gaga的眼中似乎看到了一个人的上半身。

然而，由于这些视频的质量不够高，因此还不能断定重建结果的准确性。

Lady Gaga

Miley Cyrus

如何做到的？

众所周知，健康成年人的角膜几何形状几乎相同。

因此，只需在图像中计算一个人的角膜的像素大小，就可以准确计算出他们的眼睛位置。

接下来，作者通过从相机拍摄光线，并将它们反射出近似的眼睛几何形状，来训练眼睛反射的辐射场。

为了避免人眼的虹膜在重建中出现，作者同时训练了一个学习虹膜纹理的二维纹理映射，来进行纹理分解。

实验评估

合成数据评估

首先，作者通过在Blender场景中放置人眼模型，进行了合成数据上的评估。

下图展示了仅利用眼睛反射重建的场景。

由于在现实生活中无法完美估计眼角膜，作者和评估了角膜姿态优化对估计角膜半径噪音的鲁棒性。

为了模拟真实数据中可能遇到的深度估计误差，作者通过使用不同噪音水平对每个图像中观察到的角膜半径进行缩放，来破坏观察到的角膜半径r_img。

下图展示了在不同噪音水平下的性能变化。

值得注意的是，随着噪音的增加，与无姿态优化的重建相比，作者提出的姿态优化重建在重建的几何形状和颜色方面更为鲁棒。

这证明姿态优化对于现实场景至关重要，因为图像中从投影的角膜到初始椭圆拟合并不完美。

此外，在有无纹理分解的情况下的定量比较显示，作者的方法在SSIM和LPIPS方面在纹理分解的情况下表现更好。

值得注意的是，作者没有计算PSNR，因为在设置中，反射和场景本身之间的照明差异非常大。

真实世界评估

为了保证视野的真实，作者选择了索尼RX IV相机进行拍摄，并使用Adobe Lightroom对图像进行后处理，以减少角膜反射中的噪声。同时，作者在人物的两侧加入了光源来照亮目标物体。

过程中，被拍的人需要在相机的视野范围内移动，以便团队在每个场景中拍摄5-15帧图像。

由于场景照明具有较大的动态范围，作者在所有实验中使用16位图像，以避免丢失观察到的反射中的信息。

平均而言，每个图像中角膜只覆盖约0.1％的区域，而目标物体大约会占到20x20像素，并与虹膜纹理交错。

数据处理

作者首先通过对图像进行角膜中心和半径的估计，来获得角膜的初始位置估计。

然后，使用平均深度和相机的焦距直接近似来计算角膜的三维位置，并计算其表面法线。

为了自动化这个过程，作者使用Grounding Dino定位眼睛的边界框，并使用ELLSeg对虹膜进行椭圆拟合。

尽管角膜通常被遮挡，但我们只需要未遮挡的区域，因此可以使用Segment Anything来获得虹膜的分割掩码。

真实结果

从下图展示的效果中可以看出，作者的方法能够从真实世界的人像图片中重建3D场景，尽管存在角膜位置和几何估计的不准确性。

由于角膜边界的模糊性，想要在图像中实现精确的定位十分困难。

此外，对于某些眼睛颜色，如绿色和蓝色，3D重建也会更加困难，因为虹膜纹理较亮。

此外，在没有明确建模纹理时，重建后的画面中还会出现更多的「漂浮物」。

为了解决这些问题，可以通过增加径向正则化的程度，来改善重建的质量。

不过，这个方法依然存在两个主要的限制。

首先，目前的真实世界结果是基于「实验室设置」，例如对人脸进行放大拍摄、使用额外的光源照亮场景等。而在更自由的环境中，就需要面对传感器分辨率较低、动态范围较小且存在运动模糊等更大的挑战。

其次，目前对虹膜纹理的假设（例如恒定纹理、径向恒定颜色）可能过于简化，因此该方法在眼睛大幅度旋转时可能会失效。

作者介绍

共同一作Kevin Zhang，目前是马里兰大学的博士生。

Brandon Y. Feng在马里兰大学获得计算机科学博士学位，研究兴趣集中在计算成像、中层视觉和计算摄影领域。曾开发了用于图像和3D数据处理的机器学习算法，应用范围涵盖混合现实到自然科学等领域。

Jia-Bin Huang是马里兰大学副教授，此前在UIUC获得了博士学位。研究兴趣集中在计算机视觉、计算机图形学和机器学习的交叉领域。

以上就是眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷的详细内容，更多请关注其它相关文章！

# 而在  # 品牌seo推广多少钱  # 唱歌网站建设工作  # 实体店营销抖音推广方案  # 中江美食网站建设  # 产品市场营销推广咨询  # 浙江关键词推广网站  # 周口附近网站推广店  # 海南省海口市企业seo  # 宝山营销推广多少时间  # 营销推广项目多少钱  # 3D  # 只需  # 十大  # 就能  # 观察到  # 前十  # 的是  # 解锁  # 成真  # 马里兰  # AI 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  IBM 与 NASA 携手开源地理空间 AI 模型，促进气候科学研究进步  12页线性代数笔记登GitHub热榜，还获得了Gilbert Strang大神亲笔题词  2025年深圳举办的SUSECON 创新峰会开始接受报名  丰田汽车研究院推出生成式人工智能汽车设计工具  工业机器人及非标自动化设备集成服务提供商  成功孵化首个大型模型解决方案的重庆人工智能创新中心  音乐制作元工具AudioCraft发布开源AI工具  650亿参数，8块GPU就能全参数微调：邱锡鹏团队把大模型门槛打下来了  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  人工智能在重症监护室的未来  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  微软新出热乎论文：Transformer扩展到10亿token  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  13条咒语挖掘GPT-4最大潜力，Github万星AI导师火了，网友：隔行再也不隔山了  周鸿祎参加中美青年科技创新峰会，分享人工智能创新机遇  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  智能化解决方案：保障数据安全阻击泄露和丢失  官宣！爱康AI未来之夜三大亮点提前剧透！  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  中国联通推出“极光一号”5G机载终端，适配大疆等品牌无人机设备  亚太地区 70% 的企业高管正探索生成式 AI 应用或已经进行投资  一家 380 亿美元的数据巨头，要掀起企业「AI 化」革命  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  华为HarmonyOS 4将集|成人|工智能大型模型  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  鸿蒙智能座舱的AI大模型革新，引领智能座舱领域的变革吗？  2025智源大会AI安全话题备受关注，《人机对齐》新书首发  普林斯顿Infinigen矩阵开启！AI造物主100%创造大自然，逼真到炸裂  独家视角：首次展示有人与无人协同打击的7000米高空察打一体无人机  会模仿笔迹的AI，为你创造专属字体  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  吉林首例！机器人辅助下搭桥手术成功实施  读创正式上线“读创AI聊”功能  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  网易易盾 AI Lab 论文入选 ICASSP 2025！黑科技让语音识别越“听”越准  印象笔记开放旗下“印象 AI”，可一键生成思维导图、写文章等  国网辉南供电：无人机空中巡检 全力护航端午佳节  普渡机器人与变形金刚品牌合作，特别活动爆火，商品售罄！  甲骨文与Cohere合作为企业提供生成式人工智能服务  WHEE使用教程  马斯克嘲讽人工智能：机器学习本质就是统计学  AI+音乐如何“生成”动听旋律？一起揭秘世界人工智能大会开场曲  阿里达摩院发布免费开放100项AI专利许可的动机是什么？  智能技术提高现代商业运营的7七种方式  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验 

 2023-06-19