VR的终极形态是「假眼」？Neuralink前联合创始人掏出新 ...

吹就一个字

关注“FightingCV”公众号
回复“AI”即可获得超100G人工智能的教程
点击进入→FightingCV交流群
【From 新智元】科学公司最近详细介绍了他们正在研发的第一款产品「科学之眼」，尝试为盲人恢复视力，未来或将成为VR的终极形态！元宇宙，或者说虚拟现实（VR）技术的终极形态应该是什么样的？

2021年，在与马斯克分道扬镳后，Neuralink的前联合创始人Max Hodak出走创办了一家全新的脑机接口公司科学公司（Science Corp），募集资金量在行业内仅次于Neuralink



最近Hodak透露出了他们正在研发的一款视觉假体产品「科学之眼」（Science Eye），一旦成功，科学之眼便可以为失明的人提供一种新的治疗方法。
目前「科学之眼」已进入动物实验阶段，根据兔子的实验结果显示，Hodak认为科学之眼的成功率非常高，并且最快18个月就可以进入人体实验。
在未来，即使正常人也可以用上科学之眼，相比当下笨重的头显来说，无需手术即可带来身临其境的虚拟体验，或许这才是终极的VR产品！
科学之眼：VR的终极形态？
在脑机接口（brain-computer inter）领域，Max Hodak基本属于顶流中的顶流，早在2016年，Hodak就和马斯克等八人联合创立了Neuralink.
但在2021年，由于内部冲突加剧，技术发展缓慢等原因，人体实验也拖延了很长时间，导致Hodak决定离开Neuralink并悄悄创立了科学公司（Science Corp），开展一些类似Neuralink但却稍有不同的工作。
科学公司虽然是脑机接口领域的新星，但已经筹集了1.6亿美元的总资金，在行业内仅次于马斯克的Neuralink



科学公司的第一个主项目就是科学之眼（Science Eye），其主要目的是尝试为盲人制作义眼，但科学之眼的独特之处在于它融合了神经的基因编辑和一种特殊的植入物。
虽然科学之眼目前仍在处于动物实验阶段，但它具有的潜力及未来可能的应用场景十分吸引投资者。
科学之眼主要包括两部分，一个是简单的基因疗法，在视神经细胞中加入一种使其对光敏感的蛋白质；另一个是放置在视网膜上的微型 LED 薄膜显示屏，可以驱动改变后的细胞。
实验中提供的蛋白质对普通日光不敏感，只对植入的柔性微发光二极管敏感。



这两部分加在一起可以让失去感光细胞的患者恢复视力，比如视杆细胞和视锥细胞导致的失明。
目前实验人员已经将科学之眼植入了兔子中，但还需要仔细观察组织成像，以确定基因疗法是否有效，或者植入物是否起到了意想不到的作用，Hodak表示会尽可能少地使用动物。
需要在兔子身上找到什么才标志着成功? 到目前为止成功率是多少？
实验人员用传统的电极对动物的视觉皮层进行记录，以观察能否通过微型 LED 阵列恢复出给到视网膜上的刺激，可以作为信号进入大脑的基本原理证据。
虽然目前还处于实验阶段，但Hodak认为这个想法绝对会成功。
为什么过去尝试这样做的其他公司都失败了? 「科学之眼」是如何避免这些错误的？
有很多公司都在研发视觉假体（visual prostheses），比如Second Sight 和 Pixium Vision 作为早期的行业领导者使用的是传统的电极。



但从长远来看，Hodak认为使用传统的电极无法达到真正的高分辨率视觉。
也有一些公司使用光遗传学技术，比如 Bionic Sight 和 GenSight，但是他们使用安装在眼镜上的投影仪来驱动视蛋白质，这种蛋白质不会随着眼睛移动，而且与科学之眼采用的灵活的微型 LED 技术相比有很多缺点，微型 LED 技术可以在患者环顾四周和移动时保持持续的细胞到像素的映射。
还要多久才能把科学之眼植入人类病人体内？
Hodak表示，希望是18个月！
如果这项技术在病人身上被证明是成功的，会有商业版本的需求吗？如果是的话，它可以提供什么样的服务？
Hodak认为科学公司研发的视觉假体最终会发展成为大众市场，但它将是一种不同的基础技术，而非微型发光二极管。
直到第一版的科学之眼在病人身上安装前，没有更多的消息可以透露。
但Hodak认为，他们已经看到了一种方法，无需进行手术（meaningful surgery）即可创造出终极的 AR/VR 显示技术。
科学之眼似乎是一个比 Neuralink 更加具体和集中的工作。你在开发Neuralink的过程中学到了什么吗？
Hodak表示科学公司正在开发的技术方法与 Neuralink 所做的完全不同，科学之眼的视觉目标最终将会远远超出传统意义上的临床视觉修复。
彭博社(Bloomberg)上月报道称，科学公司(Science Corp)目前是资金第二充足的脑机接口企业。你认为投资者为什么会被你的作品所吸引？
Hodak认为，如果你是认真的，改装（engineering）大脑确实是一个非常卓越的目标。
一旦你意识到这存在一种可能性，你很难不被这种技术吸引，无论是作为一个经营者或开发团队，或作为一个投资者。
很明显，现在对于什么是真正可行的还存在很大的可信度障碍，但是如果你能想出如何做到这一点，潜在的好处是非常大的，所以Hodak认为在高水平上支持这一尝试是非常理性的。
对于电子发烧友来说，目前的VR/AR基本没有任何吸引力。「科学之眼」有什么不同，它的大众市场吸引力究竟是什么？
目前公开讨论的「科学之眼」还不是 AR/VR 设备，至少对于视力正常的人来说不是。
如果科学公司能让这项技术发挥作用，后续的设备可能会实现这一点，而且增强现实（VR）和虚拟现实（AR）是两码事。
虚拟现实的潜力是真实的而且是显而易见的，但这种优势很容易被忽略，因为目前来说就像是把手机绑在你的脸上，然后就只能走过咖啡桌什么的。



让一个人的视觉和听觉沉浸其中很容易，但是让他们的身体其他部分也沉浸其中也很困难，比如在现实中人们可以奔跑和跳跃，流畅地感受微风。
Hodak认为这将需要很多年的时间，而且可能很难转化为真正的消费设备。
对于增强现实技术来说，显而易见的是，AR是智能手机的逻辑结论。
苹果正在研发AR眼镜，Hodak怀疑它最终可能会取代 iPhone。
AR 不仅仅是一个悬浮在你视野中的屏幕: 为了让它真正身临其境，它必须在语义上意识到这个世界和你看到的东西。



Hodak认为苹果明白这一点，这也是他们在低功耗芯片机器学习上投入巨资的一个重要原因，因为 AR 真正困难的部分是在可穿戴设备上实时运行场景识别，尽管显示技术还有很长的路要走。
从长远来看，Hodak认为佩戴眼镜能带来的极致产品体验是有上限的。
如果有一种可以随着眼睛移动并且完全全景的技术，以及在闭上眼睛时也能使用的方法，那就有非常大的优势了，那些才是真正让人迷幻的产品。
尽管虚拟现实的概念仍然华而不实，但整体而言，Hodak对公司的发展轨迹表达了非常谨慎的看法。
目前，科学公司正专注于把自己的第一个产品推广到患者身上，一旦成功，或许这家创业公司将会把脑机接口带入新篇章。
参考资料：
https://futurism.com/the-byte/max-hodak-ultimate-vr-tech

往期回顾

基础知识
【CV知识点汇总与解析】|损失函数篇

【CV知识点汇总与解析】|激活函数篇

【CV知识点汇总与解析】| optimizer和学习率篇

【CV知识点汇总与解析】| 正则化篇
【CV知识点汇总与解析】| 参数初始化篇

【CV知识点汇总与解析】| 卷积和池化篇 （超多图警告）

【CV知识点汇总与解析】| 技术发展篇 (超详细！！！)


最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
NeurIPS 2022 | VideoMAE：南大&腾讯联合提出第一个视频版MAE框架，遮盖率达到90%
NeurIPS 2022 | 清华大学提出OrdinalCLIP，基于序数提示学习的语言引导有序回归

SlowFast Network：用于计算机视觉视频理解的双模CNN
WACV2022 | 一张图片只值五句话吗？UAB提出图像-文本匹配语义的新视角！
CVPR2022 | Attention机制是为了找最相关的item？中科大团队反其道而行之！
ECCV2022 Oral | SeqTR：一个简单而通用的 Visual Grounding网络
如何训练用于图像检索的Vision Transformer？Facebook研究员解决了这个问题！
ICLR22 Workshop | 用两个模型解决一个任务，意大利学者提出维基百科上的高效检索模型

See Finer, See More！腾讯&上交提出IVT，越看越精细，进行精细全面的跨模态对比！
MM2022｜兼具低级和高级表征，百度提出利用显式高级语义增强视频文本检索
MM2022 | 用StyleGAN进行数据增强，真的太好用了

MM2022 | 在特征空间中的多模态数据增强方法

ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者

ECCV2022｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT

CVPR2022|比VinVL快一万倍！人大提出交互协同的双流视觉语言预训练模型COTS，又快又好！

CVPR2022 Oral｜通过多尺度token聚合分流自注意力，代码已开源

CVPR Oral | 谷歌&斯坦福（李飞飞组）提出TIRG，用组合的文本和图像来进行图像检索

刘现锋

前排，哇咔咔

向着目标前行

有空一起交流一下