借助机器学习技术 研究人员将单声道音频转为

外星人 2023-03-24 12:18www.nkfx.cn外星人事件

德克萨斯大学奥斯汀分校,刚刚携手 Facebook 人工智能研究员,开发出了一套基于机器学习技术的“单声道音频转换”技术。 其能够分析视频中场景,转换出更加令人感到震撼的“2.5D 视觉立体声”。显然,这项技术很适合将普通单声道音频,更好地运用到虚拟现实(VR)头戴式、带来更出色的沉浸式体验。

人类之所以能感知到 3D 空间的立体声,得益于双耳的独特结构。基于声音传播的时差,大脑才能够确定物体的距离和位置。这种 3D 音频体验,可以通过模拟双耳的立体声设备来录制和复现。

遗憾的是,大多数音频都是单声道格式的(录制时就只使用了单个麦克风)。虽然日常生活中已经“够用”,但它并不适合 VR 等追求沉浸式体验的应用场景。

2.5D Visual Sound( via )

有鉴于此,将单声道音频转换成双声道,就变得很有必要。好消息是,研究人员 Ruohan Gao 和 Kristen Grauman,已经找到了一种相当接近的方法。

该方法依赖于 视频 ,在深度学习技术的加持下,通过分析画面中各个物体的空间位置,即可转换出更加立体的 2.5D 音频。

当然,这项方法也存在着一定的限制,尤其是存在一些让 AI 无法理解的对象的时候。感兴趣的朋友,可以观看上面这段演示视频。

[编译自: SlashGear ]

【来源:Beta.COM】

Copyright © 2016-2025 www.nkfx.cn 趣谈网 版权所有 Power by