12月7日消息，索尼在STEF 2022技术交流会上展示了最新手势识别SDK：ToF AR。据悉，该SDK基于ToF深度传感器，目的是帮助VTuber更流畅的控制虚拟化身的手部运动。除了VTuber外，这项技术也可以用于游戏、AR等场景。
据青亭网了解，ToF又称飞行时间，它的原理是通过发射光、测量光反射/反弹所需的时间来获取深度信息。而ToF AR的原理是利用深度信息来捕捉手部特征，接着预测手的3D运动（位置、方向变化），并与虚拟化身同步。为了提升手势识别的准确性，该方案还结合了简单的AI处理流程。值得注意的是，ToF AR的优势是不受环境光、背景颜色等因素影响，不管是在明亮还是昏暗的场景，都可以捕捉手势运动。此外，它所需的数据量也比传统图像传感器更少，因此更省电、散热更少，适用于更广泛的手机规格。
ToF AR SDK理论上可以在任何配备深度传感器的手机上运行，并捕捉用户手部的位置、轮廓，将手部模型与背景分割，并在虚拟场景中重现手部的流畅运动。
未来，索尼计划继续扩展ToF AR的功能，比如3D空间识别等等。未来的潜在应用场景包括游戏、AR、通信社交、医疗、教育等等。
