传统上，运动捕捉(记录人们的动作的过程)需要特殊的设备，摄像头和软件。但是马克斯·普朗克研究所和Facebook现实实验室的研究人员声称，他们已经开发了一种机器学习算法PhysCap，该算法可与任何以每秒25帧的速度运行的现成DSLR相机配合使用。在佩普- [R预计将发表在杂志上的图形ACM交易在十一月到2020年，球队的细节是什么，他们说的是实时的先河，实际可行的3D动作捕捉的是占像地板放置环境的制约。PhysCap表面上可以在现有基准上达到最先进的准确性，并在训练时定性提高稳定性。
运动捕捉是现代电影，游戏和应用程序开发的核心部分。尝试使运动捕捉适用于业余摄像师的尝试，范围从2500美元的套装到利用Microsoft的深度感应Kinect的可商用框架。但是这些都不是完美的-即使是最好的人体姿势估计系统也难以产生流畅的动画，产生不平衡，不正确的身体倾斜以及其他不稳定物体的3D模型。另一方面，据报道，PhysCap可以捕获符合物理约束的物理和解剖上正确的姿势。
在第一阶段，PhysCap通过卷积神经网络(CNN)以纯运动学方式估算3D人体姿势，该网络可从视频中推断出2D和3D关节的组合位置。经过一些改进后，第二阶段开始，第二个CNN预测每帧的脚接触和运动状态。(此CNN会检测到脚后跟和前脚在地面上的位置，并将观察到的姿势分类为“固定”或“非固定”类别。)在最后阶段，再现了第一阶段(在2D和3D中)的运动姿势估计。尽可能地考虑重力，碰撞和脚的放置。
在实验中，研究人员在一台Sony DSC-RX0摄像机和一台具有32GB RAM的PC，GeForce RTX 2070图形卡和八核Ryzen7处理器上测试了PhysCap，他们用来捕获和处理场景中的六个运动序列由两位表演者表演。该研究的合著者发现，尽管PhysCap在具有不同背景的场景中获得了很好的概括，但有时会错误地预测了脚的接触并因此错误地预测了脚速。随之而来的其他限制是场景中需要经过校准的地板平面和地面平面，研究人员指出，在户外很难找到这些平面。
为了解决这些局限性，该小组计划研究在坐姿和斜躺姿势下模拟场景交互和人的腿与身体之间的接触的模型。研究人员写道：“由于PhysCap的输出具有环境意识，并且返回的根位置是全局的，因此它直接适用于虚拟角色动画，而无需任何进一步的后处理。”“在这里，角色动画，虚拟现实和增强现实，远程呈现或人机交互中的应用只是对图形非常重要的几个例子。”
