一种新的光学运动捕捉数据处理方法.doc

一种新的光学运动捕捉数据处理方法New approach of capture data processing for optical motion WU Sheng ZHANG Qiang XIAO Bo-xiang WEI Xiao-peng (Liaoning Key Laboratory of Intelligent Information Processing Dalian University Dalian Liaoning 116622 China ) Abstract:This paper presented a scattered data processing method for passive optical human motion capture. This approach was based on the overall information of optical human motion capture scattered data. According to piecewise linear model of different modules determined the matching priority of each module data and fitting function of every section. Furthermore predicted and tracked 3D motion data overall point level. At the same time removed noise data. For missing data on the movement provided a fitting algorithm for the missing motion data. The computer simulations illustrate that the data processing is in real-time and need no manual works. Key words：optical motion capture; modules denoise algorithm; piecewise linear model; Newton interpolation algorithm 伴随着CG产业的飞速发展，运动捕捉技术日趋成熟,已经成为目前广泛使用的能够真实再现运动物体运动细节的技术。该技术正越来越多地应用于影视、动画、游戏、体育训练、医疗、机械制造、机器人控制中。人体运动捕捉从原理上可以分为机械式、声学式、电磁式和光学式1,2。光学运动捕获是较为精确的一种，在人体关键点（一般选取关节点）贴上一些特制的标志点（称为marker），视觉系统将识别和处理这些标志。系统定标后，由几组摄像机连续拍摄表演者的动作，并将图像序列保存下来；然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，拍摄速率一般要达到60 fps以上。光学运动捕捉系统的关键技术有摄像机标定、标记点跟踪和三维重建。利用光学式捕捉的原始运动数据有四个特点：a)采集到的信息仅有marker点的三维坐标信息，数据以散乱无序（没有被标定）的形式存在；b)由于标记点被道具、四肢、躯干或者其他标记点遮挡，存在缺失点数据，缺失点时常会连续缺失；c)由于摄像延迟会出现噪声点；d)运动员在做剧烈运动时，marker点相对于人体会出现位移，从而改变运动数据之间的拓扑结构。因此数据后续处理运算复杂度较高，如何剔除噪声点，弥补缺失点对运动数据进行有序标定，并满足实时性要求是光学运动散乱数据处理的核心内容。 近年来许多专家学者在这方面进行了研究。 Xiao等人3利用预定义人体物理特征，以能量最小化为主函数和物理约束来降低噪声，使动画由粗糙到精练。黄波士等人4提出利用先验数据准确跟踪标记点的算法。Silaghi等人5提出基于骨架结构匹配的处理方法，取得了良好效果。Schwartz等人6提出一种用marker点来推导各关节点的算法，使运动数据驱动出的动作更精确。黄海明等人7提出一种关节中心判定算法，利用marker点来求关节点。Liu等人8利用分段线性PCA技术对缺失点进行估测，把统计学理论引入运动数据处理中，得到了较好的结果。Müller等人9提出运动模板和运动分类技术用于动作捕捉数据的检索也给出一些启发。本文提出基于模块的分段线性模型，有效解决了仅用传统的刚体匹配方法和前后帧之间的局部联系所造成的失配和误差累积问题。本方法利用运动数据全局信息，在跟踪匹配过程中自动调整误差参数，在处理过程中无须手工干预自动完成，且单帧数据处理耗时满足运动捕捉的实时性要求。 1 人体运动捕捉标记点的摆放原理与方法 运动捕捉的目的是准确捕捉演员的动作，能够反映出具体的运动细节，并有利于后期的运动 数据处理。 1.1 标记点的摆放原理 为了能够体现出动作的精确性，在布点时应该遵循以下三点原则： a)标记点必须覆盖所有需要捕捉的骨骼；b) 标记点需反映出骨骼的自由度；c) 标记点需尽可能与骨骼运动一致。 为了提高后期运动数据处理的效率，避免缺点现象和标记点的错误交换等，在布点时应该遵循以下三点原则：a)摆放在不易被遮挡的地方；b)标记点间距离大小不一；c)相关标记点间形成规则的几何图形。 1.2 标记点的摆放方法 基于以上原理，本文的标记点摆放方法描述如下：将人体模型分为16刚体，即头部、上躯干、下躯干、骨盆、左上臂、左前臂、左手、左大腿、左小腿、左脚、右上臂、右前臂、右手、右大腿、右小腿、右脚 由32个标记点描绘，基本上表达了人体的运动变化。其marker点标记方式如图1所示。本文所述方法针对被动式光学运动捕捉系统，数据采集设备为大连东锐软件有限公司自主研发的DVMC-8820运动捕捉系统，数据采集现场环绕布置32台摄像机，采集频率为60 fps。表演者为专业舞蹈演员，演员身体关键部位和关节处放置marker点，在摄像机可见范围内表演一系列具有代表性的动作。 2 数据处理 由于光学运动捕获系统采集的数据是以散乱的形式存在，除三维数据的坐标值外不包含任何其他信息，而此类系统的故有缺陷使其捕捉的运动数据还会出现大量噪声点和缺失点。要想精确地完成运动数据的有序标定，必须有效充分地挖掘运动数据间的关联信息。运动数据的拓扑结构和前后帧间的局部联系都给运动数据的预测和跟踪带来重要信息，但仅仅运用这些局部信息可能导致运动数据的失配和误差累积，从而跟踪失败，有时需要手工进行参数调整。探索运动数据的全局规律，引用归纳总结方法学，动态地对运动数据进行描述，将更有利于提高运动数据跟踪的精度。为此本文提出基于模块分段线性模型的人体运动数据处理算法，在整个运动数据跟踪的过程中，该算法会根据运动变化趋势和运动幅度，自动调整各匹配参数，避免了误差累积现象并有效地解决了失配问题。 2.1 人体生理结构分块模型 图1为根据标记点的摆放和人体骨架的连接。本文按照在拓扑结构上相近和在生理结构上相关的原则，把一些联系比较紧密的骨骼进行组合。例如在腰部前后排放四个标记点组成近等腰梯形；在头部上方排放四个标记点组成近正方形；在手腕和手指部排放四个标记点组成四边形；肩部两边的标记点和颈部下方前后的两个标记点组成近平行四边形；胸部前后的两标记点和颈部下方前后的两个标记点组成近正方形；膝部和同侧腰部的两个标记点组成三角形，脚踝和脚趾部组成四面体结构。图2为根据人体生理结构把人体骨架拆分为七大模块。2.2 模块去噪算法 由于表演场地的光照变化和定标相机的延迟，会产生噪声点。噪声点的存在影响marker点的跟踪效率和精度。如何合理精确地剔除噪声点，成为光学运动捕捉数据处理的首要任务。剔除噪声点需要解决两个问题：a)在一个产生噪声点的marker点的小邻域内有几个点时，如何选择其中之一作为精确的marker点？b)由于运动数据中存在marker点交叉现象，在一个产生噪声点的marker点的小邻域内有可能存在其他marker点，如何避免剔除其他marker点？基于此提出模块去噪思想：根据上面提到的分块模型，从几何学上考虑这些模块在运动过程中应该保持一致的几何结构，当一个点存在噪声点时，如果采用噪声点代替作为需标定的marker点定会破坏该模块的几何结构，所以当存在噪声点时，通过选择能够与模板更加匹配的那个点为待标定的marker点，其他点删除。以腰部模块为例，如图3所示。避免问题b)的方法是：从标记点的摆放和人体运动特点来看，交叉的方式一般为手部模块与其他模块的交叉，其他模块相互交叉的现象很少，即在删除其他幻点时看该模块是否与手部模块相交，如相交则判断那些幻点是否是手部模块的组成部分；如不是就删除(图4)。算法结束。 需要补充的是，上面的模块去噪算法是在各模块得以匹配的情况下进行，可以在运动数据跟踪算法前进行。当出现模块中缺点而模块上的其他点有噪声点时，在运动数据预测与跟踪过程中的补点算法完成后再进行上面的模块去噪算法，达到去噪目的。经过模块去噪算法处理后，剩余数据点一般每帧保持在32个数据点左右，表明大多数噪声点被剔除。 2.3 模块分段线性模型 整体上观察人体运动特征，能够得到一些有利于运动数据处理的规律。描述如下： a)人体运动系统由骨、骨连接和骨骼肌通过运动关节组成，运动中各骨骼的长度和形状是不变的，身体各部分通过关节联系在一起，在神经系统的调节和其他系统的配合下相互驱动形成运动。各关节点有自己的自由度数并且在运动中子节点受动于父节点，也就是人体运动学原理。利用这一约束原理有助于进行模块匹配和处理算法后期的结构校验。 b)在运动过程中，各模块的动作幅度、变化速度不尽相同，有些模块变化不大，有些模块变化幅度大，在整个过程中呈现一定的规律。例如拳击运动、招手运动等，手部和臂部变化比较大，且在局部时间内变化向量速度均衡，而其他模块变化不大，同样的有踢腿运动、上楼梯运动和体操等一些复杂的运动。对于这些，分模块归纳统计出不同模块在不同阶段的变化趋势，对于数据跟踪就有十分重大的意义。 以手部模块为例来介绍模块分段线性模型流程图（图5）及详细步骤： a)手部模块为基本固定的四边形，可以依据其边长和对角线长在运动过程中不变为约束条件进行形状匹配，把每一帧中这样的模块都找到，如没有则不计，说明是缺点所致。对其四点坐标求平均值，用一个二维数组来记录，横轴表示帧t，纵轴分别表示当前帧相对于前一帧在x、y、z方向上的偏移量。 b)以连续的5帧为一个时间段（可根据需求调节，实验结果5帧比较好，在这个段内运动变化不大），首先检查此5帧数据中是否有明显偏离较大的帧，如有则认为是在匹配中的误配现象，去除之；然后求出剩余帧的平均变化位移，依次求得并保存于数组a中,横轴表示第几段的编号，纵轴表示变化速度、首帧与末帧的向量和相对于上一时间段的方向改变角度。 c)从首段开始，依次比较相邻段的记录，如相似则合并，反之设标志位表示一趋势段。相似的条件为：变化速度相差小于一定值；运动方向平滑（在实际中可认为夹角小于90°）。 d)如两段能合并，修改数组a，当前项的横轴不变，纵轴变化的速度改为两段的平均值，首帧不变，末帧改为后一段的末帧值。由于当前两项合二为一，数组后部依次前移，直到查询到数组末尾，结束合并查询。 e)对每一模块进行以上四步处理，最终统计结果可用一张二维表来描述，以便用于运动数据的预测和跟踪。 本文以一组表演运动数据为例，图6给出对该组表演动作进行模块分段线性算法后得到的手部（a）和腰部（b）模块变化特征结果图，粗线框和细线框相间表示相邻段不相容的归类情况。从图6观察，分段统计结果基本上能反映出运动数据的空间位置及向量变化规律，从而可根据各段信息为约束条件进行运动数据预测跟踪。 2.4 基于模块分段线性模型的运动数据预测与跟踪算法 在进行刚性匹配或进行基于人体运动学原理的标记点跟踪时，会出现以下问题：由于没有其他约束条件，在进行匹配时为了取得匹配成功会加大误差系数，而且误差系数一旦设定对于自动匹配的程序来说将不再改变，从而导致可能有多个匹配结果；由于遮挡等原因，会出现缺点现象，如何合理地补点成为问题。基于模块特征统计算法，会在提高精度和利用已匹配的统计结果分段拟合出曲线方程，利用曲线方程进行缺点插值将很合理。模块分段归纳统计算法另一个优势在于，归纳结果按照分模块进行，在进行运动数据预测与跟踪时可以根据模块在时间轴上的变化幅度设定匹配优先度，幅度小者先匹配。当然每帧匹配后要进行结构校验。以下给出本算法的流程图（图7）及详细步骤。 a)调用模块去噪算法，进行运动数据跟踪前的降噪处理。 b)依据各模块的分段统计信息，按各模块的变化幅度由低到高进行排序。对于每一帧数据，从变化幅度低的模块开始进行模块匹配（匹配方法是利用几何特征，如连线边长、对角线长度等特征进行组合匹配）。如匹配成功，对运动数据进行标记，并从原始数据中把已标记的运动数据删除；如匹配失败，转到步骤c）。 c)如没有匹配成功，说明是缺点所致。本文利用当前特征数组段的信息记录数据进行Newton插值，算出缺点坐标。Newton插值公式的表述：设f(x)在互异的节点x0,x1,xn上的函数值为f0,f1,fn，且x0,x1,xn都在区间a,b内，则对于区间a,b内的一点x对应的Newton插值函数为 f(x)=f(x0)+nk=1fx0,x1,xkk-1j=0(x-xj) 插值函数所得到的结果是模块的中心坐标,记为A，事实上要的是模块上各标记点的三维坐标。从中心坐标还原成各标记点坐标的方法是：把上一帧得到匹配的该模块的中心坐标平移到A，平移矩阵为B,那么上一帧该模块上的各标记点通过矩阵B的平移作用后得到的点坐标即为所求当前模块各标记点的三维坐标。 如果在本数组段的信息记录数据过少（很可能是连续缺点所致），利用Newton插值函数求出的预测点误差较大，将辅助一些其他的约束条件（模块拆分匹配、动力学约束等）进行预测跟踪。 d)当每个模块都得以预测和跟踪后，进行结构校验。结构校验是对匹配或追踪的结果进行检验，分全局和局部两个方面的检验。全局方面，根据2.2节所述的特征点标定方式，模板对应结构和关节进行距离检测，满足距离误差范围的认为跟踪正确；否则认为跟踪错误。局部方面，进行身体左右侧检验，如双手和双脚的匹配矫正。 3 系统实现及示例 为验证以上所提方法的可行性，自主开发了被动式光学运动捕捉数据处理系统，系统基于VC+开发平台和OpenGL图形库，系统界面如图8所示。图9为利用本文所提算法并经过优化后对一组光学捕捉散乱运动进行数据处理的界面，分别显示散乱数据和对应的处理结果。 运用本文所提方法，该系统对不同复杂度的捕捉数据进行处理，处理结果显示准确处理率根据动作复杂度不同分布在70%100%，如表1所示。对于一般交叉较少运动幅度变化不是很大的常规数据匹配成功率能达到90%以上；对于运动数据缺点比较多而且运动幅度很大的运动，成功定标率在80%左右。本算法抗噪能力强，且不存在跟丢现象。系统开发及运行测试平台为兼容PC机，处理器为P4 3.0GHz，内存512 MB，Windows XP操作系统。