多条件随机场模型的异常检测范文

《通信技术杂志》2014年第六期

1特征提取

采用基于Kinect获得的具有20个关节点的骨架模型，通过这20个关节点可以准确表达出人的行为，从这20个关节点中选取15个关键关节点处理得到角度、位置、速度三类特征。角度特征包含4个手臂角度特征、4个腿部角度特征和2个躯干角度特征，位置特征包含9个关键关节的位置特征，速度特征包含整体速度、2个腕关节的速度和2个踝关节的速度，这三类特征是表述人体行为的关键特征。例如，拳击(boxing)行为主要就是手部的运动，可以通过4个手臂角度特征、4个手臂关节位置特征和2个腕关节的速度特征与其他行为加以区分;逃逸(run)行为是人体整体的运动，与walk非常相似，但是与walk相比，相邻两帧间的角度特征变化较大，速度特征的大小也较大，通过这两个特征可以区分出run和walk。

1．1人体结构向量从Kinect获得的20个关节点中选取15个关键关节点(头节点A1、肩关节中心节点A2、两个肩关节A3和A4、两个肘关节A5和A6、两个腕关节A7和A8、臀部中心节点A9、两个髋关节A10和A11、两个膝关节A12和A13、两个踝关节A14和A15)，如图1所示。其中，手臂、腿部、躯干三部分向量组合得到向量间的角度特征，特殊向量通过求模、归一化得到位置特征。

1．2人体结构向量间的角度特征由于人体体型差异以及kinect与人体相对位置的不同，相同动作得到的人体结构向量也会有很大差异，不能作为归一化后的特征，所以要对人体结构向量进行进一步处理。当人做某一个动作时，人体结构变化基本一致，也就是说人体结构向量间的角度变化趋势基本一致，故可选择人体结构向量间的角度作为归一化后的特征。选取上面手臂、腿部、躯干的14个人体结构向量构成10个角度特征，包括三个部分10个角度特征:手臂角度特征{α1，α2，α3，α4}、腿部角度特征{β1，β2，β3，β4}、躯干角度特征{θ1，θ2}。角度特征定义如表2所示。

1．3人体关键关节的位置特征在某些情况下仅使用人体结构向量间的角度特征并不能描述行为的细节部分，例如拳击时，判断拳头与身体的相对位置，此时角度特征不能提供足够的信息，在这种情况下需要添加人体关键关节的位置特征来辅助角度特征。选取头节点、两个肘关节、两个腕关节、两个膝关节、两个踝关节作为关键关节。人体关键关节的位置特征即这9个关键关节点的位置信息:{d1，d2，d3，d4，d5，d6，d7，d8，d9}。以人体臀部中心节点为参考节点，人体关键关节的9个位置特征包括头节点与踝关节中点的距离d1和其他8个关键关节与参考节点的距离d2，d3，d4，d5，d6，d7，d8，d9，通过d1的大小可以判断人体是否处于站立状态(包括走、跑等站立状态动作)，而通过其他8个距离大小变化可以判断相应节点的运动状态。为了消除个体体型差异问题，将距离归一化处理(距离除以h)得到9个关键关节点的归一化距离，h表示人体处于站立状态时头节点A1到两个踝关节A14和A15的中点A16的距离。位置特征定义如表3所示。

1．4人体关键关节的速度特征在有了关键关节位置特征的辅助下，某些类似动作还是无法明显区分，如走和原地踏步，两种动作的角度特征变化与位置特征变化基本一致，这个时候区分两种动作就需要通过引入速度特征，原地踏步时人整体没有位移，速度为0;而走时人体是有位移的，速度不为0。由于相邻两帧时间差很小，故可以将相邻两帧的位移看做是第i帧的速度。通过整体速度特征可以判断人体整体的速度，利于区分原地动作和走、跑等非原地动作;通过手臂2个腕关节的速度特征可以判断人体手臂运动状态，利于识别拳击这种快速手臂运动的行为;通过腿部2个踝关节的速度特征可以判断人体腿部运动状态，利于识别走、跑这种腿部运动较多的动作。

2MCRF模型

假设y={yi，i=1，2，…，n}表示观测样本序列，yi是第i帧的观测数据，x={xi，i=1，2，…n}表示观测样本序列的标记。Lafferty等给出了条件随机场模型的数学表达式。

3异常行为检测

3．1异常行为异常行为定义为特殊环境下的某种特定行为，如拳击，逃逸，在地铁出口处反向进入，取款机处徘徊等等，训练的样本行为共有6种:bend，boxing，wave1(挥左手)，wave2(挥右手)，walk，run。将其中的2种:boxing(拳击)和run(逃逸)定义为异常行为，其他4种行为定义为正常行为。

3．2异常行为检测对训练样本进行训练得到MCRF模型参数，在获得模型参数后，测试视频序列经过MCRF模型推断得到一组观测序列的最大可能标记，通过这组标记序列判断这组测试视频序列的行为，为此需要设置一个阈值p=80%。当测试序列的某一类标记所占比重pi≥p时，认定这组测试序列是第i种行为，i=1，2，3，4，5，6对应bend，boxing，wave1，wave2，walk，run这6种行为。当i=2，6时，即测试序列行为表示boxing和run行为时，认定这组测试序列是异常行为。

4实验结果与分析

实验平台为PC机，CPU为Inter双核T8100，主频2．1GHz，内存2．0GB，操作系统为windowXP，32位。主要函数采用C++、matlab编程，并在mat-lab2011b环境下对其调用。实验数据来自kinect拍摄，包括6种行为:bend，boxing，wave1，wave2，walk，run。每种行为包括10个人的视频样本，每个人每种行为做20次，总共1200段视频序列，其中1000段视频序列作为训练数据，剩下200段视频序列作为测试数据，这200段测试视频序列包含有4种正常行为和2种异常行为(boxing和run)。实验结果由表5可知，基于MCRF的异常行为检测的6种行为中，bend检测率最高为99．5%，boxing检测率为96．5%，wave1检测率为98．6%，wave2检测率为96．6%，walk和run的检测率相比较而言比较低，为93．1%和94．1%。由于walk和run行为动作比较接近，故walk和run的检测率与其他行为相比较低。表6给出了基于MCRF的异常行为检测方法与其他方法检测率的比较，其中文献［11］中采用的HMM模型不能联系上下文、限制特征的选择，检测率为92．5%。文献［12－13］所用特征均为2D特征，不包含深度信息，无法解决遮挡问题，检测率分别为91．7%和94．17%。基于MCRF模型的异常行为检测方法采用的是由骨架数据处理得到的3D特征，模型采用的是MCRF模型，具有融合多特征和联系上下文信息的优势，检测率高于以上方法，对特定行为的平均检测率达到了96．4%，对异常行为boxing(拳击)和run(逃逸)的平均检测率达到了95．3%。

5结语

文中提出一种基于多条件随机场模型(MCRF)的异常行为检测方法，MCRF模型具有融合多特征和联系上下文信息的优势。通过Kinect获得的3D骨架数据，经过特征提取得到角度、位置、速度三类特征，形成多类特征子集，利用基本的CRF模型对每一类特征子集建模，形成多个CRF单元，然后组合所有的CRF单元，得到MCRF模型，最后利用MCRF模型进行异常行为检测。实验结果表明具有较高的检测率，达到了96．4%。基于MCRF的异常行为检测方法只能识别单个人的行为，而不能识别多人交互的行为(如两人拳击对打等)以及群体的行为(如火灾逃生等)，如何识别多人交互和群体行为是下一步的研究方向。

作者：叶璐郭立刘皓单位：中国科学技术大学电子科学与技术系 中国科学技术大学物理系