基本原理是在图像序列相邻的两帧或者三帧采用基于像素的时间差分通过阈值化来提取图像中的运动区域。首先，将相邻帧图像对应像素值相减，然后对差分图像二值化。在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阈值时，可以认为（主观经验）此处为背景像素；如果对应像素值变化很大，可以认为这是有运动物体引起的，将这些区域标记为前景像素 ，利用标记的像素区域可以确定运动目标在图像中的位置。优点：相邻两帧的时间间隔很短，用前一帧图像作为后一帧图像的背景模型具备较好的实时性，其背景不积累，更新速度快，算法计算量小。缺点：阈值选择相当关键，阈值过低，则不足以抑制背景噪声，容易将其误检测为运动目标；阈值过高，则容易漏检，将有用的运动信息忽略掉了。另外，当运动目标面积较大，颜色一致时，容易在目标内部产生空洞，无法完整地提取运动目标。

光流法的主要任务是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。光流法不需要预先知道场景的任何信息，就能够检测运动对象，可处理运动背景的情况，但噪声多、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响；而且光流法计算复杂，很难实现实时处理。

减背景法是一种有效的运动目标检测算法，其基本思想是背景的参数模型来近似背景图像的像素值，将当前帧与背景模型进行差分比较实现对运动目标区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域则被认为是背景区域。背景减除法必须要有背景图像，并且背景图像要随着光照和外部环境的变化而实时更新，因此背景减除法关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，研究人员已经提出许多背景建模算法，总的来讲可以概括为非回归递推两类。非回归递推背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型的线性滤波器、Elgammal等提出的利用一段时间的历史数据来计算背景像素密度的非参数模型等。回归算法无需维持保存背景估计帧的缓冲区，它们是通过回归的方式基于输入的每一帧图像来更新某个时刻的背景模型。这类方法包括广泛应用的线性卡尔曼滤波法、Stauffer与Grimson提出的混合高斯模型。

大多数跟踪算法的执行顺序遵循预测-检测-匹配-更新四个步骤。以前一帧目标位置和运动模型为基础，预测当前帧中目标的可能位置。在可能位置处候选区域的特征和初始特征进行匹配，通过优化匹配准则来选择最好的匹配，其相应目标区域即为目标在本帧的位置。除了更新步骤，其余三个步骤一般在一个迭代中完成。预测步骤主要是基于目标的运动模型，运动模型可以是简单的常速平移运动到复杂的曲线运动。检测步骤是在目标区域通过相应的图像处理技术获得特征值，形成待匹配模板。匹配步骤是选择最佳的待匹配模板，它所在的区域即是目标在当前帧的位置。一般以对目标表象变化所作的一些合理假设为基础，常用的方法是候选特征与初始特征的互相关系数最小。更新步骤是对初始模板的更新，这是因为在跟踪过程中目标的姿态、场景等会发生变化，模板更新由利于跟踪的持续进行。根据匹配采用的属性不同，可将目标跟踪算法分为四类：基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪以及基于模型的跟踪，也可以将这几类方法相互结合用于目标跟踪。

基于区域的目标跟踪时通过人为选定或图像分割获得的目标模板，然后在序列图像中计算目标模板与候选模板的相似程度，运动相关算法来确定当前图像中目标的具体位置从而实现跟踪目标。用模板匹配做跟踪，其出发点就是对图像的外部特征直接做匹配运算，与初始选定的区域匹配程度最高的就是目标区域。选择何种特征作为匹配运算的对象一直是人们研究的热点，对灰度图像可以采用基于纹理和特征的相关；对彩色图像可以采用基于颜色的相关。常用的基于区域匹配的跟踪算法有差方和法、颜色法、形状法等，这些算法还可以结合线性预测或卡尔曼滤波提高目标跟踪的精度。基于区域匹配相关的算法用到了目标的全局信息，具有较高的可信度，当目标未被遮挡时，跟踪稳定。主要缺点是计算量大，当搜索区域较大时尤为严重；另外，算法要求目标形变不大、无严重遮挡，否则匹配运算精度下降会造成目标的丢失。对基于区域的跟踪方法关注较多的是如何解决目标运动变化带来的模板更新，实现稳定跟踪。

基于特征的目标跟踪通常利用先验信息或加入某些约束来解决，如假设相邻帧图像中的特征点在运动形式上的变化不大，并以此为约束条件建立特征点对应关系。该算法包括特征点的提取和匹配两个过程，一般也采用相关算法。不同于基于区域的跟踪算法使用目标整体进行相关运算，基于特征的跟踪只使用目标的某个或某些局部特征。这种算法的优点是当目标被遮挡时，只要有部分特征有效，就可以实现目标的跟踪。同样，这种方法也可结合卡尔曼滤波器使用提高跟踪效果。其难点在于，目标跟踪过程中因旋转、遮挡、形变等原因可能会导致部分特征消失、新的特征出现的情况，如何对特征集进行取舍与更新以保证跟踪的准确。常用的图像底层特征包括质心、边缘、轮廓、角点和纹理等。

边缘时指其周围像素由灰度的阶跃变化或屋顶状变化的像素的集合或强度值突然变化的像素点的集合，边缘对于运动很敏感，对灰度的变化不敏感。角点有很好的定位性能，对部分的遮挡有很好的鲁棒性。这些特征的提取比较容易，运算量小，但不是很稳健，因为采用的特征太少无法保证跟踪的精度；而特征过多又会降低系统效率，且容易产生错误匹配。在特征提取时，一般采用Canny算子获得目标的边缘特征，采用SUSAN算子获得目标的角点信息，然后在不同图像上进行相关匹配寻找特征的对应关系。已有的基于特征的跟踪方法多数对噪声比较敏感，除图像配准外，这些方法很少投入实际应用

变形模板是纹理或边缘可以按一定限制条件变形的面板或曲线。由于大多数跟踪目标存在非刚性的特点，而变形模板有着良好的性能和极好的弹性，通过方向及方向的变形与真实目标相适应，所以被广泛应用于目标检索或跟踪领域。常用的变形模板是有Kass等提出的主动轮廓模型，又称为Snake模型。它通过对目标轮廓建立参数化描述，将各种成像形变定义为能量函数，通过对能量函数的优化达到轮廓匹配的目的。采用卡尔曼滤波器控制模型的位置和大小，在其附近寻找局部最小能去的更好地跟踪效果。Snake模型非常适合单个可变形目标的跟踪，对于多目标的跟踪一般是采用基于水平集方法的主动轮廓模型。基于变形模板的跟踪算法采用局部变形模板可以很好地跟踪局部变形的目标，再有部分遮挡存在的情况下也能连续地进行跟踪，但是着这种方法缺乏预测机制而无法跟踪快速运动的目标。此外，它易受到噪声的干扰且目标外轮廓的初始化也比较困难。

上述三种方法都是基于二维平面上的跟踪，由于没有用到运动目标的完整信息，无法对其进行精确地描述。如果能将目标的三维模型构建出来，利用三维模型先验信息来跟踪目标，跟踪的鲁棒性将会大大提高。基于模型的跟踪方法的基本思想是由先验知识获得目标的三维结构模型和运动模型，根据序列图像确定出目标的三维模型参数，进而得到其瞬时运动参数。

1982年Gennery最早提出了基于三维模型的跟踪方法。VISATRAM系统简化了三维模型估计，用长方体模型来跟踪车辆，获得运动车辆的速度和尺寸。对人体进行跟踪通常有三种形式的模型，即线图模型。二维模型和三维模型，在实际应用中更多的是采用三维模型。

Hu等人对基于模型的跟踪算法进行了综述。这类方法可以精确分析目标的三维运动轨迹，即使在运动目标姿态变化、发生部分遮挡的情况下，也能够可靠地跟踪。其缺点在于，运动分析的精度取决于几何模型的精度，建立目标三维模型需要大量参数，模型匹配的过程也较为复杂，并且跟踪算法往往需要大量的运算时间。因此，基于模型的跟踪适合少量的、特定类型的目标跟踪，如人体跟踪、脸部跟踪或某种车型的跟踪等。

行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。

视觉监控的主要目的，是从一组包含人的图像序列中检测、识别、跟踪人体，并对其行为进行理解和描述。大体上这个过程可分为底层视觉模块(low-levelvision)、数据融合模块(intermediate-level vision)和高层视觉模块(high-levelvision)。

其中，底层视觉模块主要包括运动检测、目标跟踪等运动分析方法；数据融合模块主要解决多摄像机数据进行融合处理问题；高层视觉模块主要包括目标的识别，以及有关于运动信息的语义理解与描述等。

如何使系统自适应于环境，是场景建模以及更新的核心问题。有了场景模型，就可以进行运动检测，然后对检测到的运动区域进行目标分类与跟踪。接下来是多摄像机数据融合问题。最后一步是事件检测和事件理解与描述。通过对前面处理得到的人体运动信息进行分析及理解，最终给出我们需要的语义数据。下面对其基本处理过程做进一步的说明。

要进行场景的视觉监控，环境模型的动态创建和更新是必不可少的。在摄像机静止的条件下，环境建模的工作是从一个动态图像序列中获取并自动更新背景模型。其中最为关键的问题在于怎样消除场景中的各种干扰因素，如光照变化、阴影、摇动的窗帘、闪烁的屏幕、缓慢移动的人体以及新加入的或被移走的物体等的影响。

运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

对于人体监控系统而言，在得到了运动区域的信息之后，下面一个重要的问题就是如何将人体目标从所有运动目标中分类出来。不同的运动区域可能对应于不同的运动目标，比如一个室外监控摄像机所捕捉的序列图像中除了有人以外，还可能包含宠物、车辆、飞鸟、摇动的植物等运动物体。为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是完全必要的。但是，在已经知道场景中仅仅存在人的运动时(比如在室内环境下)，这个步骤就不是必需的了。

人体的跟踪可以有两种含义，一种是在二维图像坐标系下的跟踪，一种是在三维空间坐标系下的跟踪。前者是指在二维图像中，建立运动区域和运动人体(或人体的某部分)的对应关系，并在一个连续的图像序列中维持这个对应关系。从运动检测得到的一般是人的投影，要进行跟踪首先要给需要跟踪的对象建立一个模型。对象模型可以是整个人体，这时形状、颜色、位置、速度、步态等等都是可以利用的信息；也可以是人体的一部分如上臂、头部或手掌等，这时需要对这些部分单独进行建模。建模之后，将运动检测到的投影匹配到这个模型上去。一旦匹配工作完成，我们就得到了最终有用的人体信息，跟踪过程也就完成了。

采用多个摄像机可以增加视频监控系统的视野和功能。由于不同类型摄像机的功能和适用场合不一样，常常需要把多种摄像机的数据融合在一起。在需要恢复三维信息和立体视觉的场合，也需要将多个摄像机的图像进行综合处理。此外，多个摄像机也有利于解决遮挡问题。

事件检测、行为的理解和描述属于智能监控高层次的内容。它主要是对人的运动模式进行分析和识别，并用自然语言等加以描述。相比而言，以前大多数的研究都集中在运动检测和人的跟踪等底层视觉问题上，这方面的研究较少。近年来关于这方面的研究越来越多，逐渐成为热点之一。

实际环境中光照变化、目标运动复杂性、遮挡、目标与背景颜色相似、杂乱背景等都会增加目标检测与跟踪算法设计的难度，其难点问题主要在以下几个方面：

光照变化引起目标颜色与背景颜色的变化，可能造成虚假检测与错误跟踪。采用不同的色彩空间可以减轻光照变化对算法的影响，但无法完全消除其影响；场景中前景目标与背景的相互转换，与行李的放下、拿起，车辆的启动与停止；目标语背景颜色相似时会影响目标检测与跟踪的效果；目标阴影与背景颜色存在差别通常被检测为前景，这给运动目标的分割与特征提取带来困难。

序列图像中包含大量可用于目标跟踪的特征信息，如目标的运动、颜色、边缘以及纹理等。但目标的特征信息一般是时变的，选取合适的特征信息保证跟踪的有效性比较困难。

遮挡是目标跟踪中必须解决的难点问题。运动目标被部分或完全遮挡，又或是多个目标相互遮挡时，目标部分不可见回造成目标信息缺失，影响跟踪的稳定性。为了减少遮挡带来的歧义性问题，必须正确处理遮挡时特征与目标间的对应关系。大多数系统一般是通过统计方法预测目标的位置、尺度等，都不能很好地处理较严重的遮挡问题。

序列图像包含大量信息，要保证目标跟踪的实时性要求，必须选择计算量小的算法。鲁棒性是目标跟踪的另一个重要性能，提高算法的鲁棒性就是要使算法对复杂背景、光照变化和遮挡等情况有较强的适应性，而这又要以复杂的运算为代价。