智能监控领域研究的主要内容和难题分析

智能监控领域研究的主要内容和难题分析

研究内容

智能监控系统——手机视频监控报警系统是安防进入民用化领域的一套智能系统，该系统集成了手机监控与手机防盗报警两大系统 ，当有非法人员闯入禁区防区或者火灾煤气泄漏等紧急情况时，系统主机会第一时间给指定用户拨打电话及发送短信或email！用户收到电话短信时可以第一时间用手机或者电脑查看监控区域的画面。消除了传统监控系统马后炮及传统报警系统误报出警的顾虑！该系统集成了无线门磁、无线烟感等无线报警配件信息，有效的提高了监控系统民用化的特性。深圳市凯特科技有限公司是专业从事手机视频监控产品，该产品的配套手机软件即凯特守护神能与视频监控及家庭报警联动至手机短信或电话中。该产品也是一款智能家居安防监控防盗系统：该系统系网络但无需电脑即可独立完成！本地存储器24小时录像，异地可通过上网手机或电脑可观看及操作家中所有监控画面。系统自带无线报警模块，可匹配无线门磁、探头、烟感器等无线报警触发设备，当有人闯入监控防区，系统会自动打电话、发短信、邮件给指定的4位手机用户，同时本地会产生声光警笛。远程用户收到警情电话、信息后可以通过上网手机或电脑查看监控画面情况，并通过手机控制摄像机旋转角度及焦距、报警系统布防撤防，同时启动手机录像功能并处理警情。

环境建模

要进行场景的视觉监控，环境模型的动态创建和更新是必不可少的。在摄像机静止的条件下，环境建模的工作是从一个动态图像序列中获取并自动更新背景模型。其中 为关键的问题在于怎样消除场景中的各种干扰因素，如光照变化、阴影、摇动的窗帘、闪烁的屏幕、缓慢移动的人体以及新加入的或被移走的物体等的影响。

运动检测

运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

目标分类

对于人体监控系统而言，在得到了运动区域的信息之后，下面一个重要的问题就是如何将人体目标从所有运动目标中分类出来。不同的运动区域可能对应于不同的运动目标，比如一个室外监控摄像机所捕捉的序列图像中除了有人以外，还可能包含宠物、车辆、飞鸟、摇动的植物等运动物体。为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是完全必要的。但是，在已经知道场景中仅仅存在人的运动时(比如在室内环境下)，这个步骤就不是必需的了。

人体跟踪

人体的跟踪可以有两种含义，一种是在二维图像坐标系下的跟踪，一种是在三维空间坐标系下的跟踪。前者是指在二维图像中，建立运动区域和运动人体(或人体的某部分)的对应关系，并在一个连续的图像序列中维持这个对应关系。从运动检测得到的一般是人的投影，要进行跟踪首先要给需要跟踪的对象建立一个模型。对象模型可以是整个人体，这时形状、颜色、位置、速度、步态等等都是可以利用的信息；也可以是人体的一部分如上臂、头部或手掌等，这时需要对这些部分单独进行建模。建模之后，将运动检测到的投影匹配到这个模型上去。一旦匹配工作完成，我们就得到了 终有用的人体信息，跟踪过程也就完成了。

数据融合

采用多个摄像机可以增加视频监控系统的视野和功能。由于不同类型摄像机的功能和适用场合不一样，常常需要把多种摄像机的数据融合在一起。在需要恢复三维信息和立体视觉的场合，也需要将多个摄像机的图像进行综合处理。此外，多个摄像机也有利于解决遮挡问题。

行为理解

事件检测、行为的理解和描述属于智能监控高层次的内容。它主要是对人的运动模式进行分析和识别，并用自然语言等加以描述。相比而言，以前大多数的研究都集中在运动检测和人的跟踪等底层视觉问题上，这方面的研究较少。近年来关于这方面的研究越来越多，逐渐成为热点之一。

研究现状

智能监控具有广泛的应用前景和潜在的经济价值，从而激发了世界上广大科研工作者及相关人士的浓厚兴趣，尤其在美国、英国等国家已经开展了大量相关项目的研究。例如，1997年美国国防高级研究项目署(DefenseAdvancedResearchProjeCtSAgency)设立了视觉监控重大项目VSAM主要研究用于战场及普通民用场景进行监控的自动视频理解技术。实时视觉监控系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为。英国的雷丁大学(UniversityofReading)己开展了对车辆和行人的跟踪及其交互作用识别的相关研究;国际上很多权威期刊将智能监控中人的运动分析研究作为主题内容之一，为该领域的研究人员提供了更多的交流机会。

在我国，这方面的研究近几年才开展起来的。中国科学院自动化研究所模式识别国家重点实验室己经成立智能视觉监控研究组，开展这方面的研究，目标是实现一个动态场景集成分析演示系统并 终推向实用。第一届全国智能视觉监控学术会议于2002年5月25一26日在北京市西郊宾馆成功举行。国内有一些视频监控方面的产品，如Anychat、黄金眼、行者猫王等，应用于交通控制，监狱管理等方面。另外，国内产品还有数字硬盘录像系统(DVR)，将监控区域内有运动对象出现的情况录制下来，以备查询，该系统只是简单的检测出有无运动对象，而没有对运动对象做任何分析。

由于国内的研究起步较晚，技术还不够完善，开发出的产品距离智能化还有一定差距，在实际的应用中，受到很多限制，还有待于进一步的完善。

研究难点

尽管在智能监控领域已经取得了一定的进展，但是在以下几个方面仍是今后研究的难点问题。

运动分割

快速准确的运动分割是个相当重要又是比较困难的一个问题。这是由于动态环境中捕捉的图像受到多方面的影像，比如天气的变化，光照条件的变化，背景的混乱干扰，运动目标的影子，物体之间或者物体与环境之间的遮挡，以及摄像机的运动等。这些都给准确有效的运动分割带来了困难，以运动目标的影子为例，他可能与被检测目标的相连，也可能与目标分离，在前者情况下，影子扭曲了目标的形状，从而使得以后基于形状和基于状态空间模型的方法定义每个静态姿势作为一个状态，这些状态之间通过的识别方法不再可靠;在后者情况下，影子有可能被误认为为场景中一个完全错误的目标。尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何具有自适应性的复杂环境中动态变化的背景模型仍是相当困难的问题。一个可喜的发展是，一些研究者们正利用时空统计的方法构建自适应的背景模型，这对于不受限环境中的运动分割而言是个更好的选择。

遮挡处理

目前，大部分智能监控系统都不能很好地解决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难处理。遮挡时，人体只有部分是可见的，而且这个过程一般是随机的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。另外，一般系统也不能完成何时停止和重新开始身体部分的跟踪，即遮挡前后的跟踪初始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信息中进行人体姿势、位置等的预测;不过，对于解决遮挡问题 有实际意义的潜在方法应该是基于多摄像机的跟踪系统。

建模与跟踪

二维方法在早期智能监控系统中证明是很成功的，尤其对于那些不需要精确的姿势恢复或低图像分辨率的应用场合(如交通监控中的行人跟踪)。二维跟踪有着简单快速的优点，主要的缺点是受摄像机角度的限制。而三维方法在不受限的复杂的人的运动判断(如人的徘徊、握手与跳舞等)、更加准确的物理空间的表达、遮挡的准确预测和处理等方面的优点是用于行为识别;同时，三维恢复对于虚拟现实中的应用也是必需的。目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少，且大部分系统由于要求鲁棒性而引入了简化的约束条件。三维跟踪也导致了从图像中人体模型的获取、遮挡处理、人体参数化建模、摄像机的标定等一系列难题。以建模为例，人体模型通常使用许多形状参数所表达。然而，目前的模型很少利用了关节的角度约束和人体部分的动态特性;而且过去的一些工作几乎都假设3 D模型依据先验条件而提前被指定，实际上这些形状参数应当从图像中估计出来。总之，3 D建模与跟踪在未来工作中应值得更多的关注。

摄像机的使用

使用单一摄像机的三维人的跟踪研究还很缺乏，身体姿势和运动在单一视角下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个不同的方向视角以用于解决遮挡问题。很明显，未来的智能监控系统将极大受益于多摄像机的使用。对于多摄像机跟踪系统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信息融合是一个比较重要的问题。

性能评估

一般而言，鲁棒性、准确度、速度是智能监控系统的三个基本要求。例如，系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地工作，因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感;系统的准确度对于控制应用特别重要，例如基于行为或姿势识别的接口控制场合;而系统的处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的问题。同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的实时性、鲁棒性亦相当重要。