由粗到精技术从图像复制人体

Priyanka V.Thakare, Anil bender教授

天津理工大学工程学院CSE系技术硕士研究生管理，印度那格浦尔
天津理工大学工程学院信息技术与工程学院助理教授管理，印度那格浦尔

摘要

在计算机视觉中，图像分割是将数字图像分割成多个部分的过程，图像分割是一个具有挑战性的重要问题。随着计算机视觉研究人员越来越关注从给定的输入图像或视频中分割人类。对于不同的分割人类的方法，有不同的技术分类，即基于样本的，基于部分的，以及其他一些使用不同方法的方法，如形状先验(CRF,MRF)，从照片图像中分割人类的ACF。在范例方法中，首先创建范例池，然后将测试图像与范例或模型进行匹配。而基于零件的方法则是将候选零件集合起来进行复原。这两种方法都有一些缺点，因此开发了一些其他的方法来进行人体分割。本文提出了一种从彩色照片中自动恢复人体的简单框架，采用粗到细的策略，首先使用多层CT检测算法检测出粗糙的躯干(CT)，然后提取出准确的上半身区域。在此基础上，提出了一种迭代多重斜直方图算法来精确恢复人体运动学的下半身。

关键字

图切割，人体分割，多层粗躯干检测算法(MCTD)，多重斜直方图(MOH)。

我的介绍。

分割将图像划分为不同的区域，每个区域包含具有相似属性的像素。为了对图像分析和解释有意义和有用，这些区域应该与所描绘的物体或感兴趣的特征密切相关。图像分割通常用于定位图像中的对象和边界(直线、曲线等)。分割的目的是简化和/或改变图像的表示，使其更有意义，更容易分析。

图像分割的结果是一组共同覆盖整个图像的段，或从图像中提取的一组轮廓。区域中的每个像素在某些特征或计算属性(如颜色、强度或纹理)方面是相似的。相邻区域相对于相同的特征有显著的差异。图像分割是将标签分配给图像中的每个像素，使具有相同标签的像素具有某些共同特征的过程。图像分割是将图像分割成多个部分的过程。这通常用于识别数字图像中的对象或其他相关信息。

本文提出了一种鲁棒框架，将自顶向下的人体信息和低级视觉线索集成到图切框架中，从照片图像中恢复人体。对于人体分割，由于图像中存在头部、躯干和腿部等身体部位的多个区域，因此外观变化较大。在此方法中，我们将整个身体提取为两个子任务，即上半身和下半身分割。

本方案中构建前景图和背景图的一种常用方法，其中包含每个节点的似然项为前景/背景，分段平滑项表示同一区域内具有相同标签的像素。

2相关工作

静态图像中人体恢复的算法主要分为两类，即基于样本的方法和基于部分的方法。

A.基于范例的方法

首先构建样本池，然后将测试图像与样本或模型进行匹配。由于人体姿势是任意的，这就是为什么这些模型并不总是准确地分割人体。该方法很难推广到人体分割。它不能覆盖所有的姿势和外观变化的情况。

基于范例的方法由不同的研究者提出。

Kohli等人利用特定姿态的条件随机和简笔图进行分割，以及贝叶斯框架内的人体姿态估计，已成功用于三维人体姿态跟踪。与Kumar等人不同的是，这种方法不需要费力地学习样本。相反，我们使用一个简单的铰接式杆人模型，它与CRF一起用作我们的形状先验。实验结果表明，该模型能够保证如图1所示的类人分割。实验结果表明，随着CRF框架中信息量的增加，分割结果有了很大的改善。

图1:(a)原始图像。(b)被标记为前景/背景的像素的可能性之比(c)分割结果(d)处于最佳姿态的棍子人。(e)棍子人最佳姿态对应的形状先验。(f)使用所有能量项被标记为前景/背景的可能性之比(g)从我们的算法得到的分割结果，即姿态特定CRF能量的MAP解。

Lin et al.[2]提出了一种用于人体检测和分割的分层部分模板匹配方法。该方法通过分解全局形状模型，构建部分模板树，结合局部局部和全局模板的人体检测器，高效地对人体形状进行建模，如图2所示。将边缘与部分模板树进行有效匹配，确定一组可靠的人体检测假设。通过对零件检测的综合，实现了形状分割和姿态自动估计。在基于全局似然重估和精细遮挡分析的贝叶斯MAP框架下优化检测假设集。

Kumar等人使用一种新颖的分层图形结构模型表示铰接对象类别。非铰接对象类别使用如图3所示的一组范例进行建模。

这些模型的优点是可以处理较大的类内形状、外观和空间变化。因此，我们采用了一个有效的OBJCUT来获得分割使用我们的概率框架。OBJCUT通过结合以下两者提供可靠的分割:

(i)变形建模，对非铰接对象使用一组范例模型，对铰接对象使用LPS模型;而且

非铰接对象的结果显示为两类:香蕉和橙子。OBJCUT算法还在牛和马两种关节对象类别上进行了测试，如图4所示。

ACF-自适应轮廓特征提出了或人工检测和分割，但由于标记样本有限，人工分割的结果很粗糙。

提出了一种融合局部马尔可夫随机场和全局形状先验的交互式分割方法，同时估计分割和姿态。一些算法利用特定姿态的条件随机和简笔图进行分割，以及贝叶斯框架内的人体姿态估计，已经成功地应用于三维人体姿态跟踪。

通过这种方式，Kumar和Torr绘制了一个图像结构和马尔可夫随机场(mrf)，用于检测和分割特定对象的实例(例如，牛和马)，但具有有限的姿态变化。该方法的缺点是，由于人体姿态是任意的，且样本池无法覆盖人体姿态和外观变化的所有情况，这些模型无法准确地分割人体。

B.基于部分的方法

另一种从照片图像中分割人体的方法是基于部分的方法。不同的研究者提出了基于部分的方法。

Mori等人通过四种主要线索和标准化切割训练部分检测器，发现了突出的半肢和躯干。手分节的四肢用于训练。然而，标准化切割通常不能准确地分割半肢和躯干。本文提出的方法使用归一化分割算法将相似像素分组为区域

本文提出的方法使用归一化分割算法将相似像素分组为区域。图5(e)显示了40个区域的分割。身体的许多突出部位作为单独的区域突出，比如腿和小臂。此外，我们使用过度分割，如图5(f)所示，由大量小区域或“超级像素”组成，这已被证明可以保留真实图像中的几乎所有结构。这些分割极大地降低了后期分析阶段的复杂性，例如，从400K像素到200个超级像素。

这样我们就能从这些部位发现突出的上肢和下肢。同时，我们在样本的基础上检测潜在的头部和躯干位置，以检测躯干，为了检测头部，一些线索，轮廓，形状和焦点，被用来评估头部的得分。头部的形状模型是一个简单的圆盘，其比例由候选躯干决定。然后将这些部分组合成局部的身体结构，并通过强制执行服装的相对规模和对称性等全局约束来去除不可能的结构。

最后通过在超像素空间进行组合搜索，得到完整的局部结构，恢复全身结构。

图5.(a)原始图像(b)(c)不同尺度下的canny边缘(d) pb(边界概率)图像(e) k=40突出肢的归一化切割(f) 200超像素的“超像素”地图

因此，对于每一张测试图像，使用61张图像作为匹配样本。这种基于样本的躯干检测器的结果表明，这套样本无法应对不同球员之间的外观变化。

Ioffe等人演示了寻找人的概率方法。由于一个人的合理模型至少需要九个部分，由于巨大的组合复杂性，不可能检查每一组。我们提出两种方法来解决这个问题。其中一种方法是，通过使用分类器的投影版本来精简搜索，该分类器接受与人对应的组。我们描述了一种流行分类器的有效投影算法，并演示了我们的方法可以用于确定真实场景的图像是否包含人。

第二种方法采用概率框架，这样我们就可以绘制组件的样本，其概率与它们的可能性成正比，这使我们能够比非人类组件更经常地绘制类似人类的组件。主要的性能问题在于图像的分割，但两种方法在真实图像上的总体结果都是令人鼓舞的。

3算法

本文提出的算法如下图6所示。描述了算法的每一步

a.提出的算法描述:

该方法的目的是利用由粗到细的策略提取精确的人体区域，并利用该策略获得人体形状约束。算法由四个步骤组成。

步骤1:获取输入图像，进行人脸检测。

从数据集中选择一张图像，并执行一种算法来检测图像中的人脸。

要解决的基本问题是实现一种图像中人脸检测的算法。这很容易被人类解决。然而，与之形成鲜明对比的是，让计算机成功地解决这一任务是多么困难。为了简化任务，使用了一种算法，该算法将自己限制在正面直立人脸的全视图上。也就是说，为了被检测到，整个脸必须指向相机，它不应该倾斜到任何一侧。人脸检测算法使其成为一种好的检测算法的主要特点是:

•鲁棒性-非常高的检出率(真阳性率)和非常低的假阳性率。

•实时-对于实际应用，至少每秒必须处理2帧。

•人脸检测和不识别-目标是区分人脸和非人脸(人脸检测是识别过程的第一步)

第二步:正常化切割:

为了解决视觉中的感知分组问题，采用归一化切割方法提取图像的整体印象。

步骤3:上部分割:

利用多层粗躯干检测算法(MCTD)对头部附近的上半身进行分割，将归一化分割和全局边界概率(gPb)有效结合。

首先使用人脸检测方法从给定的图像中定位人脸。然后，通过分组归一化切割片段来检测粗躯干(CT)。一个像素明智的躯干，然后分割使用图形切割。躯干检测采用k-means聚类算法生成的主色。

CT检测

在该方案中，通常将归一化切割段按照不同的方向划分为一个躯干候选区域，并根据人脸先验生成边界框。在组合过程中，利用区域概率、位置概率和轮廓概率三种线索来选择CT的最佳候选。

MCTD:基于以上三个线索，使用MCTD算法可以估计CT。

给定一个边界盒区域Ri，首先找到与Ri离开头部区域重叠的所有段Si。对于Ri单位内的每个线段单元，我们计算区域和位置概率，可以将其视为局部信息

Pi,j = (APi,j)λ(LPi,j)1−λ

其中参数λ为加权项。越靠近边界盒区域的中心，该部分越可能是躯干的组成部分

然后，对所对应的段进行最佳分组

第i个边界盒区域及其反概率为

选择

CTi、k = CTi、k,ˆjA¯害怕一个½¯害怕一个½{ˆjA¯害怕害怕一个½¯½= arg马克斯ˆj (CPi, k,ˆj)}

CPi, k = CPi kˆjA¯害怕一个½¯害怕一个½{ˆjA¯害怕害怕一个½¯½= arg马克斯ˆ(CPi, k,ˆj)}

给定一个边界盒区域，不考虑头部区域，求出与边界盒区域重叠的所有线段。对于每个这样的段，计算区域和位置概率。越接近边界框区域的中心，该部分很可能是躯干的组成部分。在躯干区域添加一段后，计算轮廓概率，并重新计算轮廓概率，以约束粗躯干的无限增加。

步骤4:低分割:

基于迭代多重斜直方图(MOH)对下体进行分割。

下半身分割比上半身分割更具挑战性;因为腿的姿势是不可预测的。我们将下半身从场景中分离出来，因此分割的上半身可以设置为背景。采用迭代MOH算法得到了较好的结果。MOH用于描述粗下体的投影信息，可用于发现假阴性。MOH的每个bin表示粗段结果的多个线索:累积、跨度、线段数量、图/地在每条投影线上的边界点。累加是指在给定的bin中，将投影线划分为多个段的所有分割像素的数量;张成的空间定义为线段的长度。MOH可以获取缺失的部分，判断下体的完整性，用于更新Graph Cuts种子。

四、结果分析

数据集:我们收集了真实世界的照片图像，涵盖各种个人和外观，不同的姿势和照明。部分样本如下图a)背景包含评价b)重叠评价

五、结论与未来工作

针对静态照片图像中人体的自动恢复问题，提出了一种新的有效的精细分割方法。主要目的如下:

i)提出了一种基于分割的静态图像人体恢复框架。

ii)为了检测躯干，我们有MCTD。

iii)为了恢复下体分割，我们引入了一种鲁棒迭代MOH算法。

未来工作:

•处理可变人脸方向的算法，即使在一般人脸检测器无法检测到人脸的情况下。

参考文献

陆虎川，方国良，邵学龙，李雪龙(2012)，“基于粗到细方案的人脸图像分割，”IEEE Trans。系统。，Man, Cybern. B,Cybern.,Vol. 42, No. 3.
Z. Lin, L. S. Davis, D. S. Doermann，和D. DeMenthon，“分层部分模板匹配的人体检测和分割”，Proc.ICCV, 2007, pp. 1-8。
M. Kumar和P. Torr，“OBJCUT:使用自上而下和自下而上线索的有效分割”，IEEE Trans。模式肛门。马赫。智能。，vol. 32,no. 3, pp. 530–545, Mar. 2010
G. Mori, X. Ren, A. Efros和J. Malik，“恢复人体配置:结合分割和识别”，在CVPR程序，2004年，第326-333页。
X. Ren, A. C. Berg，和J. Malik，“利用部分之间的成对约束恢复人体配置”，在ICCV, 2005年，第2页。824 - 831
华国光，m.h。Yang和Y. Wu，“学习用数据驱动的信念传播估计人体姿势”，在CVPR, 2005年，第747-754页。
S. Ioffe和D. A. Forsyth，“寻找人的概率方法”，Int.J。第一版。页，第43卷，no. 31，页45-68,2001年6月。
高伟，艾h.s Lao，“面向颗粒空间的自适应轮廓特征的人体检测和分割”，Proc. CVPR, 2009,pp。1786 - 1793。
Z. Lin, L. Davis, D. Doermann，和D. DeMenthon，“一种基于姿态辅助和基于外观的人类分割的交互式方法”，在ICCV, 2007, pp. 1-8。
C. Chen和G. Fan，“综合姿态识别定位和分割的混合身体表示”，Proc. CVPR, 2008,pp。1 - 8。
P. Kohli, J. Rihan, M. Bray和P. Torr，“使用动态图切割的人类同步分割和姿态估计”，Int。j .第一版。粘度,卷。79年,没有。3，页285-298,2008年9月。