近年來,人體運動視覺分析成為計算機視覺領域備受關注的前沿方向。人體運動視覺分析是從包含人體的圖像序列中檢測、識別、跟蹤人體以及獲取運動參數,進一步對人的行為解釋和描述。它屬於圖像分析和理解的範疇,其研究內容涉及計算機視覺、模式識別、圖像處理、人工智能和人體運動學等方麵,是一個跨多學科的研究課題。
運動人體檢測和跟蹤是人體運動視覺分析的一個重要組成部分,有著廣泛的前景和經濟價值。它在視頻監控、虛擬會議、人機交互、臨床診斷、教育訓練、虛擬現實等方麵的應用都引起了廣大科研人員和相關商家的濃厚興趣,例如在銀行、商場、軍事基地等對安防要求較高的場合,實時的視覺監控將有重要意義;在zai智zhi能neng控kong製zhi方fang麵mian,可ke以yi通tong過guo對dui人ren臉lian識shi別bie和he表biao情qing分fen析xi以yi及ji手shou勢shi識shi別bie等deng更geng好hao的de實shi現xian人ren機ji交jiao互hu。另ling一yi方fang麵mian,運yun動dong人ren體ti檢jian測ce與yu跟gen蹤zong算suan法fa的de實shi現xian可ke以yi節jie它ta是shi從cong圖tu像xiang序xu列lie中zhong提ti取qu並bing描miao述shu人ren體ti輪lun廓kuo的de運yun動dong,然ran後hou進jin行xing跟gen蹤zong,更geng高gao級ji的de處chu理li是shi對dui人ren的de行xing為wei進jin行xing識shi別bie和he理li解jie。
rentiyundongmubiaojianceshizaishurutuxiangzhongquedingyundongrentideguocheng,shizhenggerentiyundongfenxixitongdediyibufen,yundongmubiaojiancedemudeshijiangyundongrentibufencongtuxiangzhongtiquchulai,nengfouzhengquedifenliyundongrentishizhenggexitongchengbaideguanjian。yundongmubiaojianceyouyundongwutifengeheyundongwutifenleiliangbufenzucheng。
運動物體的分割
運動物體的分割就是把圖像中的運動部分,比如汽車、行人等分離出來,因為隻有運動的部分才是能夠跟蹤的部分。運動部分的分割常常受到光線變化、影子和遮擋等因素的影響。因此選用一種穩定可靠的分割方法是很重要的。常用的分割方法有以下幾種。
(1)背景減法。在運動檢測中,背景減法(Background Subtraction)shiyizhongchangyongdejishu,youqishiduiyujingtaichangjing。tashouxianjianlibeijingmoxingzuoweicankaotuxiang,tongguojianghanyouyundongwutidetuxiangyushixiantongguobeijingmoxingdedaodebeijingtuxiangxiangjiandedaoyundongbufen。
(2)統計方法。統計學方法是基於像素的統計特性從背景中提取運動信息。它首先計算背景像素的統計信息(顏色、灰度、邊界等),使(shi)用(yong)個(ge)體(ti)的(de)像(xiang)素(su)或(huo)一(yi)組(zu)像(xiang)素(su)的(de)特(te)征(zheng)來(lai)建(jian)立(li)一(yi)個(ge)較(jiao)為(wei)高(gao)級(ji)的(de)背(bei)景(jing)模(mo)型(xing),而(er)且(qie)背(bei)景(jing)的(de)統(tong)計(ji)值(zhi)可(ke)以(yi)動(dong)態(tai)地(di)更(geng)新(xin)。通(tong)過(guo)對(dui)比(bi)當(dang)前(qian)背(bei)景(jing)模(mo)型(xing)的(de)統(tong)計(ji)值(zhi),圖(tu)像(xiang)中(zhong)每(mei)一(yi)個(ge)像(xiang)素(su)被(bei)分(fen)成(cheng)前(qian)景(jing)或(huo)是(shi)背(bei)景(jing)。由(you)於(yu)統(tong)計(ji)學(xue)方(fang)法(fa)在(zai)噪(zao)聲(sheng),影(ying)子(zi)光(guang)線(xian)改(gai)變(bian)等(deng)於(yu)擾(rao)條(tiao)件(jian)下(xia)具(ju)有(you)較(jiao)好(hao)的(de)魯(lu)棒(bang)性(xing),已(yi)經(jing)成(cheng)為(wei)研(yan)究(jiu)熱(re)點(dian)。
(3)幀間差分法。幀間差分法(Temporal Differencing)shizaituxiangxuliezhongtongguoxianglinliangzhenhuozhesanzhentuxiangxiangsucha,tiquyundongquyudeyundongmubiaojiancefangfa。zhenjianchafenduiguangxiandengbianhuabutaimingan,duidongtaihuanjingjuyouhenqiangdezishiyingxing,jianceyouxiaowending。gaifangfadebuzuzhichushiyibanbunengtiqusuoyouxiangguandetezhengxiangsudian,zaiyundongshitineibukenenghuichanshengkongdongxianxiang。tebieshidangmubiaoyidonghuanmanshi,xianglinliangzhenzhijiandechayihenxiao,hennantiquchuzhenggeyundongquyu,jishitiqudequyuyenanyiwanzhengjingquedimiaoshuyundongmubiao。
(4)光流法。光流是圖像中各像素點運動的速度分布,它是一種瞬時速度場,即向量場, 每一個向量表示了景物中一個點在圖像中位置的瞬時變化。光流法
(Optical Flow)是(shi)利(li)用(yong)運(yun)動(dong)目(mu)標(biao)在(zai)序(xu)列(lie)圖(tu)像(xiang)中(zhong)的(de)位(wei)置(zhi)隨(sui)時(shi)間(jian)變(bian)化(hua)的(de)光(guang)流(liu)特(te)性(xing),用(yong)來(lai)描(miao)述(shu)相(xiang)鄰(lin)幀(zhen)之(zhi)間(jian)某(mou)像(xiang)素(su)點(dian)的(de)運(yun)動(dong),通(tong)過(guo)計(ji)算(suan)運(yun)動(dong)物(wu)體(ti)在(zai)幀(zhen)間(jian)的(de)運(yun)動(dong)向(xiang)量(liang)來(lai)檢(jian)測(ce)運(yun)動(dong)區(qu)域(yu)。在(zai)比(bi)較(jiao)理(li)想(xiang)的(de)情(qing)況(kuang)下(xia),光(guang)流(liu)法(fa)在(zai)攝(she)像(xiang)機(ji)運(yun)動(dong)的(de)條(tiao)件(jian)下(xia)能(neng)檢(jian)測(ce)到(dao)獨(du)立(li)的(de)運(yun)動(dong)目(mu)標(biao),不(bu)需(xu)要(yao)預(yu)先(xian)知(zhi)道(dao)場(chang)景(jing)的(de)任(ren)何(he)信(xin)息(xi),可(ke)以(yi)很(hen)精(jing)確(que)地(di)計(ji)算(suan)出(chu)運(yun)動(dong)物(wu)體(ti)的(de)速(su)度(du)。但(dan)計(ji)算(suan)方(fang)法(fa)複(fu)雜(za),對(dui)硬(ying)件(jian)要(yao)求(qiu)比(bi)較(jiao)高(gao),可(ke)靠(kao)性(xing)差(cha),對(dui)噪(zao)聲(sheng)敏(min)感(gan),難(nan)於(yu)應(ying)用(yong)在(zai)實(shi)時(shi)的(de)視(shi)頻(pin)流(liu)處(chu)理(li)中(zhong)。
運動物體分類
由運動分割得到的不同運動部分可能屬於不同種類的運動物體,比如人體視頻監控係統得到的運動部分就可能包括飛行的鳥、飄piao動dong的de雲yun和he晃huang動dong的de樹shu等deng,要yao從cong中zhong提ti取qu人ren體ti就jiu要yao進jin行xing運yun動dong物wu體ti分fen類lei,把ba人ren從cong運yun動dong物wu體ti中zhong識shi別bie出chu來lai。隻zhi有you正zheng確que地di識shi別bie出chu人ren體ti才cai能neng進jin行xing下xia一yi步bu的de運yun動dong跟gen蹤zong工gong作zuo,以yi及ji後hou續xu的de人ren體ti行xing為wei理li解jie,所suo以yi運yun動dong物wu體ti的de分fen類lei是shi非fei常chang必bi要yao的de。一yi般ban可ke用yong形xing態tai學xue方fang法fa進jin行xing處chu理li,考kao慮lv運yun動dong目mu標biao的de分fen散san度du、麵積、輪廓、高寬比等有關形態方麵的參數,來區分人以外的運動目標,通過這些方法甚至可以去除部分噪聲的影響。目前分類有兩種:
(1)基ji於yu人ren體ti特te征zheng分fen類lei。人ren不bu管guan外wai形xing特te征zheng還hai是shi皮pi膚fu顏yan色se都dou是shi明ming顯xian的de,所suo以yi人ren的de分fen類lei可ke以yi采cai取qu多duo種zhong方fang法fa。基ji於yu形xing狀zhuang的de分fen類lei是shi利li用yong檢jian測ce出chu來lai的de運yun動dong區qu域yu的de形xing狀zhuang特te征zheng信xin息xi來lai進jin行xing物wu體ti分fen類lei的de。通tong過guo檢jian測ce模mo塊kuai得de到dao一yi個ge二er值zhi化hua的de前qian景jing圖tu像xiang,對dui這zhe個ge前qian景jing圖tu像xiang進jin行xing橫heng向xiang和he縱zong向xiang的de投tou影ying可ke以yi得de到dao橫heng向xiang和he縱zong向xiang的de長chang度du比bi,通tong常chang稱cheng之zhi為wei“寬高比”。通過多個人的樣本訓練可以得到一般人體的“寬高比",這個“寬高比"作為人體特有的特征,可以用於確定檢測出的運動目標是否為人體。這個人體特有的特征也可以是人體的“麵積",它指的是在通過檢測模塊得到二值化的圖像中人體所占像素的多少,通過麵積的比較,可以除去一般情況下麵積較大的運動的汽車、動物、yijibaidongdeshuye。lingwaideyixieshuyurentiteyoudetezhenghaikeyishirendepifuyanse,yincikeyitongguoshibierenlianluoludepifulaiquedingshifouyourendecunzai,zhetongchangxuyaozaisecaikongjianruRGB空間、HIS空間或YUV空間來進行檢測與識別。
(2)基(ji)於(yu)運(yun)動(dong)的(de)分(fen)類(lei)。人(ren)體(ti)運(yun)動(dong)是(shi)非(fei)剛(gang)體(ti)運(yun)動(dong),並(bing)呈(cheng)現(xian)一(yi)定(ding)的(de)周(zhou)期(qi)性(xing),這(zhe)種(zhong)周(zhou)期(qi)性(xing)可(ke)以(yi)作(zuo)為(wei)區(qu)分(fen)運(yun)動(dong)人(ren)體(ti)的(de)重(zhong)要(yao)依(yi)據(ju)。一(yi)種(zhong)方(fang)案(an)對(dui)於(yu)這(zhe)種(zhong)周(zhou)期(qi)性(xing)的(de)運(yun)動(dong)進(jin)行(xing)時(shi)頻(pin)分(fen)析(xi),利(li)用(yong)人(ren)體(ti)運(yun)動(dong)周(zhou)期(qi)性(xing)出(chu)現(xian)的(de)自(zi)相(xiang)似(si)性(xing)來(lai)實(shi)現(xian)分(fen)類(lei);還有方案將此方法與光流法結合,根據殘留的大小來實現分類。
運動目標跟蹤
運(yun)動(dong)目(mu)標(biao)跟(gen)蹤(zong)也(ye)是(shi)計(ji)算(suan)機(ji)視(shi)覺(jiao)領(ling)域(yu)的(de)重(zhong)要(yao)內(nei)容(rong),它(ta)利(li)用(yong)運(yun)動(dong)目(mu)標(biao)分(fen)割(ge)的(de)結(jie)果(guo),又(you)為(wei)運(yun)動(dong)的(de)分(fen)析(xi)理(li)解(jie)等(deng)高(gao)級(ji)內(nei)容(rong)提(ti)供(gong)基(ji)礎(chu)。跟(gen)蹤(zong)的(de)目(mu)的(de)是(shi)在(zai)幀(zhen)與(yu)幀(zhen)之(zhi)間(jian)建(jian)立(li)人(ren)體(ti)運(yun)動(dong)目(mu)標(biao)的(de)某(mou)些(xie)特(te)征(zheng),若(ruo)位(wei)置(zhi)、速度、形狀、紋理和顏色等之間的聯係。目前常用的跟蹤方案有以下4種.
(1)基ji於yu模mo型xing的de跟gen蹤zong。基ji於yu模mo型xing的de人ren運yun動dong跟gen蹤zong方fang法fa首shou先xian預yu定ding義yi一yi個ge模mo型xing,然ran後hou再zai將jiang實shi際ji運yun動dong與yu該gai模mo型xing匹pi配pei。模mo型xing通tong常chang由you關guan節jie和he線xian條tiao骨gu架jia組zu成cheng,用yong軸zhou來lai表biao示shi狀zhuang態tai空kong間jian中zhong的de關guan節jie自zi由you度du,用yong狀zhuang態tai空kong間jian來lai描miao述shu姿zi態tai。其qi原yuan理li是shi先xian預yu測ce下xia一yi圖tu像xiang的de姿zi態tai再zai將jiang這zhe一yi預yu測ce模mo型xing分fen析xi、合成、抽chou象xiang然ran後hou與yu真zhen實shi圖tu像xiang數shu據ju比bi較jiao,直zhi到dao找zhao到dao最zui匹pi配pei的de模mo型xing,並bing且qie更geng新xin係xi統tong模mo型xing。人ren體ti的de幾ji何he模mo型xing有you簡jian單dan到dao複fu雜za可ke以yi建jian立li為wei棍gun狀zhuang模mo型xing,二er維wei邊bian界jie模mo型xing和he三san維wei立li體ti模mo型xing,建jian立li模mo型xing之zhi後hou就jiu可ke以yi通tong過guo將jiang運yun動dong物wu體ti與yu模mo型xing對dui比bi從cong而er實shi現xian跟gen蹤zong。由you棍gun狀zhuang模mo型xing到dao二er維wei邊bian界jie模mo型xing,再zai到dao三san維wei立li體ti模mo型xing,所suo實shi現xian的de跟gen蹤zong精jing度du越yue來lai越yue高gao,但dan計ji算suan量liang也ye在zai增zeng大da。
(2)基(ji)於(yu)區(qu)域(yu)的(de)跟(gen)蹤(zong)。區(qu)域(yu)跟(gen)蹤(zong)思(si)想(xiang)是(shi)把(ba)每(mei)個(ge)運(yun)動(dong)物(wu)體(ti)與(yu)某(mou)個(ge)運(yun)動(dong)區(qu)域(yu)聯(lian)係(xi)起(qi)來(lai),然(ran)後(hou)對(dui)該(gai)區(qu)域(yu)進(jin)行(xing)跟(gen)蹤(zong)。區(qu)域(yu)跟(gen)蹤(zong)實(shi)現(xian)較(jiao)為(wei)簡(jian)單(dan),在(zai)許(xu)多(duo)係(xi)統(tong)中(zhong)有(you)廣(guang)泛(fan)應(ying)用(yong),但(dan)在(zai)兩(liang)種(zhong)情(qing)況(kuang)下(xia)有(you)很(hen)大(da)困(kun)難(nan),一(yi)是(shi)人(ren)體(ti)存(cun)在(zai)較(jiao)長(chang)影(ying)子(zi),二(er)是(shi)人(ren)體(ti)有(you)重(zhong)疊(die)交(jiao)錯(cuo)現(xian)象(xiang)。
(3)基於動態邊界跟蹤。動態邊界模型又叫snake,能夠表示不斷變化的運動人體的邊界。該方案計算量小,但是要求獨立準確的初始化邊界,實際中很難實現。
(4)基於特征的跟蹤。 它包括特征提取和特征匹配兩個基本過程。該方法通過跟蹤目標的特征點、特征線來實現對人的跟蹤,通常還需要結合紋理、色彩及形狀 特(te)征(zheng)來(lai)提(ti)高(gao)跟(gen)蹤(zong)的(de)魯(lu)棒(bang)性(xing)。盡(jin)管(guan)對(dui)目(mu)標(biao)跟(gen)蹤(zong)的(de)算(suan)法(fa)可(ke)以(yi)粗(cu)略(lve)地(di)分(fen)為(wei)上(shang)述(shu)幾(ji)類(lei),但(dan)是(shi)這(zhe)些(xie)方(fang)法(fa)並(bing)不(bu)是(shi)孤(gu)立(li)沒(mei)有(you)聯(lian)係(xi)的(de)。在(zai)進(jin)行(xing)目(mu)標(biao)跟(gen)蹤(zong)時(shi),為(wei)了(le)保(bao)證(zheng)跟(gen)蹤(zong)的(de)可(ke)靠(kao)性(xing)和(he)準(zhun)確(que)性(xing),往(wang)往(wang)幾(ji)種(zhong)算(suan)法(fa)混(hun)合(he)才(cai)能(neng)得(de)到(dao)更(geng)好(hao)的(de)跟(gen)蹤(zong)效(xiao)果(guo)。這(zhe)種(zhong)方(fang)法(fa)在(zai)被(bei)跟(gen)蹤(zong)目(mu)標(biao)出(chu)現(xian)遮(zhe)擋(dang)交(jiao)錯(cuo)等(deng)現(xian)象(xiang)時(shi)仍(reng)能(neng)實(shi)現(xian)較(jiao)為(wei)準(zhun)確(que)的(de)跟(gen)蹤(zong)。