深度解析依圖行為識別的AI技術(shù)

江湖三十年鏖戰(zhàn)，AI即出，多方勢力涌入讓這個世界重新異彩紛呈，也經(jīng)歷了新一輪洗牌。
在這場戰(zhàn)役中留下姓名的企業(yè)，皆因技術(shù)、產(chǎn)品、服務(wù)等硬實力，成為了行業(yè)中的佼佼者。
在同樣起跑線，有些企業(yè)總是能獨占鰲頭，以不卑不亢的姿態(tài)，成為“別人家的孩子”。
AI獨角獸依圖也是這樣一位“別人家的孩子”。
最近，在國際權(quán)威機構(gòu)ACMMM（ACMMM’20GrandChallenge）主辦的“大規(guī)模復(fù)雜場景下人體視頻解析”挑戰(zhàn)賽（Large-scaleHuman-centricVideoAnalysisinComplexEvents）的核心賽道——行為識別中，依圖科技再奪一冠。
ACMMM被認為是多媒體技術(shù)領(lǐng)域奧運級別的頂級盛會，也是中國計算機學會（CCF）認證和多媒體研究領(lǐng)域評級中唯一的A類國際頂級會議。此次挑戰(zhàn)賽集結(jié)了國內(nèi)外約100支參賽隊伍，包括亞馬遜、大華、騰訊、中山大學等知名企業(yè)和院校。
同時，此次競賽是該方向最接近真實場景的大規(guī)模挑戰(zhàn)賽，主要基于各類人群和復(fù)雜事件（如地震逃生、食堂用餐、下火車等）來分析人的行為，包括多人追蹤、姿態(tài)估計、姿態(tài)追蹤、行為識別等四大任務(wù)；目的在于考察算法在復(fù)雜場景下對人體的解析能力,鼓勵研究者在以人為中心的分析中解決非常具有挑戰(zhàn)性和現(xiàn)實的問題。
更為關(guān)鍵的一點是，與其他舉辦過多次的國際競賽不同，作為首屆競賽，參賽隊伍在賽前無法了解識別的類別、數(shù)據(jù)集的大小和識別的具體需求，也就是說,對即將面對的行為類別、數(shù)據(jù)模型、比賽需求一無所知，這意味著沒有經(jīng)驗可借鑒，沒有路徑可學習。依圖是如何在短短兩個月的挑戰(zhàn)時間內(nèi)，實現(xiàn)最優(yōu)的算法性能，拿下世界第一？
挑戰(zhàn)不可能
顧名思義，大規(guī)模復(fù)雜場景挑戰(zhàn)賽必然需要大規(guī)模和復(fù)雜場景。大規(guī)模即豐富的場景、大額的數(shù)據(jù)量（一般情況下，100萬以上的數(shù)據(jù)量在學術(shù)界會被稱為大規(guī)模）。
作為首屆比賽，HiEve數(shù)據(jù)集標注超100萬個，內(nèi)容以真實視頻場景為主，囊括了當前姿態(tài)數(shù)量最多的數(shù)據(jù)集。其中,有超56000個復(fù)雜事件下的人體行為，包括但不限于排隊、打架、俯身、同行、跑動等；平均軌跡長度超過480，是軌跡數(shù)量最多的數(shù)據(jù)集之一。
結(jié)合到比賽的具體任務(wù)而言，行為識別，簡單場景指的是一個視頻里只分析一個行為的主體；復(fù)雜場景指的是視頻里有多個人，在密集、擁擠的場景下，分析的行為還需要包含人和人之間的互動。
1）數(shù)據(jù)量大，但有效數(shù)據(jù)少
比賽中，考察的行為種類非常多，且每種行為可以有多種表達方式，例如出拳、拉扯、扇巴掌等都屬于打架，而訓(xùn)練集很難覆蓋所有可能的組合。
雖然數(shù)據(jù)總量達到100萬，但由于視頻數(shù)據(jù)幀之間的相似性很高,包含了大量冗余數(shù)據(jù)。這些數(shù)據(jù)對算法提升泛化性的作用有限。如果去除這些極為相似的連續(xù)幀冗余數(shù)據(jù)，整個訓(xùn)練數(shù)據(jù)中的數(shù)據(jù)也只有幾萬個，僅僅覆蓋20個左右的視頻場景。這意味著有效的數(shù)據(jù)且測試分布一致的數(shù)據(jù)量并不多,極大的增加了泛化難度。
換句話說，在訓(xùn)練過程中，大量測試的場景，并沒有被算法系統(tǒng)直接學習過。這就需要算法具備強大的泛化性能，讓算法學會“舉一反三”
2）場景復(fù)雜
此外，場景的復(fù)雜性無法一言以概。例如，攝像頭的拍攝質(zhì)量(清晰、抖動、模糊、扭曲)不一,不同場景的布局不同(例如：商場、走廊、馬路、大廳、餐廳、公園等),場景光線受到室內(nèi)、室外、晴天、陰天的影響也比較大；甚至還存在攝像頭俯拍、平拍、斜拍各個角度的差異、人體框的大小和遠近不同、乃至人之間(人與物之間)還會經(jīng)常發(fā)生相互遮擋。
解決了算法的泛化能力問題，克服了場景的復(fù)雜性，還有其他待解難題。
3）行為差異大
要知道，實際中行為分析是非常復(fù)雜的。即使是同一類行為，在不同時刻、不同場景也具有很大差異性。比如不同的人在不同時刻行走，速度、姿態(tài)和場景遮擋都會不同?；蛘咄恍袨榫哂卸喾N不同的表現(xiàn)形式，比如單“打架”一個行為，可能包含踢人、扇耳光、拉扯等不同形式。

在多人場景甚至是密集場景下，除了要準確識別個人行為，還要標出人與人之間的互動，需要對每個人，在任何一個時間點上，給出此刻的行為判斷。
4）連續(xù)動作和長時間動作捕捉難
通俗的說，讀懂一個動作，需要長期、連續(xù)跟進，還需要結(jié)合上下文，才能做“閱讀理解”。這就需要同時具備時間和空間的感知能力，準確的捕捉到人在前幾秒每幀的動作,并集合時間上動作發(fā)生的變化推測出行為。
以“揮拳”為例，整個過程經(jīng)歷了開始的靠近階段、揮動拳腳的高潮階段以及結(jié)束階段。只有結(jié)合了人體每個時刻的姿態(tài)，才能更準確地判別出動作。

更重要的是，需要在短短兩個月的時間內(nèi)解決以上問題并奪冠，做到世界第一，沒有極其深厚的技術(shù)積累、行業(yè)經(jīng)驗以及快速解決問題的能力，難之又難。
算法“鑿山”，算力“開路”，解鎖智能未來
當然，也有一些業(yè)界人士毫不諱言：相較于人臉領(lǐng)域這種算法流程已經(jīng)相對確定、算法框架的技術(shù)水準也趨于穩(wěn)定的成熟領(lǐng)域而言，行為識別，尤其是人的行為識別，還處于學術(shù)界的摸索階段，正因如此，很可能成為AI界的下一掘金地。
學術(shù)界的探索意味著沒有多少前人指路，依圖能在囊括如此復(fù)雜難題的行為識別賽道奪冠，并非偶然，除了對場景的深度理解、創(chuàng)新融合，還有硬實力的支撐。
學術(shù)界常用framemAP(f-mAP@avg)來作為行為識別的評價指標，f-mAP@avg代表的含義是以關(guān)鍵幀為單位，評判行為的位置與分類是否準確；與學術(shù)界對行為識別的考察指標不同，此次競賽的評價標準是wf-mAP@avg，這意味著更注重對難度較大的擁擠場景的考察，以及比較少見的動作的識別，同時對于人體框的定位的精確性要求也更高。
在短短兩個月的挑戰(zhàn)時間內(nèi)，依圖算法的指標達到了wf-mAP@avg0.26，將以往學術(shù)界中的基準算法提升了近3倍。

掘金不易，鑿山開路更不易。何況視頻相較于圖像的行為識別更加復(fù)雜，如何建模、視頻幀之間的相關(guān)性仍是學術(shù)界一直存在的難題。
依圖深諳這一點，優(yōu)化算法來“鑿山”。
研發(fā)團隊透露，當應(yīng)用場景明確后，在已知分析的對象是人體且明確知道要識別的類別后，就可以針對性的進行算法優(yōu)化，通過算法定制化來提升算法性能，解決以往不能很好解決的問題。
此外，依圖還創(chuàng)新性地將算法與場景進行了深度結(jié)合——一方面創(chuàng)新性的從視頻中自動提取到豐富準確的場景信息，結(jié)合先進的行人檢測、行人重識別算法，全面構(gòu)建了人與人、人與場景、人與物之間在視頻中的關(guān)系；另一方面，借助長期在智能城市場景下的算法積淀和對行業(yè)場景的理解，從需求出發(fā)，對比賽中要求的特定的14類任務(wù)進行了深度算法優(yōu)化。
與其他隊伍追求復(fù)雜的多模態(tài)融合策略不同，依圖在此次競賽中竟然是用單模型奪冠。也就是說，他們借助背景提取和分割算法，將行為的解析與場景結(jié)合，大大降低了問題難度。
敢在比賽中用單模型與其他多模型融合策略PK，不外乎自信中帶著點跟自己較真的狠勁，又一次展現(xiàn)了在有限的時間內(nèi)依圖算法可以做到極致。
算法“鑿山”的依圖，在開拓AI新領(lǐng)域的版圖上一直策馬長驅(qū)，離不開算力的“開路”。
此前，依圖科技自主研發(fā)的全球首款云端視覺智能芯片求索（questcore?），可以提供強大算力，單路攝像頭功耗不到1W，開啟了算法設(shè)計與芯片設(shè)計相結(jié)合的時代。
集合了高性能AI算法和芯片耦合設(shè)計優(yōu)化的芯片平臺，結(jié)合世界領(lǐng)先的行為識別算法的依圖，將更有利于賦能智能城市、安全生產(chǎn)、智能商業(yè)等領(lǐng)域，打造新一代AI基礎(chǔ)設(shè)施。
細觀依圖半年來的動態(tài)，在疫情爆發(fā)初期快速研發(fā)出業(yè)界首個新冠肺炎輔助診斷系統(tǒng)并投入全國的醫(yī)院，同時，頻頻刷新頂級賽事的世界紀錄，分別在貴陽和福州落地千萬量級規(guī)模的城市級人工智能應(yīng)用、通過全球權(quán)威隱私認證管理國際認證，發(fā)布語音超級本、入選工信部知識圖譜案例集……技術(shù)愈加成熟、落地經(jīng)驗愈加豐富。
這些會給未來帶來什么？借用依圖科技創(chuàng)始人朱瓏近期在《人民日報》署名文章中所說：未來10年，低階感知智能將向高階決策智能躍遷；人工智能將向具有高度不確定性、多任務(wù)融合、復(fù)雜推理等特點的高階智能突破，有望實現(xiàn)看、聽、理解、規(guī)劃和控制等能力的重大躍升。