<nav id="9apai"></nav>
    1. <font id="9apai"><samp id="9apai"></samp></font>

      <object id="9apai"></object>
    2. <strong id="9apai"><tr id="9apai"></tr></strong>
    3. 首頁 > IT業界 > 正文

      極鏈科技張奕:商業化視頻內容識別的算法設計與應用

      2019-12-20 21:12:32  來源:互聯網

      摘要:當前,商業化視頻包括長視頻、短視頻、直播等多種類型,其中蘊含著海量的信息和巨大的潛在商業價值。
      關鍵詞: 極鏈科技

      當前,商業化視頻包括長視頻、短視頻、直播等多種類型,其中蘊含著海量的信息和巨大的潛在商業價值。如何運用GPU的強大算力,設計人工智能算法,對商業化視頻中的內容語義進行分析識別,生成結構化數據,同時受到了學術界和工業界的重視。

      近日,極鏈科技Video++AI研究院負責人張奕在英偉達GTC 2019上,帶來了「商業化視頻內容識別的算法設計與應用」的精彩演講。從視聯網的產業介紹、智能視頻技術應用于商業化視頻的挑戰、數據的重要性與VideoNet視頻數據集、商業化視頻內容識別算法設計與視聯網應用五大模塊進行了分享。

       

       

      5G+AI時代 互聯網形態進化

      在5G和AI的加持下,互聯網演進出三大形態,物聯網,視聯網和車聯網。目前視頻占據了全網數據的80%,且仍在不斷提高。視頻將成為互聯網最重要的入口,承擔起信息傳遞介質和互聯網功能載體的作用,進而形成以視頻作為主要信息傳遞介質和功能載體的互聯網形態,視聯網。龐大的消費級視頻是視聯網的首個落地場景。

       

       

      張奕介紹道,作為「AI+視頻」行業獨角獸企業,全球視聯網-視頻商業操作系統構建者,極鏈科技專注于消費級視頻AI技術研發和商業應用,聚焦以視頻作為信息和功能核心載體的新互聯網形態——視聯網。以AI技術賦能視頻中的信息,鏈接互聯網信息、服務、購物、社交、游戲五大模式,實現基于視頻的新互聯網經濟體。極鏈科技自主研發的VideoAI是視聯網整個生態的底層數據引擎,支撐視聯網的多維度發展。頑石OS作為視聯網操作系統,是整個視聯網生態的承載,提供高效個性化的互動視頻應用,扭轉了視頻只能單向輸出的狀態。為用戶提供了全新的觀看體驗,實現了視頻與用戶的雙向互動,讓視頻成為連接服務與用戶的高價值流量入口。

      商業化視頻內容識別的挑戰

      視聯網的基礎數據即視頻,尤其是消費級視頻。區別于工業級視頻是利用專業設備在固定條件、固定場景下拍攝的視頻,如監控視頻。商業化視頻是指用戶用手機等便攜式圖像采集設備生成的視頻。商業化視頻有三大特點。一、商業化視頻數據體量巨大;二、商業化視頻的類別多樣,如電影、綜藝、體育、短視頻等;三、商業化視頻場景復雜,如場景內的特效、切換、淡入淡出和字幕,都會對整體或局部產生模糊。以上特點對視頻識別算法提出了更高的挑戰。

      視頻識別算法本身有較長的歷史,然而受到計算能力的限制,算法各項性能與產品商業化要求間還存在較大的差距。直到2012年,深度學習技術、大數據及GPU算力的結合極大提升了算法準確率和運算效率,拉低了與產品商業化要求的差距。

      數據的重要性與VideoNet視頻數據集

       

       

      眾所周知,深度學習的成功建立在大規模數據集的基礎上?,F有視頻數據集從規模、維度和標注方式上都與深度學習算法的要求存在很大差距。今年,極鏈科技與復旦大學聯合推出了全新的VideoNet視頻數據集,具備規模大、多維度標注、標注細三大特點。

      第一,規模大。VideoNet數據集包含逾9萬段視頻,總時長達4000余小時。

      第二,多維度標注。視頻中存在著大量的物體、場景等多維度內容信息,這些維度內容之間又存在著廣泛的語義聯系。近年來涌現出大量針對物體、場景、人臉等維度的識別技術,在各自的目標維度上取得了明顯的進步。但各視頻識別算法基本針對單一維度來設計的,無法利用各維度之間存在的豐富的語義關聯建立模型,提高識別準確度。VideoNet數據集從事件、物體、場景三個維度進行了聯合標注,為多維度視頻識別算法研提供支持。

      第三,標注細。視頻標注工作量非常巨大,當前大部分視頻僅針對整段視頻打標簽。而VideoNet數據集對視頻進行了事件分類標注,并針對每個鏡頭的關鍵幀進行了場景和物體兩個維度的共同標注,充分體現了多維度內容之間的語義聯系。

      那么,VideoNet數據集是如何進行標注的?首先,對視頻數據進行預處理,即鏡頭分割,并根據清晰度對鏡頭單元進行關鍵幀提取。之后從三個維度進行視頻標注,事件維度上對整個視頻標注類別標簽,物體維度上對鏡頭關鍵幀標注類別和位置框,場景維度上對鏡頭關鍵幀標注類別標簽。目前,VideoNet數據集包含353類事件,超過200類場景和200類物體,總視頻數達到9萬。其中60%作為訓練集,20%作為驗證集,20%作為測試集。

      自6月18日「VideoNet視頻內容識別挑戰賽」公布訓練和驗證數據集以來,截止到8月12日,注冊報名的隊伍已超過360支,其中參賽隊伍當中有來自中科院、北京大學、中國科學技術大學等頂尖高校隊伍以及來自阿里巴巴、京東、華為、騰訊、大華等眾多知名企業隊伍。預計明年,極鏈科技將會繼續增加VideoNet數據集的規模和標注維度。

      商業化視頻內容識別的算法設計

      商業化視頻的數據特點,對算法系統的處理速度、效率和準確率提出了較高的要求。商業化視頻算法的總體框架分為五層:1、視頻輸入層進行視頻源的管理;2、視頻處理層進行鏡頭分割、采樣、增強和去噪等工作;3、內容提取層主要分析視頻中內容、語義等信息,進行目標檢測、跟蹤和識別等來檢測目標在視頻中的時間、空間、位置等維度;4、語義融合層進行目標軌跡融合、識別結果融合、特征表示融合、高層語義融合等;5、在數據輸出層,進行結構化數據管理,方便后續數據檢索與應用。

      視頻內容識別維度多樣,包括場景、物體、人臉、地標、Logo、情緒、動作、聲音等。不同維度的算法結構有所區別。人臉識別算法結構為:輸入視頻后進行鏡頭分割,在進行人臉檢測、跟蹤、人臉對齊,根據質量評估過濾,進行特征提取和特征比對識別,最后進行識別結果融合,輸入最終識別結果。

       

       

      在場景識別算法結構中,首先對輸入視頻進行鏡頭分割采樣,有所不同的是只需進行時間間隔分割的采樣,再對視頻進行場景類別的初分類,預處理之后進入卷積神經網合階段,卷積神經網絡通過對不同的數據集進行預訓練,得到不同的特征和描述,將這些特征進行融合、降維處理得到特征表示后,對不同場景如高頻場景、次級場景和新增場景,進行分類處理,最終對識別結果進行融合。

      在物體、Logo識別算法結構中,有所不同的是需要多尺度提取特征,跟蹤識別物體軌跡,并關注物體類別,對結果進行優化。

      在地標識別算法結構中,分為三步,第一,通過基礎網絡(VGG,ResNet等)獲得特征圖(一般為最后一層卷積或池化層);第二,從特征圖中提取特征(例如R-Mac,SPoC,CroW,GeM等)并用ROI Pooling,PCA 白化,L2-歸一化等方式處理,一般最終維度為256,512,1024,或2048;用kNN,MR,DBA,QE,Diffusion等方式將得到的特征對數據庫內的特征進行后處理獲得最終特征;訓練模型一般損失函數采用contrastive loss或triplet loss,最終比對一般采用余弦或歐式距離。

      極鏈科技自主研發的算法主要做了以下優化:1. 對基礎網絡進行多層的特征提取(而不局限于全連接的前一層)并融合,降維等。2. 采用CroW算法的核心思想對特征圖的不同空間點以及channel增加權重,不同于CroW算法,我們的權重是通過端到端方式學習所獲得。在2018、2019年Google地標識別挑戰賽中,極鏈科技AI研究院蟬聯了兩屆全球冠軍。

       

       

      隨后,張奕介紹了視頻檢索,也就是以圖搜視頻的流程。以圖搜視頻可以分為兩部分,一部分是通過視頻深度圖像檢索構建視頻數據庫,另一部分是用戶檢索時,輸入圖像到第一部分的視頻庫中進行檢索。

      具體來看,首先通過視頻下載、視頻數據庫檢索、特征提取、特征排序等生成一個特征表述數據庫,當用戶需求輸入后進行特征提取、比對、排序和結構展示。這是標準的檢索流程。在算法結構方面,用戶輸入后會經過卷積神經網絡和索引得出粗檢索結果,再通過細檢索進行排序、查詢,最后輸出鏡頭信息,另外也可以通過劇目信息進行子部檢索減少搜索任務的壓力,同時提高算法的準確率。

      以圖搜視頻的核心在于我們自研的深度圖像檢索模型VDIR,由視頻任務調度系統派發的視頻分片,經過鏡頭檢測分割成片段,片段信息經過VDIR會生成視頻信息庫、視頻特征庫以及哈希索引庫。用戶輸入一張或者多張圖像,同時可以指定劇目信息,比如古裝劇、玄幻劇等,輸入的圖像經過VDIR算法提取到哈希編碼和特征,首先會去歷史檢索庫中查找是否有相似的檢索,如果有直接使用特征即進行細匹配,沒有就會先通過哈希編碼到哈希索引庫中檢索,然后進行細匹配,根據匹配相似度進行排序后,從視頻信息庫中查詢到視頻片段信息,配合截圖輸出到界面。

      深度圖像檢索模型VDIR會輸出兩部分內容,分別是用于快速檢索的哈希編碼以及用來細匹配的特征,一個片段的幾個幀特征或者相鄰片段的幀特征并不是都需要,因為我們設計關鍵幀篩選邏輯,只保留關鍵幀特征。

      為了將以上算法實際落地,張奕認為還需要進行工程化的工作。在工程化工作中,需要解決以下幾個問題:1、算法進行并行化加速其運營;2、面對高并發狀態解決分布式系統和多任務調度的問題;3、對資源調度進行算法分割與CPU+GPU配比;4、對高優先級任務規劃處理策略。

      視頻內容識別的視聯網應用

      演講最后,張奕向大家介紹了三個算法實際產業化應用的案例。

      VideoAI視頻智能識別和大數據運營系統,實現視頻輸入、識別、結構化數據管理和多維度檢索全流程技術。極鏈科技獨創獨創全序列采樣識別,對視頻內的場景、物體、人臉、品牌、表情、動作、地標、事件8大維度進行數據結構化,32軌跡流同時追蹤,通過復合推薦算法將內容元素信息升級為情景信息,直接賦能各種視聯網商業化場景。

       

       

      靈悅AI廣告平臺,通過VideoAI將全網海量視頻進行結構化分析,對消費場景標簽化,結合品牌投放需求,提供智能化投放策略和批量化投放,讓用戶在觀看視頻時有效獲取相關品牌信息及購買,實現廣告主精準投放的營銷目的和效果。目前通過VideoAI技術的賦能,靈悅AI廣告平臺已完成2012年至今全網熱門視頻,實現掃描累計時長達15,600,000+分鐘劇目復合雙向匹配。開發了965類成熟商業化可投放情景,服務300+百家一線品牌,并與全網頭部流量視頻平臺簽訂深度投放合作,實現廣告創新營銷的新動能。

      神眼系統,廣電級內容安全多模AI審核系統,可實現本地部署的高可用技術解決方案,提供長視頻、直播、短視頻的敏感、政治、色情、暴恐審核服務。產品核心功能包括:智能鑒黃(識別視頻和圖片中的色情、裸露、性感等畫面);智能鑒暴(識別視頻和圖片中的血腥、暴力、槍支等畫面);政治敏感人物識別(基于政治人物庫,識別視頻和圖片中的國家領導人物或者落馬官員等);涉毒/涉政明星識別(基于明星庫,結合黑名單,識別視頻和圖片中的涉毒、涉政等明星)。

      最后,張奕強調了數據對于人工智能發展的重要性。他認為目前半監督、無監督算法還處于研究階段,性能差距較大,所用AI算法大多基于監督學習,因此數據的體量和質量非常重要。學會思考更多問題,例如采集數據與實際應用間的相關度,常規數據操作有哪些,如何獲取“高效”的數據,如何應用數據管理工具,才能讓我們更好的管理、應用數據等。


      第三十屆CIO班招生
      法國布雷斯特商學院MBA班招生
      法國布雷斯特商學院碩士班招生
      法國布雷斯特商學院DBA班招生
      責編:chenjian
      手机抢红包