神經網絡技術在網絡視頻處理的應用探討

作者: 伊人影院科技集團 / 時間: 2019-05-23 21:48:58
瀏覽次數 95

原標題:神經網絡技術網絡視頻處理的應用探討

一、背景:

是一家集產品數據、專業資訊、科技視頻、互動行銷為一體的複合型媒體網站。公司內部每天都要對網站大量的文字,圖片,視頻進行處理。給視頻貼標簽,給文章配圖,分類等等。公司主要是依賴人工來處理這些信息的,但是人工處理存在著工作量大,成本高,效率低的問題。於是公司組建了大數據部門,希望通過科技的手段來緩解人工處理信息的壓力。

機器學習與神經網絡(machinelearning):

那麽什麽樣的科技才能幫到伊人影院呢?首先把目光投向了機器學習,也就是所謂的machinelearning。機器學習簡單的說就是要讓電腦自己學習,就像老師教學生數學題一樣,先給計算機展示一些例子,然後讓計算機自己去做題。希望通過這個理念來訓練計算機思考,代替人力。能夠實現機器學習的算法多種多樣,每種算法都有自己的特點和優劣勢。而我想要重點介紹的一個比較先進的算法,人工神經網絡(ArtificialNeuralNetworks,簡寫為ANNs)。它是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。神經網絡的是一個較為新的算法概念。其出現使得機器學習有了突飛猛進的進展。人工神經網絡在模式識別、智能機器人、自動控製、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題,表現出了良好的智能特性。而卷積神經網絡(cnn)更是用途最廣的神經網絡之一。它具有一定的抽象能力,可以提取數據的特征,魯棒性較強。也就是說如果同一組數據發生了變化,卷積神經網絡也一樣可以適應這些變化。例如時下流行的人臉識別,新款的iphoness8和iphonessX應用的正是卷積神經網絡來做到的人臉解鎖。百度搜索引擎也利用了卷積神經網絡實現了精準的黃色,垃圾,恐怖等非法圖片,非法網址的識別。

二、問題的提出:

由於目前穀歌等大型網絡公司對神經網絡的深入研究。現在卷積神經網絡已經能對文字和圖片的進行識別高效而準確的識別。但是對於視頻內容的識別還處於開始階段。於是我想在卷積神經網絡在視頻信息處理的可行性方麵做出一點探究。而這次我把目光投向了遊戲視頻。

遊戲直播一直都是網絡直播行業的主力軍。而為了保留下精彩瞬間吸引更多觀眾,各大直播平台也紛紛推出了自己的錄播平台,上傳自己遊戲主播的精彩視頻。但是,將整段整段的錄播內容上傳十分耗費時間,保留這些視頻也十分耗費內存。如果能對視頻進行切割,隻保留有遊戲的部分,除掉其它與遊戲無關部分,將會大大緩解這些問題,並且還能方便看錄像的觀眾跳過等待時間。但是,對視頻進行分段十分耗費人力。中國目前知名的直播平台douyuTV,僅遊戲類主播每天就能產生上千個小時的錄播視頻。人力將無法有效地處理如此龐大的數據量,因此我想嚐試卷積神經網絡是否能對這些遊戲視頻做出高效的處理。本文將通過機器學習來建立“絕地大逃殺”這款遊戲視頻的卷積神經網絡模型,使其對這款遊戲開始,遊戲中,和結束3各階段進行識別。

三、問題的研究分析:

實驗對象分析:

絕地大逃殺是一款第一人稱視角射擊類遊戲。遊戲本身采用了當下比較流行MOBA類遊戲模式。既遊戲分為一場又一場的比賽,比賽之間相互獨立,且每局比賽有鮮明的開始和結束畫麵,便於識別。在這方麵與之相類似的還有很多人氣很高的遊戲:LeagueofLegend,dota2,Overwatch,等等。如果我能通過機器學習對這款遊戲的視頻進行分段,那麽說明對其他遊戲這類遊戲也同樣可行。

算法分析:

現在存在著很多種卷積神經網絡,幣看比特幣紀錄片,而我下麵想要重點介紹2D卷積神經網絡,和3d卷積神經網絡。這兩類卷積神經網絡擅長於捕捉數據的特點並對其進行分類,正是我需要的算法。

2D卷積神經網絡:


2D卷積神經網絡比傳統神經網絡多出的部分就是卷積層和采樣層。比如伊人影院想識別所有帶有狗的圖片,而現在輸入層是就是一張帶有狗的圖片。想要讓神經網絡理解什麽是狗,伊人影院先要大致預測這張照片展現了多少狗的特征,這就是卷積的含義了。如上圖所示,如果我預測狗有40個特征,那麽這一張照片將被分成40份(c1層),分別做檢測,每一份檢測一個特征。但是由於機器的限製,第一次卷積每一個特征的大小都是相同的,也就是說第一次卷積可能隻檢測到5x5像素大小的狗的特征。而還有一些狗的更大的特征無法被檢測。於是伊人影院要降采樣。保留c1層檢測到的特征的位置,把沒有特征的像素去掉。伊人影院得到了一張更模糊的圖片(s1層),然後對這張更模糊的圖片再次卷積,然後再降采樣,如此往複,直到圖片的像素少到難以判斷這是什麽的時候。最後一步,把所有最後一層的小圖片們中的像素展開,形成一列,這一過程就是上圖的全連接。把它們輸入傳統人工神經網絡分析,得到輸出,這到底是不是狗。

3D卷積神經網絡:


聲明:本網所有文章(包括圖片和音視頻資料)係出於傳遞更多信息之目的,且明確注明來源和作者,不希望被轉載的媒體或個人可與伊人影院聯係,伊人影院將立即進行刪除處理。所有文章僅代表作者觀點,不代表本站立場。