博翔科技為專業機械設備歐規/台灣TS標章/美規及半導體設備SEMI S2輔導顧問公司
博翔對於各類機械的安全技術 安全開關 安全模組 安全繼電器模組 安全繼電器 緊急停止 安全元件 歐盟電路設計 安全迴路 安全設計
由於科技的進步，各種無線通訊設備及數位裝置技術的高度發展，電磁干擾已成為電子時代中世界各國關注的問題。
機械產品的製造為迎向消費市場需求，亦朝向高速度、高精度、自動化且大量使用數值控制而使機械產品電磁干擾問題更加複雜
而博翔科技協助您解決相關安全技術問題以專業級檢測與規畫經驗並協助各種機械廠快速獲得相關認證
邀請您一起邁向世界的安全技術頂端
請立即點擊上方圖片了解更多細節吧！
好文分享
【i技術會】2020.03.12 《常用視頻廣告算法經驗談》分享會 在視頻平臺上面，廣告出現的位置很多，包括開屏廣告，信息流，各個位置的banner等。在這些廣告中，視頻播放器裡面出的廣告，跟AI的關係比較大，因為涉及到視頻的內容，需要AI分析視頻內容，給出廣告點位的建議。 先來看一下，下圖是我列舉的關於物理世界和網絡世界的廣告對比，左邊是我們經常可以看到的在真實世界的廣告，比如說左上方在商場裡的餐廳廣告，在飛機上面針對商務人士的廣告，在電梯裡面，在公交車上都有各種各樣的廣告。 右邊我們可以看到的是常見的網絡產品，比如說社交信息流，資訊類的信息流，電商焦點圖，我們很熟悉的這個搜索廣告等。 ... 我們把這兩種廣告放到一起對比的時候，會感覺到左邊的廣告實實在在融入了物理世界，跟周圍的建築、交通工具是融為一體的，是一些非常真實的點位。但是我們沒有辦法去憑空創造一個物理世界，我們要做的是把這些廣告牌、海報放到物理世界當中，找到合適它出現的點位。 網絡世界在不同的場景下，有不同的信息排列組合方式；針對不同的信息，也有它可以適應的相關廣告形式，所以說在網絡上面我們可以看到各種各樣的廣告。 物理世界加上網絡世界，一定程度上可以代表在線視頻的特點，就是它一半是真實的世界，一半是虛擬的，它真實的部分來自於視頻本身（此處討論的視頻是指實景拍攝的視頻，比如我們常見的電影、電視劇、綜藝，包括用戶用手機、用攝像機拍攝的一些UGC的視頻），是真實世界的反映。 另一方面，雖然說記錄了這些信息，是通過攝像頭實景拍攝的，但是因為它通過網絡在線播放，所以它跟真實世界是有很大的區別，比如說可以倍速播放、暫停、加彈幕，甚至可以把不清晰的視頻變得清晰、在這個視頻上面去增加各種信息。它具有了這樣一個虛擬的性質，一半真實，一半虛擬，這可能是關於在線視頻和廣告相關的，我們需要一直記住的兩個特點。在視頻內的廣告點位，我們也一直會針對這兩個特點，去探索適合它的廣告點位的生成和挖掘。 ... 想一下，在視頻裡面什麼地方可以出廣告？從某種意義上說，廣告是對內容的一個插入，不管是真實世界放入一個廣告牌，還是在信息流裡面插入一個原生廣告，或者在視頻的片頭、片中插入一個廣告，插入的位置我們給它一個名字，稱之為點位，所以廣告都是放在點位上的。那當大家在看視頻的時候，可能會思考一般會在什麼點位看到這些廣告。 ... 我所從事的工作主要是通過算法分析理解視頻，然後這些結果可以去支持各種業務，包括在廣告上的應用，我把一些比較主要的視頻內的廣告形式，大概分成這三類（這個分類可能和業內分類不嚴格一致）。 第一種是貼片，就是對視頻的插入，一個全屏的展示，它沒有空間概念，它是占據了整個空間，所以只會選擇它插入的時刻，一般來說在片頭、片中或片尾都可能插入。那這類廣告它本身可能就是一個獨立的廣告素材，比如說廣告商拍的tvc，那這類廣告並不一定需要跟視頻內容有任何關係，由於它是一個全屏展示它會非常的明顯；此外因為跟視頻沒有關係，所以它的靈活性或者說虛擬性是非常強的，以貼片的方式可以去插入到任何的視頻中。 ... 上圖中間這個廣告，叫做浮層，它是浮在視頻上面的一層廣告，浮層廣告的點位除了時間上的選擇，還有空間上的選擇，這個浮層它出現在什麼位置，左上角？右下角？還是出現在正中間？還是在其它什麼位置？此外，在時間上的選擇，因為廣告是出現在視頻裡面的，所以要考慮和這個視頻是否有一種相關性，如果沒有相關性，廣告插入會不會太突兀，會不會引起用戶的一些牴觸？ 上圖最右邊是植入廣告，這裡列舉了在最前端的咖啡杯。植入廣告，需要讓這個廣告和視頻裡面的世界融為一體，所以既要做時空上的選擇，也要有一種合理性，比如說這個杯子會放在桌面上，而桌面上不會放一個汽車，也很少會放一個足球，這是它的一種合理性，同時還要保證一個融入的效果，就是要有一個符合物理世界的光照、陰影、透視關係等。 所以，我們看到上圖的這個雙箭頭，越往右邊，越讓廣告跟視頻融為一體，它的真實感是越強的。越往左邊，獨立性越強，那它的虛擬性越充分，廣告本身也會更加的顯著。 貼片廣告 貼片廣告我們可以把它大致不嚴謹的再分成兩類，第一類是一個純粹的廣告，只管把它放在片頭、片中或者片尾，這個廣告不用考慮跟內容有什麼聯繫，這也是大家非常熟知的.可能自從有了視頻廣告模式，就一直看到這種廣告。 ... 近幾年，一方面面對用戶，需要考慮怎麼讓這個廣告的體驗更好，另一方面對品牌主，也希望怎麼能夠贏得用戶更多的好感，來提升這個品牌的形象。整個行業開始有各種創新貼片廣告，比如說請劇中的角色來錄製一段大頭貼，或者是用劇中的角色、劇中的形象、劇中的場景一起來拍攝一段比較有意思的短片，這類廣告叫做原創貼。包括這一兩年，開始做的前情提要貼，就是我們對於電視劇可以去生產前情提要，然後在前情提要上面可以加上廣告。 可以看到，即使是對於相對比較傳統的這種貼片，廣告也開始跟內容有了一些結合，考慮到了如何去形成一種比較自然的融入。 關於浮層的點位 傳統的浮層，比如角標、片頭鳴謝、字幕等等各種各樣的形式，還有很多這裡面沒列舉的。最近幾年也開始出現內容相關的浮層，比如下圖中這個創可貼，這是一個吃飯的場景，吃飯的時候可能需要喝飲料，所以說推出了某品牌飲料的廣告。 這個浮層可以看到它自由度是比較高的，可以出現在各種位置，但是最重要的是它有一個時間的選擇，就是結合劇情出浮層，所以它比較好利用了在線視頻的虛擬特點，可以在真實的物理世界視覺畫面上，加入虛擬的一些信息。 ... 那關於內容相關的浮層，其實主要考慮的是，我們怎麼提供跟當前內容比較自然的場景化的一種廣告。 植入廣告 對於植入，大家應該非常熟悉，甚至有時候會覺得在看穿插在廣告當中的電影和電視劇。當然在綜藝上面這種植入也是非常普遍，因為對於綜藝形式的節目來說，是比較容易做植入的。 視覺上可以做實物的植入，比如說擺放一個汽車、一個商品的模型，或者一張海報，只要能夠在這個視頻畫面當中看得到，就能引起大家對這個品牌的關注。 其次是語音植入，下圖中間這個畫面，可以看到某主持人語速非常快的廣告播報，本身就帶有很好的話題性。 不管是實物植入還是語音植入，以前常見的都是在拍片的時候做植入，拍攝前期跟導演、演員商量好，跟品牌方一起去設計，在什麼地方擺上一個什麼樣的商品，或者說口播什麼樣的廣告內容。 ... 現在我們也開始逐漸去做一些後期植入，當片子拍完之後，不管是通過算法還是人工去找到適合植入的點位，然後去利用算法，利用一些工具把商品的信息放置在這個視頻畫面上。 上圖最右邊就是愛奇藝之前播放的一個綜藝節目，我們也是植入了這個廣告主的一個海報。 這幾年後期植入變的越來越多，雖然還不是非常普遍，但是後期植入是具有非常高的靈活性。雖然這個場景是完全真實的，它體現了物理世界的真實性這一面，但是因為是後期植入，也是把虛擬的信息放置進去，所以說帶來了一個比較好的靈活性。一個片子已經開始火起來之後，可能有更多的廣告主可以去做這樣的後期植入。 到底什麼樣的廣告點位是好的？ 如果要回答這個問題，首先得看什麼樣的廣告是好的？當然一個好廣告會有非常多的因素，比如要怎麼吸引人的注意，要有創意，要有趣，還能體現品牌價值等等，這裡列舉了跟AI分析關係比較大的三個方面。 第一，有用。用戶看到廣告之後知道這個商品是有用的，尤其如果能知道對自己有用，就是達到個性化的分發，那這顯然是非常好的效果。 第二，自然。廣告的出現要合情合理，因為廣告是對一個完整內容的插入，儘量避免一些非常生硬的插入，想要降低用戶的牴觸情緒，需要儘量把它做的自然。 第三，顯著。顯著跟自然也許有一些矛盾，如果廣告太自然可能它不顯著，如果比較突兀，那可能很容易引起人的注意。這確實是一個矛盾，這也是需要去權衡的點，既希望廣告要被人看到，但同時也要保證必要的用戶體驗。 ... 針對這三點訴求，那什麼樣的點位是好的廣告點位呢？把這個視頻想成一個持續不斷的信息流，那到底在第幾分幾秒，畫面中哪個位置，可以去放置這樣一個廣告，這是我們需要思考的。 從有用角度來說，廣告出現的時間，最好能夠體現消費或者使用廣告商品的一種場景。為什麼有這樣的一種想法呢？在真實世界中出現廣告的時候，比如戶外廣告，公交車上的廣告，或者公交車站各種廣告牌、燈箱的廣告，其實很少會想到適用場景。因為真實世界廣告出現的這些地方，缺乏故事情節，比如公交車上的廣告，不太可能根據看廣告的人或者公交車上正在發生什麼，然後去給出相應的廣告。 但在線視頻廣告中，它天然就具有可智能相關的條件，因為視頻都是帶有一定情節的，比如就像剛才看到的視頻中的吃飯場景，吃飯的時候需要一些什麼，需要飲料、餐具等等。所以，這是視頻廣告的天然優勢，因為視頻自帶情節，它有很多廣告商品的使用場景，所以我們也在思考，怎麼能夠找到這樣的一些使用場景，把這些使用場景作為出廣告的點位。 第二個訴求就是自然，怎麼讓廣告出現的時候，讓人覺得是有一定道理？這種道理既來自空間上的合理性，如果後期植入廣告，那麼展示的商品看起來光影、光照是要符合視覺規律的，同時能夠具有相關性，能夠讓用戶大概感受到；比如說，推薦一個衣服的商品，那正好是當前視頻當中的一個同款，讓大家覺得這是有道理的。 第三個就是顯著，點位如果它能夠大面積出現，同時它又不會去遮擋視頻當中的關鍵內容，那是有價值的，如果這個點位出現的比較早，那可能也能夠有更多的人看到，這也是有價值的。 對於廣告點位AI能夠做什麼 第一，做識別；第二，做生成 ... 識別就是要理解視頻的內容，能夠知道在什麼地方找到這些有用、自然而且顯著的廣告點位。 生成是在我們能夠找到的這些點位之外，還要創造一些點位。比如前情提要，可以用AI剪輯自動生成，然後把它安插在這個視頻的前面。那這個前情提要本身就是一個廣告點位，貫穿前情提要的這十幾秒鐘可以放置廣告。 關於識別框架，下面這張圖展現的是對於視頻理解的簡單示意，整體上可以認為，最左邊是視覺音頻文本信息，會對這些信息做從粗粒度到細粒度的識別分析；有了分析結果，把它做語義的推理，來得到更上層的結果。 ... 視頻理解算法是由很多類別組成。比如一個三元組，誰在什麼地方做什麼事情，這個地方是否有精彩情節，這個空間結構是什麼樣的，這都是考慮的類別。 在做算法時還有一些策略。比如說視頻的時間連續性怎麼去利用，這其中算法又有很多類別，類別之間的關係怎麼利用，有助於提升每一個類別的精度或者召回？尤其是召回，就是怎麼能夠為廣告業務提供儘可能多的點位，這個召回策略怎麼做好。 有了算法輸出之後，AI還需要一個系統來支持廣告投放，通過這個系統把最後優質的點位輸送給廣告系統。這個系統在工程上面會有一些考量，比如怎麼去考慮業務的時效性和資源之間的權衡，如何人機合作，怎麼有效的通過Demo進行創新點位探索。 模態 首先從模態上來看，視頻主要有三種模態 ... 一是視覺，視覺的信息量非常豐富，可以認為看視頻，大部分的信息來自於視覺。同時視覺信息的識別難度也是比較大的。現在在某些視覺垂類上面，能夠達到非常高的精度，還有很多的垂直類別都還在處於需要持續優化的階段，同時在探索怎麼以一個還不是特別完美的結果，能夠應用在業務線上。 二是音頻，音頻能夠表達很多視頻無法表達的信息，比如音樂聲，比如遠方傳來兩聲槍響，或者人物出現了一些爭吵。所以大家也可以看到，音頻和視頻其實可以分別獨立的提供有價值的信息。 三是文本，這裡的文本，更多是指視頻當中人物的對話，不管是對於臺詞做OCR，還是對人說話的聲音做語音識別，最終需要轉換成文本，就可以用自然語言處理的各種工具去對它進行分析。這些文本，除了人物對話，還有彈幕等信息，都能夠成為加深對視頻理解的信息來源。 對於這三種模態來說，需要思考怎麼去利用這些模態，比如可以獨立的去計算，在視覺上面做一個行為識別；同時在音頻上分析人物可能正在唱歌；在文本上分析他唱歌的歌詞內容是什麼，每一個模態可以獨立的去計算，得到的結果都有機會能夠為廣告提供點位。 另外還要考慮不同模態之間的融合，比如剛才視覺上面認為人物可能在唱歌，因為他的嘴正在做一個張合動作，而且從他的表情各方面，算法認為人物當前的視覺臉部動作更像是唱歌而非說話，這個時候如果通過音頻識別到當前背景聲音是音樂的機率有80%或者90%，那這個人物在唱歌的機率就會變得更大。 這種融合在算法上，有前融合或者後融合。前融合把它的一些特徵、向量融合起來，然後再放到後面的分類器中。後融合就是分別識別出來了一些標籤信息，然後在語義上面用一些策略或者一些相對簡單的模型去訓練，然後得到融合結果，這是面對各種模態時候的一些思路。 類別 ... 一、三元組 一個什麼樣的對象在什麼場景做什麼事情。這對象包括人、包括物體，就是人臉識別、目標檢測、服飾識別、車型識別等等。事件，比如正在做的動作，包括更抽象含義上的比如婚禮、戰爭，包括他對話的內容、人物的關係，都可以放到事件當中。場景，比如說海灘、教室，甚至一個地標，這些都是所處的場景。 二、看點 是指劇情引人注目值得觀看的內容。兩個武林高手打鬥是非常精彩的，但是可能普通人的打鬥沒有那麼精彩，所以說即使有了誰在什麼地方做什麼事情這樣的一些標籤，可能還缺少精彩度、是不是搞笑的、是不是浪漫的信息。 調性，視頻畫面中是一個正向的場景，正向的對話，還是一個負向的？是一個高大上甚至非常奢華的場景，還是比較接地氣的、大眾的場景？這對於廣告主的選擇來說比較重要。一個高端品牌，它可能認為在高檔餐廳就餐的場景跟自己品牌調性是相符合的。 所以，即使是一些看起來行為相同標籤，根據它調性的不一樣，也會推薦給不同的廣告主。 空間，比如當前的這個畫面是否有一面牆，是否被遮擋，是否有一個桌面，是否是一個空曠的場景。那這些對於後期植入、創可貼等形式的廣告都是有幫助的，可以從這些方面去理解視頻空間。 以上列出的每一個詞，可能對應一個或者多個算法，也可能是幾個詞對應一個算法，從各個維度去分析理解視頻的內容。 策略 除了單一的算法，還需要考慮到策略，針對當前的這些數據，如何去利用這些算法。 ... 一、時序的關係 視頻特點是什麼？它不是每一幀都在突變的，它是有連續性的，這個連續性構成了視頻非常好的一個特點。比如說有的幀，有的畫面可能看不清楚，但是可能通過幀間的信息，通過跟蹤的方式，修正時序之間的信息。另外，可以直接用時序的模型，用三維的CNN，或者是LSTM等，對時序的信息直接去做建模。 二、類別的關係 之所以要考慮這點，因為各類別不是孤立存在的，相互之間還有一些相關或者相似的關係，利用好這些關係，能夠有效的提升精度。 比如識別視頻中的服裝是古裝；另外一個算法，識別視頻中出現了一部手機，但一般古裝片不太會有手機，這就是相斥關係，如果還發現視頻中其他位置出現了電腦等等，那有可能前面對於服飾的識別是有問題的。當然也不排除它雖然是一個現代劇，在特定時候或者特定的角色穿了古裝服裝。所以對相關性的利用需要系統化考慮 對於相關的類別，比如識別到場景是一個足球場，行為上又識別出是在踢球，那這兩方面是互為印證的，對於場景是足球場和行為是踢球這兩方面的置信度都可以因此而提高。所以，利用好類別關係，是有機會幫助我們去優化各個類別垂直算法的輸出。 三、策略 怎樣提供更多的點位，考慮到這一點，那可以不拘一格去用更多的模型，然後對於同一種類別，不同的模型它能夠側重在不同的角度，提供不同的召回。 同時，也可以考慮用檢索的方式，用匹配度、相似度的方式，可能依據的是單一樣本，或者是某一些子樣本的特點，可以從相似的角度去做更多召回，不一定精準，但是也許能夠跟分類模型去做互補。實際經驗是通過一些策略的設置，讓檢索模型和分類模型在某些方面去做融合，能夠取得比單一模型更好的效果。 框架 對於視頻識別的是細粒度的物體或者屬性，但是對資源消耗比較大，可以有從粗粒度到細粒度這樣的一個結構。 ... 比如以圖像為例，對輸入圖像做目標檢測，檢測到裡面有車和人。檢測到車後給它一個邊界框，再把它輸入到車型識別算法，能夠識別這是一個奔馳轎車。檢測到人後，識別出這是女性，而且識別出她的顏值很高，這個時候得到了細粒度的一些標籤，再通過語義推理，可能判斷是一個白富美，這是一個簡單的示意。在實操中可以通過這樣一些方式，一是節省資源避免重複開銷；同時通過把這些細粒度的標籤做一些整合推理，有機會能夠得到更多、更好、更高層的標籤。 系統 算法投入使用離不開系統的支持。 ... 比如說有一些廣告，它對實效性的要求非常高，當視頻一上線，就需要馬上投放相關的廣告。對於這樣的情況，我們需要快速通道。對於實效性低的廣告，可以離線分析，甚至對存量視頻在夜間分析都能夠滿足業務需求。這存在資源的一個動態的分配，簡單來說可以有一些快速或者慢速的通道來解決。 因為算法幾乎不可能是完美的，不同算法它的難度、數據不一樣，會有不同程度的效果。當前如果有一個不完美算法，是否要用在業務上面，這有幾個選擇，第一，不滿足業務的需求，暫停當前算法的研發；第二，針對算法，去找能夠用得上的業務，拿著錘子去找釘子。但這會很難，因為業務上的需求，很難從一個算法去倒推；第三，優化算法，直到達到可用的狀態。以上三種，在不同情況下可能都合理，但也都不足夠理想。很現實也很重要的是，是否能夠通過一些策略，讓算法達到業務可用的狀態。尤其是對人機結合的探索，在很多場景非常有價值，真正能保證一個高度可用的用戶體驗。 現在有很多創新性的算法，產品本身也是創新的，這裡存在互相影響的問題。比如業務方並不知道算法到底能做什麼，算法也不太清楚業務方需要什麼。如果只是通過語言上的溝通去描述、去判斷，那可能會損失很多信息。一個比較有效的解決方式，是能夠低成本設計Demo，通過Demo演示讓業務方了解技術現在能夠達到的程度，業務方結合Demo效果可以去思考當前需求是否可以滿足，或者是通過Demo去找到一些在業務場景下落地的範圍，一些場景。Demo的展示雖然看起來簡單，但是它卻是一個非常有效的方式，這裡面的關鍵是跟業務方保持一個怎樣的溝通，什麼時候以及怎樣去設計Demo，什麼時候同步信息。 生成 以前情提要為例，生成是無中生有的產生點位，前情提要就是對上一集電視劇的內容，機器自動化的去生成一個十幾秒到幾十秒甚至幾分鐘的視頻。前情提要需要包含重要或者精彩的情節，所以要從感官情節上面去找到這些精彩的地方。因為它是由幾個片段組成，所以需要做轉場點的識別，在鏡頭、場景包括人物的對話上找到適合切分的點。 ... 在前情提要中，有一些沒有主角，或者是對更早劇情的回憶這類片段，要識別這些特殊情況並把它過濾，片段的合成還需要有剪輯邏輯：儘量的提供更豐富的信息，保持多樣性，若干個片段的先後順序，這些都是需要考慮的。 愛奇藝現在已經自動化的生成前情提要，事實證明這也是一個比較受廣告主認可的方式。 總結 最後用幾個關鍵詞來總結視頻廣告點位的重點。 在性質上，視頻它是一個一半真實、一半虛擬的信息。那廣告點位的目標是要找出有用、自然、顯著的廣告點位。 在形式上，主要針對只考慮時間選擇的貼片形式，考慮時空相關性的浮層形式，以及考慮如何跟視頻非常真實的融為一體的植入形式，針對這幾種形式，從識別和生成當中的各種細分的類別上面去做點位的識別、挖掘和生成。 ... 最後可以看幾個廣告案列，下圖中第一個是創可貼，畫面中正在說買單的場景，演員說到「買單」的時候，出現了某支付app的廣告。第二個是前情提要廣告，剪輯的是一個浪漫高甜的場景，出現的廣告是一個美容美顏的飲品類的廣告。第三個是Video in後期的植入，黃色座椅上的飲料瓶是後期加上去的，因為這是一個運動的場景，所以植入了運動飲料廣告。 ... 本次【i技術會】視頻觀看通道：https://www.iqiyi.com/v_19rxcghrjk.html
TTT77941YYDDEE156365GG
文章來源取自於：
每日頭條 https://kknews.cc/media/6rmgvn3.html
如有侵權，請來信告知，我們會立刻下架。
DMCA：dmca(at)kubonews.com
聯絡我們：contact(at)kubonews.com
台南PlayStation符合歐盟歐規電路設計高雄音響/家庭劇院安全迴路設計高雄控制面板台南帶分離式操動件的安全開關台北HS7A-DMP型非接觸式安全開關
台中大蘑菇頭型緊急停止開關 台中緊急停止開關接線 管路&工安警示貼紙製作批發與設計桃園全繼電器模組設計與電路設計 台南安全端子繼電器設計與電路設計 每一極皆提供雙重連接能力，可個別或同時打開新竹安全驅動器設計與電路設計 高雄風扇安全迴路設計 緊急停止開關安全係數最高的CE認證公司台中HS5E-K型鑰匙鎖定型安全開關 新竹安全限動開關設計與電路設計 安全繼電器模組客製化設計的CE認證公司
留言列表
