背景快手AI平臺(tái)面臨的挑戰(zhàn)
良好用戶(hù)反饋的背后，是快手強(qiáng)大的技術(shù)支撐能力。從成立伊始，快手就積極組建AI團(tuán)隊(duì)，推出智能推薦、人臉識(shí)別、自動(dòng)美顏、視頻即時(shí)特效等功能，深得用戶(hù)青睞。隨著業(yè)務(wù)的高速增長(zhǎng)，尤其當(dāng)其日播放量已達(dá)百億次級(jí)，日上傳視頻量已達(dá)千萬(wàn)條級(jí)時(shí)，快手的AI平臺(tái)也開(kāi)始經(jīng)受?chē)?yán)峻的性能考驗(yàn)， 亟需尋求更強(qiáng)勁的計(jì)算力和更優(yōu)化的算法予以應(yīng)對(duì)。構(gòu)建強(qiáng)大高效的AI平臺(tái)井非易事。眾所周知，在深度學(xué)習(xí)等AI方法中，隨著數(shù)據(jù)處理量的增加，所需的計(jì)算力將呈幾何級(jí)數(shù)增長(zhǎng)。早在2012年Google Brain*進(jìn)行的一次測(cè)試中，為了利用深度神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別視頻中的貓，系統(tǒng)共使用了 16,000個(gè)通用處理器。如今，快手的短視頻發(fā)布總量已達(dá)70億條，每天新增視頻達(dá)到千萬(wàn)量級(jí)，其所面臨的計(jì)算量可想而知。因此，要應(yīng)對(duì)這一挑戰(zhàn)，快手AI平臺(tái)需要做的是：配備更強(qiáng)的計(jì)算力，對(duì)AI算法進(jìn)行更深入的優(yōu)化。
英特爾® 至強(qiáng)® 可擴(kuò)展處理器為快手AI平臺(tái)提供更強(qiáng)算力
無(wú)論是智能推薦，還是精準(zhǔn)營(yíng)銷(xiāo)，或者是智能鑒黃，短視頻應(yīng)用背后的AI平臺(tái)，都需要對(duì)用戶(hù)上傳的視頻進(jìn)行有效的分析和感知。圖像和語(yǔ)音是其中兩個(gè)核心維度。在圖像維度，通過(guò)圖像檢索技術(shù)，平臺(tái)可以實(shí)現(xiàn)內(nèi)容特征庫(kù)的構(gòu)建，并建立高效的特征庫(kù)索引；在語(yǔ)音維度，通過(guò)語(yǔ)音識(shí)別技術(shù)，平臺(tái)可以對(duì)人物的情緒、年齡等屬性進(jìn)行精準(zhǔn)分析。因此，圖像檢索和語(yǔ)音識(shí)別是目前快手AI平臺(tái)的兩大核心功能。K-Means*聚類(lèi)算法是目前快手AI平臺(tái)重要的圖像檢索算法之一。通過(guò)對(duì)圖像內(nèi)的信息進(jìn)行向量轉(zhuǎn)化，再通過(guò)K-Means聚類(lèi)算法計(jì)算聚類(lèi)中心，從而快速得到索引。利用這一算法，快手AI平臺(tái)可以迅速將用戶(hù)上傳的視頻進(jìn)行索引歸類(lèi)，加入特征庫(kù)，并通過(guò)推薦系統(tǒng)向用戶(hù)推薦匹配度和相關(guān)性最高的視頻?？梢哉f(shuō)， AI平臺(tái)圖像檢索的處理速度，將直接影響快手多項(xiàng)用戶(hù)功能的使用體驗(yàn)。實(shí)施K-Means聚類(lèi)算法時(shí)， AI平臺(tái)需要執(zhí)行大置的迭代計(jì)算。當(dāng)需要處理的圖像數(shù)據(jù)集達(dá)到一定規(guī)模后，快手發(fā)現(xiàn)，其AI平臺(tái)在多線(xiàn)程計(jì)算處理上開(kāi)始顯現(xiàn)出不足。為此，英特爾團(tuán)隊(duì)一方面幫助快手對(duì)其算法進(jìn)行優(yōu)化，通過(guò)重構(gòu)數(shù)據(jù)結(jié)構(gòu)和完全矢量化的方法，使算法的數(shù)據(jù)處理效率得以提高。另一方面，英特爾為快手AI平臺(tái)提供的新一代英特爾® 至強(qiáng)® 可擴(kuò)展處理器，也極大地提升了K-Means聚類(lèi)算法的處理效率，擁有多達(dá)28個(gè)內(nèi)核的英特爾® 至強(qiáng)® 可擴(kuò)展處理器，可以輕松應(yīng)對(duì)上文所述的多線(xiàn)程計(jì)算能力不足問(wèn)題。同時(shí)，其全新的內(nèi)核微架構(gòu)，包括所有內(nèi)核共用末級(jí)高速緩存 (Last Level Cache, LLC) 、 六內(nèi)存通道以及多達(dá)48個(gè)PCIP通道等特性，也能有效地對(duì)K-Means聚類(lèi)算法的優(yōu)化內(nèi)容予以支持，令其在處理海置圖像數(shù)據(jù)時(shí)獲得更優(yōu)性能。在英特爾® 至強(qiáng)® 金牌6130處理器上進(jìn)行的一頂圖像檢索對(duì)比測(cè)試中，基準(zhǔn)測(cè)試組與優(yōu)化測(cè)試組分別采用優(yōu)化前后的K-Means聚類(lèi)算法對(duì)10億張圖片進(jìn)行圖像檢索處理。測(cè)試數(shù)據(jù)如圖 1 所示，經(jīng)過(guò)優(yōu)化的K-Means聚類(lèi)算法，可使快手AI平臺(tái)的性能增至原有的2.22倍。
圖1. K-Means聚類(lèi)算法用于圖片檢索處理的對(duì)比測(cè)試英特爾® MKL與高性能英特爾® 編譯器全方位優(yōu)化釋放快手AI平臺(tái)潛能
圖2. 優(yōu)化前后的語(yǔ)音識(shí)別對(duì)比測(cè)試更多部署方案，更大發(fā)展空間文章摘自英特爾精英匯
想購(gòu)買(mǎi)及了解更多英特爾產(chǎn)品詳情，歡迎咨詢(xún)以下聯(lián)系方式！
寶通集團(tuán)聯(lián)系方式
咨詢(xún)熱線(xiàn)：0755-88603572
寶通官網(wǎng)：www.bjshst.cn
客戶(hù)垂詢(xún)郵箱：cuifang.mo@ex-channel.com
客戶(hù)垂詢(xún)QQ：1627678462
地址：深圳市福田區(qū)深南大道1006號(hào)國(guó)際創(chuàng)新中心C座11樓
郵編：518026
當(dāng)前位置：
粵公網(wǎng)安備 44030402001885號(hào)
友情鏈接： 金沙古酒 | 中青寶 | 寶德控股 | 寶德計(jì)算 |