近日，字節(jié)跳動旗下火山引擎視頻云宣布其自研的視頻編解碼芯片已成功出片。與具備通用計算能力的CPU芯片相比，該自研芯片僅支持視頻編解碼任務，在特定場景具備更高的計算密度。

另外，此次火山與NVIDIA的合作主要是通過NVIDIA GPU進行算力方面的協(xié)調與調度，同時合作開源BMF（Babit MultiMedia Framework）多媒體處理框架，通過由CPU、GPU以及視頻編解碼專用芯片等組成的異構計算資源底層，支撐上層，提升復用與效率，降低網絡視頻服務的計算、存儲及傳輸帶寬成本。

牽手英偉達GPU布局框架平臺

(相關資料圖)

在架構關系上，BMF異構層包括了CPU、CUDA、FPGA，以及字節(jié)此次自研的ASIC算力。再之上分別是包括視頻編解碼在內的模塊層、框架層，以及應用層。

視頻自研芯片與BMF框架的誕生基于當下視頻化逐漸普及的趨勢。火山引擎總裁譚待表示，視頻數(shù)據(jù)量呈爆發(fā)式增長，應用場景也在不斷拓展。初心資本合伙人許旸洋認為視頻正吞食一切是當下大的趨勢，而視頻化的形式將變得更加平民化，每個人都可以是視頻創(chuàng)作者，視頻大量出現(xiàn)倒逼底層技術升級。

NVIDIA開發(fā)與技術部門亞太區(qū)總經理李曦鵬對記者表示，此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過去的視頻處理主要通過FFmpeg（一種命令行工具，用來對視頻文件轉換格式），后者方式主要包括調用C + + 的API，以及命令提示。但在視頻復雜實時交互的編輯需求下，F(xiàn)Fmpeg很難與現(xiàn)有AI應用連接起來。目前該框架主要面向開發(fā)者群體，會令過去使用FFmpeg等AI框架進行視頻處理的開發(fā)者受益，也利于更多的創(chuàng)新誕生。

談及此次與火山在BMF框架方面的合作，NVIDIA 高級計算專家王曉偉對記者表示，NVIDIA對框架進行了深度改造，增強框架的GPU親和力，在框架層面提供更多的GPU加速能力，改進了BMF對FFmpeg CUDA filter的支持，添加GPU數(shù)據(jù)格式轉換以及實現(xiàn)BMF與其他深度學習框架和SDK的數(shù)據(jù)兼容，這些特性可以方便開發(fā)者更快地在GPU上定制所需的BMF模塊，從而快速響應業(yè)務需求，使用BMF搭建GPU流水線。

同時，NVIDIA還提供了許多精細優(yōu)化的BMF模塊，這些模塊可以做到開箱即用，并且作為示例向開發(fā)者展示如何高效地開發(fā) BMF GPU 模塊。如BMF中的人臉識別示例使用 NVIDIA TensorRT（一種高性能深度學習推理優(yōu)化器和運行時加速庫）對模型推理進行加速，并且調用 CV-CUDA （NVIDIA開發(fā)的專用于構建加速型端到端計算機視覺和圖像處理管道的開源項目）進行模型后處理，完整地展示了如何在 GPU 上使用 BMF 開發(fā)一個CV流水線及相關GPU模塊。

王曉偉對記者表示，BMF能夠提供簡潔易用的跨語言接口、靈活的調度和擴展性，以模塊化的方式動態(tài)擴展、管理和復用視頻處理的原子能力；而現(xiàn)有的常用框架基本都存在著語言接口單一，調度擴展不靈活以及開發(fā)門檻高等問題，限制了 AI 時代下業(yè)務場景的進化。

通過硬件創(chuàng)新緩解算力瓶頸

此次火山并未具體透露自研視頻芯片的具體代工廠等信息，字節(jié)跳動視頻架構負責人火山引擎視頻云架構技術總監(jiān)王悅表示，此次推出火山引擎自研視頻編碼芯片，可以使一臺芯片服務器的轉碼能力相當于百臺CPU服務器的算力；壓縮效率比行業(yè)主流硬件編碼器提升30%+。據(jù)此將單個視頻的計算、存儲和傳輸?shù)倪呺H成本達到平衡。

另外，王悅表示，該芯片支持ASIC算力，是一種比較折中的算力資源，吞吐雖然差一些，但其優(yōu)勢是可擦寫、更靈活，能夠完成漸進迭代，也為火山ASIC方案提供了先行驗證。

目前火山視頻云的圖片和動圖轉碼服務都跑在FPGA上，部分點播、直播服務里也在使用FPGA。此外，王悅表示，火山還有ARM板卡陣列，這個方案本來是用來支持云游戲、云手機等場景需求而研發(fā)的，火山把編轉碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后，經過大規(guī)模實測發(fā)現(xiàn)這種算力資源在密度、成本方面相較X86服務器也有很大優(yōu)勢，因此也在點播場景里不斷提升這種資源的使用量，做到與云游戲等場景的并池降本。王悅稱目前最新一代板卡已經支持開源大模型llama2。

對視頻芯片的自研投入早已在海內外大廠內進行，2016年，時任谷歌云計算副總裁的帕塔·蘭加納坦（Partha Ranganathan ）向時任YouTube 副總裁 Scott Silver 申請視頻芯片項目。2021年，YouTube 披露自研視頻芯片Argos的進展。今年，F(xiàn)acebook 母公司Meta首度公開了其自研 AI 芯片的進展，可以支持其最近推出的廣告設計和創(chuàng)作工具的生成式 AI技術。

2022年，騰訊公布自研視頻轉碼芯片“滄海”于2022年3月5日流片。2022年8月，快手宣布研制出云端智能視頻處理SoC(System on Chip)芯片SL200。火山引擎方面人士對記者表示，不同平臺的視頻自研芯片適用于各自不同的業(yè)務場景，火山自研視頻芯片對內主要服務于抖音業(yè)務。

火山引擎視頻云架構技術總監(jiān)王悅認為，“視頻編碼每升級一代，質量碼率減少50%，但大規(guī)模的視頻數(shù)據(jù)量增長不止2倍，視頻編碼標準的迭代速度已經追趕不上視頻數(shù)據(jù)量的增長速度，必須通過硬件創(chuàng)新來突破算力瓶頸”。

標簽：