【pg電子·(中國)娛樂官方網站】字節造芯新進展：編碼提高30%、轉碼“以一當百”，服務火山引擎

允中 收拾自 火山引擎。以一當百
量子位 | 大眾號 QbitAI。字節造芯展編

上一年7月，新進pg電子·(中國)娛樂官方網站外界曾有。碼提碼服字節造芯。高轉風聞，山引字節跳動副總裁楊震原在媒體采訪中回應稱，以一當百公司無通用芯片商業方案，字節造芯展編沒有進入CPU、新進GPU等通用芯片事務。碼提碼服

自研芯片探究首要環繞本身視頻引薦事務打開，高轉研制團隊將為字節跳動大規劃視頻引薦服務專用場景定制硬件優化，山引如視頻編解碼、以一當百云端推理加快等，字節造芯展編以期提高功用，新進下降本錢。

8月22日的一場活動中，字節跳動旗下火山引擎。初次揭露發布了自研的視頻編解碼芯片。。

據字節跳動視頻架構負責人、火山引擎視頻云架構技能總監王悅介紹，這款專用芯片。已出片。。

經驗證，該芯片的視頻緊縮功率比較職業干流硬件編碼器可提高30%以上，未來將服務于抖音、西瓜視頻等視頻事務，并經過火山引擎視頻云開放給企業客戶。

以下為王悅講演全文：

咱們好，pg電子·(中國)娛樂官方網站我是字節跳動視頻架構負責人王悅，今日首要與咱們共享：面臨全職業視頻化年代的技能應戰，火山引擎視頻云是如安在算力、體會和交互層面進行探究的。。

首要，視頻化運用在全職業不斷深入浸透，視頻數據也在繼續激增，視頻技能和運用在未來首要面臨哪些大的應戰呢？咱們認為，有。三個鴻溝需求打破。：

第一個鴻溝是。算力鴻溝。，視頻數據不只體量在激增，分辨率和明晰度也在繼續提高，并且，視頻緊縮和處理的算法在不斷的更新迭代，越來越雜亂，因而視頻轉碼和處理的算力需求能夠跟得上。但一起，摩爾定律在繼續變慢，如何為企業供應算力強、算力足且夠廉價的核算基建，是當時視頻職業面臨的最大應戰；

第二個是。體會鴻溝。，用戶會繼續尋求極致體會，期望視頻更明晰、更流通。那究竟多明晰才是結尾呢？跟著越來越多的內容被AIGC技能所生成或加工，對這類內容質量的界說和評判規范，以及處理的算法和流程，或許都要跳出現有的依據信噪比的理論結構，從頭探究體會的鴻溝在哪里；

第三個是。交互鴻溝。，近幾年沉溺式媒體方向在繼續加溫，視頻的觀看體會在逐漸從二維畫面延伸到三維空間，給予交互更多的自由度。虛擬國際與實踐國際將無限交融。本年蘋果發布了vision pro，帶給了咱們一些新的神往，或許已近百年的二維畫面的出現與交互鴻溝很快將被打破。

下面咱們看一下，火山引擎視頻云做了哪些探究和實踐，以打破這三個鴻溝。

首要，應對算力應戰，火山引擎視頻云依據抖音的大規劃運用實踐和打磨，完結了從通用核算到異構核算的進階，沉積了可認為不同視頻場景供應專用且適用的算力支撐，不斷朝著更強壯、更好用、更廉價的方向前行：在咱們的異構核算集群中，除了從前干流的x86機器，還有GPU、ASIC、FPGA、ARM板卡陣列等幾種不同的核算資源。

關于深度學習、并行核算、高功用烘托，咱們會用GPU做算力支撐，首要運用在視頻畫質檢測與剖析、質量增強處理、XR云端烘托等場景。

ASIC算力是咱們要點規劃的研制方向，今日，咱們也正式推出火山引擎自研視頻編解碼芯片。這款芯片有幾個數據仍是值得振奮的：

一臺視頻編解碼芯片服務器的轉碼才能，適當于百臺CPU服務器的算力；一起火山引擎自研視頻編碼芯片的緊縮功率也適當優異，比職業干流硬件編碼器提高30%以上；然后，能夠讓單個視頻的核算、存儲和傳輸的邊沿本錢到達平衡。

咱們知道在（視頻）芯片這個范疇，必定要到達必定的規劃門檻，累加的邊沿收益才能夠cover前期投入的淹沒本錢，完結正向的ROI。正是由于抖音等產品的事務規劃，為咱們供應了一個十分廣大的取得杠桿收益空間，使咱們能夠在這個方向繼續投入頂尖研制團隊，不斷迭代和進化，終究完結更高密度、更好緊縮功用和更極致降本。

咱們還支撐FPGA算力，它是一種比較折衷的算力資源。比較ASIC，FPGA的密度、吞吐盡管差一些，但它的首要優勢是可擦寫、更靈敏，能夠完結漸進迭代，也為咱們的ASIC方案供應了先行驗證?；鹕揭嬉曨l云現在的圖片和動圖轉碼服務都是跑在FPGA上的。部分點播、直播服務里也在運用FPGA，該編碼器全體編碼功用比職業規范編碼器(GPU)提高30%，在MSU賽事中屢次連任最佳4K FPGA編碼器稱謂。

此外，火山引擎視頻云還有ARM板卡陣列，這個方案本來是用來支撐云游戲、云手機等場景需求而研制的。咱們把編轉碼和處理引擎在ARM指令集上深度集成和優化之后，經過大規劃實測，發現這種算力資源在密度、本錢方面相較x86服務器也有很大優勢。因而，咱們也在點播場景里不斷提高這種資源的運用量，并做到了與云游戲等場景的并池降本。咱們這個方案也在不斷地迭代與演進，信任關于視頻運用的智能晉級也將發揮重要的效果。

在打破體會鴻溝方面，跟著大模型等AI技能的開展和賦能，咱們也的確看到了許多有說服力的效果和達觀的遠景，比方「AI修正 」技能。上星期，抖音、中國電影資料館、火山引擎發布了“再續韶光-經典香港電影修正方案”， 咱們初次將AIGC視覺大模型運用于老片修正場景。充分利用AIGC大模型強壯的生成才能和豐厚的先驗常識，對經典老片進行全面的畫質提高。

火山引擎視頻云的許多產品才能都有AI技能的加持，例如「智能轉檔」運用了AI重采樣方案，滿意了高質量多碼率分發需求，支撐直播、點播多檔位畫質提高；「極致超清」是依據人眼的片面感觸最優為基準的AI前處理方案，該方案不只能夠提高片面畫質，還能夠進一步完結全體帶寬下降15-35%。

再看看咱們在打破交互鴻溝方面的一些發展和效果。在3D和全景技能方面，火山引擎視頻云依據在PICO上的實踐和探究，沉積了許多優質的才能。比方，咱們的「VR 360°全景圖畫」技能，在本年CVPR Workshop舉行的一項競賽中，雙目超分雙三次插值保真賽道和360°全景圖畫超分賽道上，榮獲了雙料冠軍，技能才能到達職業領先水平。

從二維到空間，從理論到實踐，火山引擎視頻云落地了許多立異項目，盡力為用戶打造感同身受的體會。結合傳統三維重建及神經輻射場技能，咱們搭建了一套用于完結雜亂動態場景的收集、重建、和播映算法結構，具有很高的明晰度和真實感。這項技能交融在點播、直播及RTC等視頻云技能產品中，便能夠完結空間視頻的點播、直播和實時通訊，現已落地于「抖音嘉年華」「抖音戲腔戲調」「PICO古籍尋行記」等項目里，相關效果宣告在本年的Siggraph上。

別的火山引擎多媒體實驗室自研的三維重建技能，結合視覺重建、多模態重建及SDF技能，可完結高精度、高質量、高功率的自動化重建技能，用于高保真物品及空間重建，也現已運用在博物館文物重建、電商3D產品、懂車帝3D看車、美好里VR看房，PICO德爺看非洲等項目中 。

當技能面臨瓶頸，或許咱們能夠換一種姿態奔馳，繼續打破算力，體會和交互的鴻溝。咱們期望依據抖音大規劃實踐和打磨，將沉積下的火種貢獻給職業。

經過上面的技能共享，咱們能夠看到全職業視頻化年代，技能是紛繁雜亂的，而在這個過程中作為“引擎”的視頻處理結構效果就越來越重要，一起也面臨著許多應戰。

接下來我會介紹火山引擎視頻云在這一范疇所做的探究實踐，一起把咱們聯合NVIDIA開源的多媒體處理結構BMF（Babit Multi-Media Framework）介紹給咱們，這也是國內首個開源的同類項目，期望對整個職業起到普惠效果，助力加快視頻化新進程。

△NVIDIA開發與技能部門亞太區總經理李曦鵬（左）和火山引擎視頻云架構技能總監王悅（右）一起宣告開源BMF多媒體處理結構。

在實踐算法和工程化落地的過程中，很少有項目能夠徹底不選用多媒體處理結構。多媒體處理結構作為視頻化布置的“底座”，一般起到重要的支撐效果。在體會需求更高、快速試錯立異和事務場景交融的新趨勢下，面臨的場景和需求越來越多樣化和雜亂化，一起對核算功用和異構核算資源的運用也提出了更多的要求，快節奏的立異速度也火急的期望結構有強壯的才能，能協助開發者把各種才能和方案優勢互補、協同作業、快速落地。傳統結構不能很好地應對這些應戰，下一代多媒體處理結構應運而生。

咱們開源的這套多媒體處理結構，作為火山引擎視頻云全鏈路服務才能的根底“底座”，不斷地依據集團各個事務和產品的需求進行規劃、規劃、迭代和線上打磨，閱歷了約3～4年的實踐，現在已運用于點/直播轉碼、云修改、移動端后處理等首要事務場景?？偨Y下來，比較傳統方案，BMF具有以下亮點：

首要，它能支撐運用多種言語開發模塊，并能經過引擎無縫串聯在一個pipeline里履行，還能經過插件化動態辦理，提高開發功率；其次，它能完結調度引擎深度優化，在提高靈敏性的一起做到功率無損，關于異構渠道的支撐比較傳統結構有較大優勢。它還能夠支撐多言語接口，關于不同言語的開發者十分友愛，更簡單上手，開源版別還供應了豐厚示例，掩蓋首要視頻場景，使開發者能夠低本錢構建視頻運用。一起，它還徹底兼容了ffmpeg的功用和規范，底層支撐了多種結構間的數據高效互轉。

接下來咱們詳細看下BMF的全體架構，它分為運用層，結構層，模塊層，和硬件籠統層。在運用層，BMF能夠對從出產到消費的全鏈路視頻場景進行支撐，特別是它也會支撐很多視頻AI的運用場景，并在架構層自研了“自驅調度”和“動態graph”引擎，適配不同場景的多種履行形式。

在模塊層，BMF在規劃之初就選用了“松耦合”規劃，現在已積累了140+個適用于視頻場景的原子才能模塊。在硬件籠統層，BMF對多種干流結構的數據完結了無縫轉化，使多種干流結構數據互轉和協同作業變的愈加順利和快捷。這兒值得特別強調的是，咱們和NVIDIA進行了嚴密的協作，針對GPU相關的結構層才能、處理才能進行了深度優化。

借此機會，我也特別共享給咱們，BMF現在現已全面開源。包含BMF結構層全體開源，9個開箱即用事例，和20+API調用典范，期望能協助開發者低本錢的構建視頻運用。開源今后，咱們方案繼續開源更多中心才能，完善解決方案，包含支撐更多異構硬件/更多原子才能/移動端支撐等。一起，依托火山引擎，構建云上模塊商場，加快視頻生態建設。

最終，期望咱們的愿景提前達到：面向各行各業，加快視頻化進程，共建視頻開發生態。