鑽石舞台

19歲，是很多人從高中邁向大學的年紀。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

作者｜光譜郵箱｜duchen@pingwest.com

來源｜硅星人（guixingren123）

今年10月底，硅谷頂級科技公司 Facebook 宣布改名 Meta，讓這個新名稱的詞源「元宇宙」(metaverse)，一下子成為了整個科技行業最火的新概念。

一時間，各種「弄潮兒」行為此起彼伏。有人出了元宇宙的「第一本書」，有人成為了元宇宙「頭牌分析師」，有人已經在賣元宇宙的知識付費課程……

就連斯坦福大學，都在這個學期推出了一門特別有元宇宙「味兒」的課程：

這門課的編號為 COMM166/266，課題為《虛擬人》，學生可以在自己的宿舍里，或者世界的任何地方，戴上 VR 頭顯，遠程上課。最多的時候，可能有將近300名學生同時間出現在同一個虛擬的」課堂「上。

這些課堂，有可能是一個虛擬的博物館，也有可能是一些更加生活化的場景，或者是地球上最少人去過的角落，比如火山口和海底暗礁。根據課程安排，所有學生今年一同在 VR 里完成的課時總長，將會超過3300小時……

更重要的是，COMM166/266 成為了斯坦福大學歷史上第一門完全在 VR 里進行的課程。

斯坦福大學傳播學教授 Jeremy Bailenson 表示：「在這門課里，學生可不是偶爾玩玩 VR。事實上，VR 將成為我們這堂課的基石。」

快20年的老課，這次有了新意

Bailenson 教授也是斯坦福虛擬人交互實驗室 (Virtual Human Interaction Lab, 簡稱 VHIL) 的發起人和總監。他從2003年就開始在斯坦福大學教《虛擬人》這堂課了。

據 Bailenson 介紹，《虛擬人》是斯坦福大學關於 VR 技術的「旗艦課程」。學生們並且完全在 VR 環境裡完成課程，這還是頭一次。今年，他們終於能夠在一個真正的虛擬空間裡，扮演貨真價實的「虛擬人」了……

「從來沒人組織過上百名學生，在幾個月的時間裡，一起戴着 VR 頭顯，遨遊在虛擬的空間裡。據我了解，在虛擬現實，在教育的歷史上，這樣的事情從未有過，」Bailenson 表示。

「在別的學校，可能有一堂課十來人一起用 VR。而在我們這堂課上，會達到數百人的規模，我們有超過一半的時間都會在 VR 里度過。在這堂課上，我們將要突破 VR 體驗的規模邊界。」

VR 正在越來越受歡迎，據統計，使用中的 VR 設備系統數量，僅在美國就超過1000萬台。

而 COMM166/266 課程，將讓學生從流行文化、工程、行為科學、傳播學等多個不同的角度，對 VR 這項很快就將隨着元宇宙的爆紅而成為主流的技術，實現更加深入的了解。

課上會用到的 VR 場景也五花八門。

有博物館：

圖片來源：VHIL

有實驗室，學生可以一起在虛擬的空間裡做實驗：

圖片來源：VHIL

有「虛擬實景」的實地考察，學生們可以在這裡，通過 360° 全景視頻的方式，觀看海底珊瑚礁逐漸被人類活動摧毀的樣子：

圖片來源：VHIL

還可以在虛擬環境裡上體育課……

圖片來源：VHIL

學生自己在 VR 里創建的空間：

今年很多斯坦福學生都報名了這一課程。最後入選的263名學生，來自經濟學、傳播學、人類學、計算機、比較文學、心理學、社會學、政治學等，系別多樣性非常高。

更厲害的是，每一位入選 COMM166/266 的學生，都可以在斯坦福校園領到一台 Oculus Quest 2 頭顯以及配套的雙手柄。那些不在本地的學生，學校也會把設備給他們寄過去：

課程的設計很有意思：它更強調從實踐中學習，要求學生們更多體驗和參與 VR 場景，甚至自己設計場景。這堂課的核心，就是讓學生能夠在一個全新的、虛擬的、可交互的環境裡，去感受那些過去只能在書本上學到的東西。

比如，當我們談論種族歧視的時候，無論教師再怎麼講解，一個白皮膚的人也很難切實體會到有色人種日常所經歷的種種歧視。而在 COMM166/266 的課程當中，就有這麼一節課，場景是斯坦福大學 VHIL 和哥倫比亞大學社會學教授 Courtney Cogburn 教授共同設計的。

這節課名叫「1000 Cut Journey」，之前作為 VR 沉浸式體驗內容，曾經在 Tribeca 電影節上備受關注。在這節課上，學生扮演一位名叫 Michael Sterling，親身體驗他從小到大所經歷過的，各種各樣的種族歧視行為。

是讓學生在虛擬空間裡扮演黑人，親身體驗一位黑人在日常工作和生活中受到的各種各樣的歧視。

計算機系學生 Allison Lettiere 表示，在此之前，自己對 VR 的刻板印象是只能用來玩遊戲。而在上過這堂課之後，她發現，VR 也很適合用來打造一種更加身臨其境的體驗，幫助人們建立共情，這對於她所關注的技術無障礙方向非常重要。

明年即將畢業的學生 Hana Tadesse 也對 COMM166/266 評價很高：「親身體驗是了解事物的最佳方式，而這堂課真的做到了這一點。」

一開始為了應對疫情，如今 VR 上課已成元宇宙敲門磚

自從2003年《虛擬人》課程在斯坦福大學創立，VR 硬件一直是該課程的一部分，不過在過去，通常是由助教和學生志願者來進行演示，同時使用的人數，以及多人共享的 VR 空間的規模，從來沒有像今天這麼大。

然而在去年，新冠疫情突然襲來。和美國很多大學一樣，斯坦福大學所有課程都不得不採用遠程授課的方式進行。

新冠帶來了挑戰，也帶來了機遇。Bailenson 教授意識到，雖然疫情讓同學們無法在物理空間裡相見，自己已經研究了幾十年的 VR 技術，反而可以在疫情時代把同學們重新聚在一起。

「更重要的是，在遠程授課了一年多之後，大家真的已經受夠了 Zoom 了，」教授表示，有了 VR 技術，大家終於「打破」了 Zoom 的網格畫面，嘗試了大量和過去完全不一樣，並且非常令人興奮的東西。

（Bailenson 教授的實驗室也發布過 Zoom 疲勞方面的研究報告）

為了進一步打造強互動性的課堂體驗，COMM166/266的助教還會頻繁組織小組討論。學生們通過 VR 虛擬人化身的方式，一起站在一個虛擬的空間裡——這種體驗引入了空間維度（儘管仍然是虛擬的），比學生們之前在 Zoom 里上課和開會的體驗要更容易代入、更不容易疲勞。

雖然上課還是要開着 Zoom，但你也能看到大家在 VR 里玩的多麼開心了圖片來源：VHIL

這堂課已經在斯坦福大學如火如荼地展開，它的受歡迎程度，也正好映射了「元宇宙」作為一個新的流行技術概念，現如今在斯坦福大學之外的硅谷科技行業有多麼時髦。正如文章開頭提到，硅谷頂樑柱級別的公司 Facebook，甚至改了自己的名字，只為了證明自己「all in」元宇宙的決心。

「我們這堂課就是元宇宙，」Bailenson 說道，「這堂課就是構建元宇宙的標準範例，我們的課程涵蓋了硬件、軟件、內容，以及人，並且我們的目標，就是構建持久的、充滿了虛擬人的空間和場景，並且真的使用它們來達成（教學）目標。」

Jeremy Bailenson 教授

這位教授更長遠的目標，就是讓學生儘快、更加深入地熟悉 VR，畢竟它已經奠定了作為元宇宙核心技術之一的地位，將在未來的元宇宙時代成為關鍵的傳播工具和載體。

在 Bailenson 教授看來，對於 VR 技術來說，今天可能也是決定未來幾十年科技走向的關鍵時間點。在此時此刻，讓斯坦福大學的學生們了解、熟悉、掌握 VR 技術——進而，他們就可以延續硅谷創新的路徑，用 VR 技術去推動科技的進步。

「從21世紀初，到今天，VR 已經有了長足的進步。我相信在斯坦福學生的手中，它還將繼續開花結果。」Bailenson 教授表示。

*註：封面圖來自於 Ula Lucas for Stanford Daily，版權屬於原作者。如果不同意使用，請儘快聯繫我們，我們會立即刪除。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

作者｜鍾文

12月8日，OPPO在官博上首次宣布了旗下的「馬里亞納 MariSilicon X」芯片即將面世。

據品玩了解，OPPO造芯的動作最早可以追溯到2017年。OPPO 100%持股的上海瑾盛通信科技有限公司在當年12月正式註冊成立，經營項目涉及了「集成電路設計和服務」，這是公眾第一次將OPPO與自營半導體業務聯繫在一起。

隨後的兩年時間裡，OPPO在官方招聘發布了相應的芯片工程師崗位，內部成立了芯片技術委員會，隨着旗下全資子公司更多地涉及到芯片業務，2021年，「馬里亞納計劃」第一次在OPPO的《對打造核心技術的一些思考》的內部文章中提及。

早在今年3月時，品玩也聽說OPPO內部造芯團隊已經迅速增長到了驚人的2000人的規模，並且主要研究方向也與市面上已經存在的方案不同。

經歷了近五年的傳言之後，OPPO這次決定讓這項計劃的首個成果正式與人們見面。

馬里亞納是目前已知的世界上最深的海溝，海溝底部於海平面下之深度大於珠穆朗瑪峰海平面上的高度，代表着自研芯片之艱難。OPPO創始人兼首席執行官陳明永表示，「馬里亞納 MariSilicon X只是OPPO自研芯片的一小步，OPPO未來會持續投入資源，用幾千人的團隊，去腳踏實地做自研芯片。無論前路多少挑戰，我們都將堅持不懈，咬定青山不放鬆。」

2021年12月14日，OPPO在主題為「致善·前行」的第三屆OPPO未來科技大會2021 （OPPO INNO DAY 2021）上發布OPPO首款影像專用NPU——馬里亞納 MariSilicon X。馬里亞納 MariSilicon X是OPPO第一顆自研芯片，也是全球首顆為影像而生的專用NPU芯片，更是OPPO在技術攻堅道路上的又一場豪賭。

那些坐在板凳上的賭徒們

這一兩年間，全球手機市場確實發生了很大變化：全球經濟形勢下，中國手機市場正在經歷一次洗牌，有的品牌從線上走到了線下，力求擴大份額，有的品牌把精力放在自研高端技術上，希望撐起品牌向上一躍的需要；而華為在海外市場遭遇滑鐵盧之後，蘋果卻藉助體系化的能力在高端市場製造了強者恆強的業態。

可以看到，在這個市場階段，自研芯片的產品不光是帶來了更多差異化的功能，也增強了手機廠商在技術體系上的控制能力。而以過去的技術迭代經驗來看，技術競爭的背後也代表着手機市場階段性的優勝劣汰。

簡單來說，過往的快速迭代產品的方式已經不能滿足市場，如今的手機廠商需要感知到用戶更細分的需求，打造出更具差異化的產品，增強產品的競爭力。正如陳明永所言：「如果沒有底層核心技術,就不可能有未來,沒有底層核心技術的旗艦產品更是空中樓閣。」在這個方向，自研芯片就成了必經之路。

自研芯片的熱潮就成為了如今國產手機深度介入半導體行業的一個側影。但眾所周知，芯片是一個需要坐十年冷板凳的工程。

以往我們熟悉的手機芯片，其實更多的是指SoC，即片上系統。片上系統其實是一個更複雜龐大的系統，而這個片上系統是包括中央處理器CPU、圖形處理器GPU、數字信號處理器DPS、基帶芯片Modem、圖像處理器ISP以及神經處理單元NPU等元器件組成的集合。

但無論是蘋果，還是華為三星，都在自有處理器的研發上，耗費了近乎十年的精力。這十年，我們往往看到的只是芯片產品化的能力在不斷迭代，而在背後，其消耗的人力、資金與物力往往更為驚人，是一家企業需要背負的長期戰略。

市場的普遍論調是，芯片研發是一項技術研發功底要求高，持續投入時間長，並且長時間看不到回報的產業。

所以在直接做出SoC之前，雙芯架構成為了如今手機廠商的一個主流方向。一般來說，SoC可能採用市場成熟的方案，但因為要打造差異化的功能，將內部某個元器件像搭積木一樣替代成為了研究方向。這種方式也更加實際，也便於為消費者帶來差異化感知，因為通用芯片無法滿足不同廠商對於某方面性能的專用需求，專門定製符合自己需求的芯片有助於廠商推進自己的技術路線。

比如國產手機廠商這兩年扎堆了「ISP定製」。今年內，vivo宣布了首款影像旗艦vivo X70系列，而內部搭載的就是旗下首款自研ISP（圖像信號處理器）芯片V1。小米旗下澎湃C1芯片也搭載在小米MIX FOLD這款旗艦手機上，主打的也正是ISP相關的功能。

事實上，華為在手機影像領域大放異彩之前，也正是通過收編了德州儀器解散的OMAP團隊，在麒麟950上打造了自研ISP，一舉奠定了華為手機後續在市場上的絕對影像實力，進而橫掃高端手機市場。這似乎是一條已經被驗證為正確的道路。

但這次，ISP並非是OPPO此次瞄準的方向，馬里亞納 MariSilicon X的定位是全球首款NPU芯片。

手機廠商瞄準NPU方向，在行業中並不多見。

為什麼是NPU？

區別於ISP，其實在片上系統中，NPU在AI算法場景中更重要。

智能手機將我們帶入移動互聯網時代之後，AI也逐步進入到了手機。如果仔細關注時下的智能手機，AI功能已經逐步拓展嘗試了一些產品化，比如AI網絡加速、AI節能優化、AI智慧識別、AI識圖翻譯以及手持超級夜景等等，幾乎都已經脫離不開AI的加速運算。

而且AI也用於拍照的功能，比如計算攝影——拍攝後通過AI智能修圖，自動調整到更好的顏色和曝光；或者是取景時的智能場景識別——自動調整為「寵物」模式，也都運用到AI計算的能力。

ISP和NPU的方向完全不同。從概念上，可以說NPU將AI算力賦予手機，實現更多功能的優化，能覆蓋的場景更多——而這種算力恰恰是ISP所不具備的。

OPPO提到，首款影像專用NPU——馬里亞納 MariSiliconX採用DSA架構，目前全球前沿科技公司都在採用DSA做AI，比如Google的Tensor，因為DSA的AI芯片比GPU性能更好。但是使用DSA架構也意味着這顆芯片的專用性，對於廠商的芯片方向規劃要求極高，需要提前預判在芯片研發到商用的幾年內，影像風口究竟在哪裡，接着便是定下用戶需求的精準方向一往無前。

在方向上，OPPO預判了未來計算攝影的發展方向，並洞察影像發展趨勢，讓「影像飽和競爭後視頻成為新錨點」，通過馬里亞納MariSilicon X用AI技術解決傳統手機影像難題——弱光視頻畫質，將計算攝影推向了4K+20bit RAW+AI+Ultra HDR的新極限。

也就是說，OPPO要實現自己的影像目標，需要通過自研專用NPU的形式，最大化地解決算力和能效的問題，而通用芯片可能已經無法滿足AI對計算影像提出的算力和能效要求。

同時，自研芯片讓OPPO首次完成影像鏈路的垂直整合，有能力解決行業長期以來的影像難題，包括傳感器定製化使用、三方APP生態等。

NPU芯片會給用戶帶來什麼便利？

馬里亞納 MariSilicon X可以說是OPPO研發體系的一次豪賭。從一開始，OPPO馬里亞納 MariSilicon X從架構設計、核心IP設計、邏輯設計以到物理設計均是OPPO自研。

馬里亞納 MariSilicon X在設計上選擇了更高難度的6nm先進制程工藝。市面上，其實並沒有任何6nm獨立NPU的參考設計，這意味着這項工作本身也不具備可參考性，高投入、高風險、高難度和高不確定性不言而喻。

據品玩了解，同時1次流片費用高達1個億，正式流片實驗前沒人知道是否成功，一旦失敗就面臨推倒重來。

不過如今馬里亞納 MariSilicon X的面世，應該也意味着OPPO最艱難的時候已經過去。當然，未來還有許多挑戰等待着他們。

但就目前而言，馬里亞納 MariSilicon X究竟可以給用戶帶來哪些便利？

從AI能效突破上：馬里亞納 MariSilicon X 18Tops AI算力甚至超過蘋果A15；能效11.6Tops/w，運行OPPO AI降噪模型的速度是達到Find X3 Pro（驍龍888）的20倍，能效達到40倍。每瓦11.6TOPS的優秀能效意味着能夠讓智能手機運行複雜的AI降噪模型，得以實現視頻AI降噪。

有了馬里亞納 MariSilicon X後，應用的產品也有機會最高支持人眼級別的20bit Ultra HDR，能覆蓋100萬：1的最大亮度範圍，是目前行業主流HDR能力的4倍。這意味着該機能夠支持更高動態範圍的HDR視頻，這甚至也超過了高通全新一代驍龍8平台。

實際上，高動態範圍的視頻不止是展現。熟悉視頻製作的人來說，展現只是其中的一環，而影像一般涉及到拍攝、解碼和製作等視頻工業流程的各個部分——這些也因為馬里亞納MariSilicon X的加入也得到提升。

RAW域是計算攝影的黃金點，馬里亞納MariSilicon X支持20bit RAW計算，將傳統只能在後處理完成的計算推向了最前端，為整個影像鏈路輸出無損計算後的高質量數據，能帶來基礎畫質的提升。

此外，馬里亞納MariSilicon X充分發揮了RGBW的更強能力，通過雙鏈路的設計和2xRAW計算，實現8.6dB信噪比提升和1.7倍解析力提升。

在功能上，馬里亞納 MariSilicon X首次在4K 30幀AI HDR視頻中實現超清夜景照片的清晰畫質，讓視頻每一幀都是一張好照片。

也可以說，配備馬里亞納 MariSilicon X的產品將是一部從底層AI運算，到視頻質量，再到色彩都得到倍數提升的影像旗艦產品。

走入無人之境的OPPO

2019年，OPPO創始人兼首席執行官陳明永就曾表示，OPPO要勇於邁入研發創新的深水區。「這是我們必須要做的，我們無路可走，通過核心基礎技術的創新突破，OPPO才有自己的技術護城河。」

而選擇不「跟隨」其他友商扎堆ISP領域，說明在首次影像鏈路垂直整合的道路上，OPPO擁有着自己獨立的思考和判斷。

OPPO打造馬里亞納 MariSilicon X的目的，正是建立一套「影像體系化」能力。

「拍照比拼已難分勝負，視頻成為了下一個競爭賽道」，這個挑戰難度更高的視頻實時處理的初心，正是這套體系化能力的開始。

從實現的功能上來說，OPPO能同時實現的4K+AI+HDR規格夜景視頻，確實也已經達到了目前手機影像天花板。

如今的蘋果之所以可以成為蘋果：正是因為最初從元器件的自研定製起步，逐步打造出了一套從硬件底層，到軟件功能，再到三方app開發的生態閉環。

OPPO的眼前仍是一條無人的道路。但就如陳明永所說的，「堅持做正確的事情，對的路，就不怕遠，不怕難。」

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

LOGO｜第199期

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()