S3D 與 WibbleWobble

給好奇的玩家
關於該技術的通俗級別描述，說明其建構方式及運作原理。 如果您不感興趣，則無需閱讀——這是較為枯燥的內容。

遊戲如何繪製 3D
在遊戲中產生 3D 影像的常見方法是將場景渲染兩次—— 分別為左眼和右眼，虛擬地將攝影機相對於場景中心移動。 這非常耗費資源，並且需要遊戲引擎的內建支援。 並非所有遊戲都能做到這一點。WibbleWobble 提供了 兩種不同的路徑，它們之間的差異 是根本性的——它決定了影像品質和一組影像偽影。

路徑一：ReShade 客戶端——從平面幀合成立體影像
遊戲渲染一個普通的單一視圖。SuperDepth3D ReShade 效果獲取該幀以及 場景的深度緩衝區，並根據深度移動像素來重建第二個視點。 遊戲引擎對立體一無所知。這在性能上成本低廉，並且幾乎適用於 任何 DX11/DX12 遊戲。代價是該方法本身固有的偽影。 它們在下面的「缺點」部分中描述。

路徑二：OpenVR 客戶端——真正的 3D 渲染
WibbleWobble 在 SteamVR 中將自己註冊為一個虛擬 VR 頭戴式裝置。支援 VR 的遊戲，或帶有 VR 模組的遊戲， 會從兩個相距瞳距的攝影機渲染場景兩次，就像真實頭戴式裝置所做的那樣。 IPD、每眼解析度和焦距在 VR 設定中設定。這裡 WibbleWobble 不合成 任何東西：它獲取現成的立體對並將其逐幀輸出到螢幕， 同步快門眼鏡。這在性能上成本更高， 但 3D 幾何形狀絕對正確。沒有沿輪廓的孔洞，沒有「紙板」效果； 每隻眼睛都能獲得自己的反射和高光。本質上，這是一種在普通顯示器上使用 3D 眼鏡 但無需頭戴式裝置來玩 VR 遊戲的方法。

重投影——視野擴展機制
重投影在兩種模式下都有效，包括單眼模式。 一個高性能著色器獲取遊戲幀並將其映射到您工作區的幾何形狀上： 映射到單個顯示器、四個顯示器或曲面螢幕。 透過頭部追蹤 (OpenTrack)，影像會跟隨您的頭部移動，顯示器 開始充當通往虛擬世界的窗戶——「VR 魚缸」效果。 重投影的目的是為多顯示器使用獲得正確的世界比例和正確的視野 (FOV)。 可以完全關閉重投影 （客戶端設定 -> 重投影：已停用）並僅使用立體輸出、 BFI 和升頻器——這是單一顯示器的常見情況。
* 必須說明的是，該專案的作者對「將世界擴展」到多個面板的想法過於 樂觀。即使是強大的顯示卡也沒有足夠的性能來實現這一點。如果速度 足以應付單個 4K 顯示器，您就算幸運了。多個顯示器是行不通的...

FOV（視野）：視角。它決定了虛擬攝影機在幀中捕捉到世界的哪個部分。 以度為單位測量，分別針對垂直和水平方向。 小的 FOV（40-50°）看起來像長焦鏡頭：狹窄的區域，物體很大。 大的 FOV（100-120°）是廣角，像運動攝影機。您可以看到兩側很多東西， 但邊緣被拉伸，物體看起來更遠更小。這是 WibbleWobble 中的一個關鍵參數。 程式必須知道遊戲繪製幀時的角度， 才能將其正確地投影到您的實體顯示器上。 這就是為什麼遊戲設定有兩個欄位，FOV 垂直和 FOV 水平，並有一個要求： 該值必須與遊戲本身設定的值相符。更改一個值， 另一個值會根據視窗的長寬比自動重新計算。

如果 FOV：
太大，世界看起來像玩具，物體比例失真
太小，世界看起來巨大，一切事物都壓迫著您
在 3D 中，深度會隨著比例一起破壞，導致眼睛疲勞

頭部追蹤作為「通往世界的窗戶」
使用 OpenTrack 方法，應用程式處理器追蹤頭部的 位置並移動投影，使顯示器渲染出 通往 3D 場景的虛擬窗戶。這會產生視差效果。 當您移動頭部時，影像會略微移動， 就像您真的透過窗戶觀看一樣。

逐幀立體輸出
應用程式以可變速率從遊戲接收幀，因為它們準備好 「無論如何都會到來」。然後客戶端調整幀率以在 60 Hz 下播放。 立體對的來源可以是 SuperDepth3D、VR 模組或現成的 3D 內容。 WibbleWobble 接受並排或棋盤格格式（客戶端設定 -> 來源格式） 並在 FrameBufferDecode 中對其進行解碼。然後渲染器將其轉換為 120 Hz 的逐幀串流， 同時同步快門眼鏡。支援以下發射器： NVIDIA 3D Vision、Open3DOLED、DLP 投影機、3D Ready 以及自製的 Arduino/VESA IR 發射器。

對抗動態模糊和串擾
動態模糊是由顯示器產生的模糊。 現代 LCD 和 OLED 面板在幀的持續時間內保持像素點亮—— 即保持取樣模式。當像素保持點亮並固定在一個位置時， 眼睛會本能地繼續跟隨移動物體。 結果，即使在顯示器上每個單獨的幀都非常清晰， 影像也會在視網膜本身上「拖影」。 像素點亮的時間越長，拖影越強。這個缺陷隱藏了精細細節， 並進一步降低了 3D 模式下的影像品質。

為了減少像素點亮的時間，WibbleWobble 提供了兩種工具：
黑色幀插入 - 在有用幀之間插入黑色幀 （客戶端設定中的黑色幀插入間隔參數）。
CRT 光束模擬器，來自 Blur Busters - 一個模擬 CRT 電子束掃描的著色器： 它逐行而不是整個幀地消隱影像。 它提供了更好的結果，但對顯示器要求很高：需要 gamma 2.2 或 2.4、 停用 ABL/APL，並且 OLED 處於 SDR 模式。在 FALD 和 MiniLED 面板上效果不佳， 因為背光有慣性。

這兩種模式不能同時啟用。使用 CRT Sim 時，客戶端設定中的黑色幀插入間隔參數必須為零。 需要特別強調的是，遊戲的運行速率可能低於顯示器輸出幀的速率， 程式會填充缺失的幀直到顯示器的速率。但這不是生成 新的中間影像——而是重複現成的影像。 換句話說，沒有重採樣方法提供的平滑度。

串擾是指為一隻眼睛準備的影像 部分到達另一隻眼睛的效果。結果，觀看者會看到物體旁邊有雙重輪廓或半透明的 「鬼影」。這會降低 3D 影像的品質並減少深度感。 為了對抗這一點，內建了對黑色幀插入和 Blur Busters CRT 光束模擬器的支援。 為了全面抑制串擾，使用了一種巧妙的模式：遊戲影像以 60 Hz 繪製， 眼鏡以 120 Hz 接收同步，並以 240 Hz 的幀重複輸出到螢幕。

儘管有其優點，此方法存在一些限制 需要單獨說明。 它們並非源於程式的不完善，而是源於所選的運作原理。 第二個立體視點並非從場景模型渲染，而是從 已經完成的幀和深度圖重建。如果來源幀中前景物體後面隱藏了什麼 沒有數據，就無從恢復。

物體邊緣的孔洞——去遮擋
這是該方法的主要缺陷。當程式為第二隻眼睛 或頭部轉動移動視點時，來源幀中被前景物體邊緣隱藏的部分背景 應該變得可見。但沒有人渲染那些像素—— 它們物理上不存在。程式沒有東西可以填補這個空隙，因此它 要么拉伸邊緣像素，產生沿輪廓的「橡膠狀」模糊光暈， 要么替換一個「看似合理」但通常不正確的補丁。 視點移動越強烈，光暈帶越寬。這不是實現錯誤， 而是該方法本身的限制：您無法從單一影像中提取出 物體後面且不可見的內容。

頭部移動會放大失真
在普通立體中，視點之間的距離很小且恆定——等於 瞳孔之間的距離。但是使用「通往世界的窗戶」，頭部會在各個方向移動數十 公分，因此相對視點移動 比自然移動大很多倍，孔洞和拖影也變得更大。 結果是這樣的：坐著不動時幾乎沒有偽影，但 3D 效果也很弱； 移動很多時效果有了，但物體邊緣的一切都模糊且漂浮。

圖形依賴於深度圖
程式需要關於場景中每個點距離的正確資訊。 遊戲並不總是提供它，或者提供全部。透明表面——水、玻璃、煙霧、 火焰、樹葉——通常沒有詳細的深度，或者引擎根本不產生它。 結果，物體最終出現在錯誤的距離：水粘在錯誤的地方， 煙霧重疊，粒子懸浮在空中不同的位置。除此之外，並非每個遊戲都會輸出 相容的深度緩衝區——有些是反轉的，有些是受保護的且無法讀取。

反射和高光破壞最嚴重
鏡子、水、濕瀝青和金屬由其自身表面的深度定義，而不是由 其中反射的影像定義。當視點移動時，反射會漂移到 未知的地方。如果高光是「畫」在表面上的，它的行為不會像 在真實世界中那樣。正是那些最引人注目的光澤 內容在立體中看起來平坦且錯誤。

介面、準心和 HUD
幀頂部的二維元素——生命條、選單、準心——是在 零深度繪製的，因此處理後它們會出現在錯誤的立體距離。 介面要麼刺入螢幕，要麼懸掛在場景前面。準心本身是一個 頭痛的問題；它的深度位置幾乎總是需要手動調整。

雙眼共用一個幀
兩隻眼睛看到相同的影像，只是移動了。使用真實的 立體渲染，每隻眼睛會獲得自己正確的高光、陰影和折射； 這裡不會發生這種情況。因此，物體看起來像是扁平的圖層， 像是用膠合板切割出來並按深度排列，而不是體積物體。 在英文資料中，這種效果被稱為「cardboard cutout」效果。

每個遊戲單獨調整
視野、深度範圍和會聚度是為每個遊戲 單獨手動設定的。設定錯誤會導致因過度會聚而產生的眼睛疲勞，或者 錯誤的比例，世界看起來像玩具或巨大，甚至 完全相反的深度。這是一個「調整並弄清楚」的解決方案，而不是一個 「安裝即玩」的解決方案。

延遲和不均勻的幀
遊戲渲染幀不均勻，客戶端透過重複現成的幀 將它們調整到顯示器穩定的 fps。 重複本身不會引入失真，但動作和影像之間的 延遲會累積：幀捕獲、處理、輸出。對於頭部追蹤， 任何此類延遲都會被感覺為場景的「浮動」。遊戲設定有一個 幀捕獲延遲參數，用於調整捕獲時機。

殘留串擾和對顯示器的高要求
軟體技術——黑色幀插入和 60/120/240 模式——抑制鬼影， 但不能完全消除它，因為串擾由許多因素決定： 顯示面板和眼鏡本身的物理特性。它取決於像素響應時間、 切換速度、眼鏡鏡片的對比度以及螢幕的垂直繪製速率。 此外，最激進的模式需要一個具有短像素持續時間的快速 240 Hz 面板， 這並非每個使用者都有。 與 NVIDIA 3D Vision 不同，ReShade 不會再現 現成的體積，而是從平面幀合成它。這就是為什麼沿輪廓的孔洞、 不正確的反射和浮動邊緣是該方法的穩定偽影， 而不是暫時的缺點。

這裡的立體幾何是真實的，並且影像合成偽影——去遮擋、「紙板」、 破碎的反射——在這裡都不存在。但這種方法也有其自身的代價，而且是不同的代價。

遊戲必須支援 VR
這是主要的限制。該方法不適用於任意遊戲：它需要內建 VR 支援或 VR 模組。如果沒有現成的模組，OpenVR 路徑將無法工作， 只剩下帶有所有偽影的 ReShade。 換句話說，第一條路徑存在的廣泛相容性 在這裡完全喪失了。

顯示卡的雙重負載
場景確實被渲染了兩次，來自兩個攝影機。沒有 單一視圖重投影所提供的節省：性能下降就像在真實 VR 中一樣。 這可以透過 VR 設定中的解析度設定來部分補償——每眼解析度可以 降低，WibbleWobble 會將影像放大到顯示器的解析度。

複雜的安裝
必須安裝 SteamVR。驅動程式透過以管理員權限執行 Install.bat 註冊， 之後必須手動將兩行內容添加到 config\steamvr.vrsettings 檔案中： "forcedDriver": "WibbleWobbleVR" 和 "activateMultipleDrivers": "true"。 然後在僅站立模式下完成房間設定。任何步驟出錯，您得到的將是 一個黑屏，而不是立體影像，並且沒有關於原因的明確訊息。

OpenVR 本身的限制
某些設定無法即時更改。如果您更改解析度或輸出速率， 則需要重新啟動 SteamVR。這是平台限制，而不是程式限制， 但它會顯著減慢遊戲調整速度。

渲染最佳化會破壞某些遊戲
VR 設定有一個最佳化單眼參數，允許僅渲染一隻眼睛 或兩隻眼睛以一半 FOV 渲染。該專案的作者直接警告：「兩眼」模式是最有問題的 模式——可能出現暗角、眼睛不同步，並且影像可能 「偏移」。在某些遊戲中，將不得不完全關閉最佳化。

爭奪視窗焦點
某些遊戲不會將焦點交給 WibbleWobble 介面： SHIFT + END 組合鍵不起作用，或者 UI 已繪製但無法控制。 您必須透過 ALT + TAB 手動切換。 一個單獨的問題：WibbleWobble 視窗不能關閉—— 程式之後無法恢復，遊戲將不得不重新啟動。

每次啟動都需要重新置中
每次啟動時都必須手動將追蹤置中 (SHIFT + .)，精確定位於 螢幕前工作區域的中心。如果置中時頭部不在那裡， 重投影會開始表現異常，比例會「漂移」。 根據作者自己的承認，要達到正確的位置需要練習。 這可以稍後透過使用更智慧的追蹤軟體來解決。

個別應用程式的怪癖
某些程式僅適用於特定品牌的頭戴式裝置。為此，VR 設定 有一個頭戴式裝置識別參數，使 WibbleWobble 將自己呈現為不同的 設備——例如 Vive——沒有這個，頭部追蹤在 DEOVR 中就無法工作。換句話說， 相容性在某些地方依賴於像這樣的變通方法。

與第一條路徑的共同點
關於硬體的一切對兩種方法都適用：殘留串擾、 對快速面板的要求、精確眼鏡同步的需要。立體輸出、 發射器、BFI 和 CRT Sim 的工作方式相同，無論立體對來自何處。