基于人眼特性的分區(qū)時(shí)分復(fù)用3D視網(wǎng)膜投影顯示

為觀察者構(gòu)造密集視點(diǎn)是實(shí)現(xiàn)3D顯示的重要技術(shù)方案。密集視點(diǎn)視網(wǎng)膜投影顯示系統(tǒng)通過空間、角度或者時(shí)間復(fù)用技術(shù)在系統(tǒng)的出瞳處形成多個(gè)視點(diǎn)，在擴(kuò)大系統(tǒng)出瞳的同時(shí)為每個(gè)視點(diǎn)輸入正確的視差圖像信息^［19］，當(dāng)視點(diǎn)間隔小于人眼瞳孔直徑時(shí)，觀察者即可獲得單眼調(diào)焦深度信息，從而實(shí)現(xiàn)3D視網(wǎng)膜投影顯示。密集視點(diǎn)的3D視網(wǎng)膜投影系統(tǒng)的成像過程示意圖如圖1所示。假設(shè)系統(tǒng)在眼睛瞳孔平面處形成三個(gè)視點(diǎn)，分別與三個(gè)視差圖像相對(duì)應(yīng)，遠(yuǎn)處的3D像點(diǎn)F由視差圖像上的F₁、F₂、F₃三個(gè)像素合成，近處的3D像點(diǎn)N由對(duì)應(yīng)圖像上的N₁、N₂、N₃三個(gè)像素合成。如圖1（a），當(dāng)單眼調(diào)焦深度A位于點(diǎn)F所在深度平面Z_F時(shí)，F₁、F₂、F₃三個(gè)像素對(duì)應(yīng)的光線將匯聚在視網(wǎng)膜平面上形成一個(gè)清晰的像點(diǎn)。而像素N₁、N₂和N₃對(duì)應(yīng)的光線在視網(wǎng)膜后方重合，所以近處的像點(diǎn)N會(huì)在視網(wǎng)膜上形成一個(gè)模糊的圖像。同理，A位于點(diǎn)N所在深度平面Z_N時(shí)，如圖1（b）所示，像素N₁、N₂和N₃對(duì)應(yīng)的光線在視網(wǎng)膜上形成一個(gè)聚焦的像點(diǎn)，而遠(yuǎn)處的物點(diǎn)F在視網(wǎng)膜前聚焦，在視網(wǎng)膜上形成一個(gè)模糊的圖像。所以，密集視點(diǎn)的3D視網(wǎng)膜投影顯示技術(shù)可為觀察者提供單眼調(diào)焦深度信息。

圖1  密集視點(diǎn)視網(wǎng)膜投影系統(tǒng)的成像過程

Fig. 1  The imaging processes of the retinal projection system with dense viewpoints

如圖1（a）所示，將顯示屏所在平面Z₀作為參考平面。在密集視點(diǎn)3D視網(wǎng)膜投影系統(tǒng)的成像模型中，同一物點(diǎn)發(fā)出的不同方向的光線將分別依次穿過顯示平面上不同的像素點(diǎn)和瞳孔平面上不同的視點(diǎn)，這些不同方向的光線被眼睛聚焦后形成像點(diǎn)。對(duì)像點(diǎn)F或者N點(diǎn)來說，其成像位置由相似三角形可推出，即

式中，d為視差圖像上同一物點(diǎn)對(duì)應(yīng)像素的間距，v為視點(diǎn)間距，Z為像點(diǎn)深度，Z_pupil為瞳孔平面深度。對(duì)于給定的系統(tǒng)，參數(shù)Z_pupil、v、Z₀一定，所以像點(diǎn)深度Z是關(guān)于d的函數(shù)，即可以通過調(diào)制參數(shù)d重建不同深度位置的圖像。

人眼在觀察景物時(shí)，光信號(hào)從眼睛傳入大腦神經(jīng)形成視覺形象，需經(jīng)過一段短暫的時(shí)間。同樣，光的作用結(jié)束后，視覺形象并不立即消失，也需經(jīng)過一段時(shí)間后才消失，這一現(xiàn)象被稱為“視覺暫留”。時(shí)分復(fù)用技術(shù)利用人眼的視覺暫留特性，采用大于人眼時(shí)間分辨率的頻率對(duì)圖像組進(jìn)行高頻顯示，可以讓人眼感受到多幅圖像信息疊加的效果，所以可利用視覺暫留形成3D效果。人眼的單眼視角可達(dá)150°以上，但是只有投射到中央凹區(qū)域的圖像才能夠被精確分辨，而外圍區(qū)域的圖像分辨率明顯降低。人眼的這種特性在實(shí)現(xiàn)高分辨率聚焦的同時(shí)有利于壓縮冗余的周邊數(shù)據(jù)。通常情況下中央凹區(qū)域的視角約為5°，中央凹區(qū)域外又分為有效視域和誘導(dǎo)視域。有效視域一般小于30°，超過30°則是誘導(dǎo)視域，也稱為余光區(qū)域。中央凹區(qū)域也是對(duì)深度信息最敏感的區(qū)域。根據(jù)上述特性，提出了分區(qū)時(shí)分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)，在中心注視區(qū)域采用3D視網(wǎng)膜投影顯示技術(shù)，實(shí)現(xiàn)具有單眼調(diào)焦深度信息的真3D顯示。對(duì)邊緣背景區(qū)域采用短焦目鏡和液晶顯示器件實(shí)現(xiàn)大視角顯示。

圖2為所提出的分區(qū)時(shí)分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)示意圖。該系統(tǒng)由三個(gè)子系統(tǒng)構(gòu)成，分別為：①采用3D視網(wǎng)膜投影技術(shù)的中心注視區(qū)域顯示子系統(tǒng)（綠色虛線框區(qū)域）、②邊緣背景區(qū)域顯示子系統(tǒng)（紅色虛線框區(qū)域）、③光源陣列子系統(tǒng)（藍(lán)色虛線框區(qū)域）。光源陣列子系統(tǒng)由三色發(fā)光二極管（Light Emitting Diode，LED）陣列和準(zhǔn)直透鏡構(gòu)成。LED陣列發(fā)出的光束通過準(zhǔn)直透鏡后形成平行光束，進(jìn)入中心注視區(qū)域顯示子系統(tǒng)。

圖2  實(shí)驗(yàn)系統(tǒng)成像光路示意圖

Fig. 2  Schematic diagram of the imaging light path of the experimental system

中心注視區(qū)域顯示子系統(tǒng)包括：全內(nèi)反射（Total Internal Reflection， TIR）棱鏡、高刷新率數(shù)字微鏡器件（Digital Micro mirror Device，DMD）顯示器、分束器（Beam splitte）、反射鏡（Reflector）、目鏡（Eyepiece）。光源陣列（LED array）子系統(tǒng)發(fā)出的平行光通過TIR棱鏡耦合后照明DMD顯示屏，光線通過DMD反射后透過TIR棱鏡，被分束器分為左右兩部分，分別對(duì)應(yīng)左右兩個(gè)觀察通道。左/右通道的光線通過反射鏡和目鏡1后在左/右眼瞳孔附近形成多個(gè)視點(diǎn)。DMD顯示屏位于目鏡1的一倍焦距以內(nèi)，其顯示區(qū)域分為左右兩部分，分別通過左右通道的目鏡1形成虛像。LED陣列、DMD與控制系統(tǒng)連接?？刂葡到y(tǒng)按照時(shí)序控制DMD刷新顯示，同時(shí)控制LED陣列中的點(diǎn)光源按照相同的時(shí)序依次同步照明。DMD刷新的圖像為各個(gè)視角對(duì)應(yīng)的視圖，這些視圖與點(diǎn)光源的照明角度對(duì)應(yīng)的視角相匹配。形成利用時(shí)分復(fù)用技術(shù)投影的多視角圖像。當(dāng)系統(tǒng)控制時(shí)序的頻率足夠高時(shí)，利用人眼的視覺暫留效應(yīng)即可在出瞳處形成密集視點(diǎn)的觀察窗口，實(shí)現(xiàn)3D視網(wǎng)膜投影顯示。

該子系統(tǒng)的DMD屏幕和目鏡1之間的距離（物距）s=s₁+s₂+s₃。目鏡1到DMD的虛擬圖像的距離（像距）為s′=（1/f₁-1/s）^-1。由于DMD需要同時(shí)顯示左眼和右眼圖像，左眼使用的半塊DMD顯示區(qū)域的寬度用w表示，虛擬圖像尺寸為W=w f₁/（f₁-s）。中心區(qū)域橫向最大視場(chǎng)角FOV₁=2arctan（w/f₁）。LED陣列中LED的間隔為V，子系統(tǒng)產(chǎn)生的視點(diǎn)的間隔為v，其大小為v=V f₁ / f₂。DMD的幀速率為F_DMD，視點(diǎn)的數(shù)量為n，系統(tǒng)顯示的3D圖像的幀速率為F_3D=F_DMD/n。

邊緣背景顯示子系統(tǒng)由液晶顯示器（Liquid Crystal Display，LCD）、目鏡2和作為光學(xué)合成器（Optical combiner）的半透半反射鏡構(gòu)成。其中目鏡2為短焦目鏡，用于獲得大的邊緣視角。LCD位于目鏡2的一倍焦距以內(nèi)，目鏡2的光軸和出瞳通過半透半反鏡后與目鏡1的光軸和出瞳重合。邊緣背景顯示區(qū)域的半徑約等于目鏡2的半徑r，從而背景區(qū)域的視場(chǎng)角FOV₂=2arctan（r/f₃）。人眼可以通過重合的出瞳同時(shí)看到中心注視區(qū)域的3D圖像和邊緣背景區(qū)域的廣角圖像信息。這種分區(qū)域顯示的方法可以在保證人眼視覺中心區(qū)域獲得精確3D顯示的同時(shí)，獲得大視角的邊緣信息，從而優(yōu)化顯示效果，降低計(jì)算負(fù)載。

為驗(yàn)證技術(shù)方案的可行性搭建了分區(qū)域時(shí)分復(fù)用的3D視網(wǎng)膜投影顯示系統(tǒng)。由于左右觀察通道的對(duì)稱性，圖3以左眼觀察通道為例展示了實(shí)驗(yàn)系統(tǒng)實(shí)物。系統(tǒng)的光源陣列由間距V=3.0 mm的4×4的彩色LED陣列構(gòu)成，每個(gè)LED由紅綠藍(lán)三個(gè)發(fā)光區(qū)組成，發(fā)光面積為1.5 mm²。準(zhǔn)直透鏡的焦距為f₂=130 mm。中心注視區(qū)域顯示系統(tǒng)中，DMD的幀速率設(shè)定為F_DMD=4 800 Hz，分辨率為1 920×1 080，像素大小為10.8 μm，屏幕尺寸為20.7 mm×11.7 mm。目鏡1的焦距為f₁=90 mm。DMD與目鏡1之間的物距為79.6 mm，即s=s₁+s₂+s₃=79.6 mm。DMD的虛像和目鏡1的距離為s′= 685 mm。中心注視區(qū)域的橫向視場(chǎng)角為FOV₁=7.41°。視點(diǎn)的間隔為v＝2.0 mm。出瞳面積為7 mm×7 mm。由于系統(tǒng)分時(shí)復(fù)用產(chǎn)生16個(gè)視點(diǎn)的信息，且每個(gè)視點(diǎn)包含紅綠藍(lán)三色子圖，所以當(dāng)DMD幀頻設(shè)置為4 800 Hz時(shí)，中心注視區(qū)域3D圖像的幀速率為F_3D= 100 Hz，在利用人眼時(shí)間暫留效應(yīng)的同時(shí)，可以有效避免圖像閃爍的問題。為確保照明和顯示的嚴(yán)格同步，使用計(jì)算機(jī)軟件對(duì)基于FPGA的DMD和基于單片機(jī)的LED陣列進(jìn)行協(xié)調(diào)控制。邊緣背景區(qū)域顯示系統(tǒng)中，目鏡2的焦距為f₃=63 mm，透鏡半徑r=20 mm。LCD的分辨率為2 560×1 440，像素大小為47.3 μm，屏幕尺寸為68.0 mm×121.0 mm。邊緣背景區(qū)域的視場(chǎng)角FOV₂=32°。半透半反射鏡的厚度為1.1 mm，其中一面鍍?cè)鐾改?，一面鍍半透半反射膜，以最大限度減小重影。通過半透半反鏡將目鏡1和目鏡2的光軸和出瞳精確重合形成系統(tǒng)出瞳，在系統(tǒng)出瞳處即可看到顯示效果。

圖3  實(shí)驗(yàn)系統(tǒng)實(shí)物圖

Fig. 3  Photo of the experimental system