虛擬現(xiàn)實(shí)環(huán)境中的注意力與狀態(tài)識(shí)別
發(fā)布時(shí)間： 2023-08-04 點(diǎn)擊次數(shù)： 1056次
來(lái)自波蘭的研究人員在 Sensors 雜志上發(fā)表文章，探討了虛擬現(xiàn)實(shí)（VR）和近紅外技術(shù)的實(shí)際結(jié)合問(wèn)題。他們?cè)O(shè)計(jì)了一套綜合實(shí)驗(yàn)平臺(tái)，其中包含 CW-fNIRS 和頭戴式顯示（HMD）技術(shù)，并使用變體后的經(jīng)典 n-back 任務(wù)（2-back 版本）在虛擬現(xiàn)實(shí)中進(jìn)行實(shí)驗(yàn)。結(jié)果證實(shí)了結(jié)合 fNIRS 和 HMD 技術(shù)，實(shí)驗(yàn)者可以有效地將實(shí)驗(yàn)性認(rèn)知過(guò)程轉(zhuǎn)移到可控的 VR 環(huán)境中。
功能性近紅外光譜(fNIRS)是功能神經(jīng)成像技術(shù)之一，使用波長(zhǎng)為650-950nm的近紅外光來(lái)測(cè)量皮質(zhì)腦區(qū)的血流動(dòng)力學(xué)反應(yīng)。近紅外系統(tǒng)通常使用激光或LED發(fā)射連續(xù)波(CW)近紅外光。VR技術(shù)已被用于注意力技能的研究和訓(xùn)練，已有許多結(jié)合VR和近紅外技術(shù)的案例和論文。結(jié)合VR和FNIRS技術(shù)，通過(guò)訓(xùn)練程序調(diào)節(jié)注意力狀態(tài)的可行性已經(jīng)得到證明。識(shí)別注意狀態(tài)可以用于監(jiān)測(cè)受試者在任務(wù)中的參與度。用戶(hù)與系統(tǒng)的交互體驗(yàn)可以通過(guò)視覺(jué)量表和問(wèn)卷來(lái)測(cè)量其滿意度。DLFPC 和 MFG 區(qū)的血流動(dòng)力學(xué)活動(dòng) (HbO/HbR 濃度變化 ) 在增強(qiáng)注意力投入 (n-back 任務(wù) ) 和放松狀態(tài)之間的差異將顯著高于研究組的機(jī)會(huì)閾值水平。用戶(hù)與系統(tǒng)的交互體驗(yàn)(fNIRS+HMD) 將高于滿意度評(píng)估量表的平均值。12 名受試者 (10 名女性 )，年齡 21-34 歲 (M = 24.82;SD = 4.38) 參與實(shí)驗(yàn)。實(shí)驗(yàn)中所有參與者均為右利手，裸眼視力和校正后視力正常。近紅外信號(hào)被記錄在一個(gè)雙波長(zhǎng) (760 和 850 nm) fnirs系統(tǒng)中 ((Cortivision sp. z o.o., Lublin, Poland）。其中共有16 個(gè)LED光源和10探測(cè)器。在線階段的數(shù)據(jù)處理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定義Python 腳本進(jìn)行。使用 Unity3D 引擎開(kāi)發(fā) VR 場(chǎng)景，并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上顯示。使 用 JASP軟件對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析。實(shí)驗(yàn)裝置包括無(wú)線一體化 VR 護(hù)目鏡 和可穿戴 fNIRS設(shè)備。在數(shù)據(jù)記錄過(guò)程中，參與者是坐著的，設(shè)備是無(wú)線連接的。使用視覺(jué)模擬量表 (Visual Analogue Scale, VAS) 來(lái)評(píng)估兩組實(shí)驗(yàn)結(jié)束后的總體主觀滿意度。評(píng)估采用 11 分制"。使用改良版的魁北克輔助技術(shù)用戶(hù)評(píng)價(jià) (eQUEST 2.0) 來(lái)測(cè)量參與者對(duì)使用系統(tǒng)滿意度。step1：需要判斷當(dāng)前水果在兩個(gè)水果之前是否看到過(guò)。當(dāng)法師扔出能量球時(shí)代表放松。step3：要求被試只在腦內(nèi)做同樣的任務(wù)。物體的運(yùn)動(dòng)方向直接由分類(lèi)輸出信號(hào)控制。實(shí)驗(yàn)中，任務(wù)和休息依次交替。在每個(gè)“2-back"任務(wù)塊中，水果列表隨機(jī)分為3個(gè)目標(biāo)、7個(gè)非目標(biāo)。近紅外數(shù)據(jù)由Cortivision PHOTON CAP系統(tǒng)收集。使用了10個(gè)通道。此外，在F3和F4位置放置了兩個(gè)短距離通道（見(jiàn)圖3）。對(duì)于所有數(shù)據(jù)通道，光源與探測(cè)器之間的距離保持在30毫米左右。短通道的距離則固定為10毫米。光源和探測(cè)器的放置位置是基于軟件中的預(yù)定義位置進(jìn)行選擇的。三個(gè)感興趣區(qū)域（MFG、L-DLPFC、R-DLPFC）被自動(dòng)從腦區(qū)解剖翻譯為10-5國(guó)際系統(tǒng)位置。將原始光強(qiáng)度轉(zhuǎn)換為光密度。處理記錄的前5秒期間記錄基線。然后將光密度轉(zhuǎn)換為氧脫氧血紅蛋白（HbO/HbR）濃度。然后，基于VR應(yīng)用程序流標(biāo)記進(jìn)行基于刺激的分段。。進(jìn)行低通濾波。采用廣義線性模型 (GLM) 進(jìn)行特征提取，并進(jìn)行進(jìn)一步分析。將獲得的包含提取特征的數(shù)據(jù)集分為五部分進(jìn)行五次交叉驗(yàn)證。每次重復(fù)交叉驗(yàn)證都包括以下步驟：
- Z-score標(biāo)準(zhǔn)化：訓(xùn)練集和測(cè)試集的z-score標(biāo)準(zhǔn)化。
- SVM分類(lèi)器被用來(lái)區(qū)分兩個(gè)類(lèi)：“放松"和“2-back任務(wù)"。
單樣本非參數(shù)Wilcoxon符號(hào)等級(jí)檢驗(yàn)的結(jié)果表明，校準(zhǔn)階段的分類(lèi)精度為M=88.58，SD=8.49，顯著高于Müller-Putz等人為兩類(lèi)BCI計(jì)算的95%的概率上限(T=78，p<0.01，rrb=1)。然而，我們?cè)谠诰€條件下沒(méi)有觀察到顯著差異(M=61，SD=14.89，T=6，P=0.107)。同時(shí)，這兩種情況都顯著高于50%的機(jī)會(huì)水平(校準(zhǔn)：t=78，p<0.001，rrb=1；在線：t=31，p<0.001，rrb=0.72)。表給出了校準(zhǔn)和在線會(huì)話中所有參與者的平均分類(lèi)精度結(jié)果。用戶(hù)對(duì)系統(tǒng)的交互整體滿意度平均為6分，接近滿分11分的“非常滿意"評(píng)分。調(diào)查發(fā)現(xiàn)，在交互中得分的方面是安全性和易用性。對(duì)于系統(tǒng)的其余方面，評(píng)分平均為5級(jí)以上，包括調(diào)節(jié)性、尺寸、可靠性、重量和舒適性。根據(jù)感興趣的區(qū)域?qū)ρ鲃?dòng)力學(xué)變化進(jìn)行分類(lèi)，可以識(shí)別出注意力增強(qiáng)和放松程度。在實(shí)驗(yàn)中，頭戴式顯示設(shè)備和移動(dòng)fNIRS交互的總體用戶(hù)滿意度較高。此外，開(kāi)源實(shí)時(shí)數(shù)據(jù)處理軟件中的信號(hào)處理方式可以為未來(lái)的腦機(jī)接口和神經(jīng)反饋研究提供框架。便攜式fNIRS和虛擬現(xiàn)實(shí)系統(tǒng)在更自然條件下研究認(rèn)知過(guò)程是可行的。Zapa?a, D., Augustynowicz, P., & Tokovarov, M. (2022). Recognition of Attentional States in VR Environment: An fNIRS Study. Sensors, 22(9), 3133.
您的位置：網(wǎng)站首頁(yè) > 技術(shù)文章 > 虛擬現(xiàn)實(shí)環(huán)境中的注意力與狀態(tài)識(shí)別 
在線交流
咨詢(xún)電話