
本文由《現代遠程教育研究》授權發布
作者:蔣艷雙 朱立新等
孤獨症兒童常具有社會交往障礙、行為重複刻板和興趣固定狹隘等特徵,教育訓練為其主要治療手段。虛擬遊戲以其可視化、交互性與場景性等特點,有助於孤獨症兒童的教育干預。利用系統性文獻綜述法對國際上利用虛擬遊戲支持孤獨症兒童干預的相關研究進行分析發現:(1)虛擬遊戲支持孤獨症兒童教育的關鍵技術包括可視化技術、虛擬代理技術和新興技術。可視化技術將人的肢體與面部情緒以3D動畫的形式突顯,促進孤獨症兒童情緒理解與識別能力的培養;虛擬代理技術幫助孤獨症兒童通過化身與其他對象交互,提升其社交能力;利用新興技術構建可交互的虛擬現實環境,可強化孤獨症兒童因果關係理解與獨立出行體驗。(2)虛擬遊戲可作為孤獨症兒童教育中的認知工具和教與學支持工具,幫助其進行詞彙學習、數字化閱讀與編程學習。我國孤獨症兒童教育發展可運用多模態分析技術,拓展虛擬遊戲教學效果的測評方式;重視虛擬遊戲教育應用倫理風險,構建「政—企—校」協同聯動的多元共治機制;以學習需求為導向,構建虛擬遊戲設計框架;在職業培訓與就業支持中,重視數字素養與技能的培育。
關鍵詞:虛擬遊戲;孤獨症兒童教育;特殊教育;系統性文獻綜述
1
引言
孤獨症譜系障礙(Autism Spectrum Disorder,ASD)是一組以社會交流和社會互動缺陷、行為重複刻板與興趣固定狹窄為特徵的神經發育性障礙疾病(American Psychiatric Association,2013,p.426),其在兒童群體中患病率呈逐年遞增的態勢(五彩鹿自閉症研究院,2017),目前ASD治療以教育訓練為主,藥物治療為輔(閆海虹等,2022)。因此,面向ASD兒童的教育研究具有重要的現實意義。
虛擬遊戲是基於互聯網和計算機技術發展起來的遊戲方式的總稱,包括交互式視頻遊戲、虛擬環境等(孫岩,2008),其不僅可作為娛樂消遣工具,還可為ASD兒童的教育干預提供助力。已有研究表明,虛擬遊戲對孤獨症患者的孤獨感存在顯著影響,孤獨症患者用適量時間體驗網絡遊戲,能夠減少孤獨感(Sundberg,2018)。近年來,為了提升虛擬遊戲在ASD兒童教育中的應用成效,學者們在虛擬遊戲框架設計和對ASD兒童群體特徵分析的基礎上,聚焦基於不同技術的虛擬遊戲對ASD兒童教育教學的影響和評估等方面開展了一系列的研究。如Bremer等(2016)探討了兩組基本運動技能干預對ASD兒童運動技能及社交技能的作用;Stone等(2019)發現了多人虛擬遊戲對患孤獨症小學生的社會互動質量提升具有支持作用,並且通過多模態交互技術與虛擬遊戲對其社交技能進行有效性評估。由此可見,虛擬遊戲支持ASD兒童的教育教學研究已積累了一定的經驗,尤其在缺陷補償教學與技能培訓領域。但面向ASD兒童的虛擬遊戲干預仍存在操作性差、實施難度大等問題,缺少全局性、系統性和針對性的技術應用方法,缺乏明確的技術干預機制(Mora et al.,2015)。基於此,本研究梳理國內外虛擬遊戲支持ASD兒童教育的相關研究,探討虛擬遊戲支持ASD兒童教育的關鍵技術及其特徵,揭示當前虛擬遊戲在ASD兒童教育中的作用及應用重點,以期為我國ASD兒童教育遊戲化研究提供理論參考和行動指南。
2
研究設計
1.研究方法
本研究採用系統性文獻綜述方法。系統性文獻綜述旨在以明確的研究問題、全面的檢索策略、清晰的文獻納入標準與綜合的數據分析,來得出可信的研究結果,可減少由傳統文獻綜述方法帶來的研究偏倚(Xiao et al., 2019)。
2.研究問題
為呈現利用虛擬遊戲對ASD兒童實施教育干預的研究現狀,本研究確定了以下研究問題:(1)虛擬遊戲支持ASD兒童教育的關鍵技術有哪些?(2)虛擬遊戲在ASD兒童教育中的作用如何體現?(3)虛擬遊戲可以從哪些方面支持ASD兒童教育?其有效性如何?
3.研究樣本及篩選
(1)文獻檢索策略
本研究所主張的虛擬遊戲是指以教育為目標,將數字技術應用於教育教學過程,發展ASD兒童適應外界變化、自主社交、獨立出行、情緒識別等技能的嚴肅遊戲。因此,在檢索策略方面,本研究以「Autism & Virtual Games」「Autism & Serious Sames」「ASD & Serious Games」「ASD & Virtual Games」等為關鍵詞,對Web of Science和Springer Link等數據庫的相關文獻進行檢索,檢索時間限定為2003年12月至2021年11月,共得到文獻287篇。
(2)文獻篩選標準
為精確掌握虛擬遊戲對ASD兒童教育的支持情況,本研究根據研究問題對檢索得到的287篇文獻制定了相應的文獻納入和排除標準,具體如表1所示。其中第1~3條旨在進一步提升文獻樣本篩選的精確性;第4~7條分別對研究對象、研究內容、研究目標與研究過程作限定,以便更好地聚焦研究問題。
4.文獻篩選過程
本研究遵循系統性文獻綜述方法,通過檢索、篩選、合格和納入四個階段對虛擬遊戲支持ASD兒童教育的相關文獻進行篩選,最終納入有效文獻共45篇,具體PRISMA流程如圖1所示。
3
虛擬遊戲支持ASD兒童教育的研究概略
從文獻發表時間來看,45篇文獻發表時間跨度為2003—2021年。伴隨信息技術的快速發展,虛擬遊戲支持ASD兒童教育的形態日趨豐富,文獻納入數量也整體上呈現出增長趨勢。
從文獻發表的期刊分布情況來看,發表於計算機類期刊的文獻數量為16篇(占比35.6%),發表於教育研究類期刊的文獻數量為13篇(占比28.9%),發表於心理學期刊的文獻數量為11篇(占比24.4%)。文獻發表數量排名前五的期刊依次為《Journal of Autism and Developmental Disorders》(6篇)、《Computers in Human Behavior》(3篇)、《Computers & Education》(3篇)、《Interactive Learning Environments》(2篇)和《Universal Access in the Information Society》(2篇),可見有關虛擬遊戲支持ASD兒童教育的研究已受到計算機科學、教育學和心理學等領域學者的關注。
從文獻引用率來看,有16篇(占比35.6%)文獻的引用率在20次以上,超過50次引用的文章有14篇(占比31.1%)。其中,引用率最高的文章是Golan等(2010)關於基於交通運輸場景的虛擬遊戲對ASD兒童情感詞彙的理解以及情緒理解與識別能力的影響作用的研究(189次);其次是Bosseler等(2003)關於基於虛擬教師的虛擬遊戲對ASD兒童詞彙和語言學習的影響的研究(184次)。可以發現,引用率較高的文章主題主要聚焦於虛擬遊戲支持ASD兒童的詞彙學習及其情緒理解與識別能力的提升,這是虛擬遊戲教育應用的研究熱點。
從作者分布特徵來看。為呈現國際上虛擬遊戲支持ASD兒童教育文獻的作者分布情況,研究對45篇文獻樣本的第一作者進行分析。其中,作者總共來自16個國家,其區域分布分別是歐洲(n=15,33.3%)、北美洲(n=14,31.1%)、亞洲(n=11,24.4%)以及大洋洲(n=5,11.1%)。從發文作者數量來看,美國作者共計13位,占總作者數的28.9%,表明美國學者是虛擬遊戲支持ASD兒童教育研究的主要群體。
4
虛擬遊戲支持ASD兒童教育的技術基礎及作用方式
對文獻內容進行分析發現,虛擬遊戲在支持ASD兒童教育中的關鍵技術主要包括可視化技術、虛擬代理技術和新興技術:可視化技術將人的肢體與面部情緒以3D動畫的形式突顯,可促進ASD兒童情緒理解與識別能力的培養;虛擬代理技術幫助ASD兒童通過化身與其他對象交互,可提升其社交能力;利用新興技術構建可交互的虛擬現實環境,可強化ASD兒童因果關係理解與獨立出行體驗。
1.可視化技術提升情緒理解與識別能力
在近二十年的相關研究中,基於可視化技術的虛擬遊戲教育應用文獻數量占總樣本的20.0%(9篇)。可視化技術通過3D動畫角色模擬和3D動畫場景創設,可改善ASD兒童的情緒理解與識別能力。
第一,角色模擬。孤獨症患者在識別、理解和回饋他人的面部表情、語音語調、身體姿勢,以及表達自己的情緒方面存在較大困難(Aitken,2012)。3D動畫通過模擬真實物體,以自然逼真的表現方式來突顯虛擬人物的動作與表情,有助於ASD兒童觀察與感受虛擬人物的行為與情緒,為ASD兒童的情緒干預提供支持。由文獻分析可知,當前利用基於3D動畫角色的虛擬遊戲支持ASD兒童習得情緒識別技能的研究數量較多,且主要集中於面部表情和肢體動作的識別。例如,「少年偵探培訓計劃」(Beaumont et al.,2008)作為一項提升ASD兒童情感識別能力的虛擬教育遊戲,以3D動畫欣賞與角色扮演等策略引導ASD兒童體驗案件偵破的過程,幫助其學會識別複雜情緒(如尷尬、內疚等)。當完成一系列學習任務後,研究人員對參與者開展為期5個月的跟蹤訪談,發現干預組ASD兒童的社交技能和情緒管理能力均得到顯著提升。
第二,場景創設。基於面部表情的干預以孤獨症情緒認知理論為基礎。Baron—Cohen等(2005)提出的「移情—系統化」理論(Empathising—Systemising,E—S)認為ASD兒童的大腦是高度系統化的,他們在認知他人心理狀態、眼神互動、語言交流等移情機制上存在障礙,但在細節觀察、處理高度結構化信息、認知物理結構等系統化機制上具有優勢。因此,沉浸式、無監督的3D場景技術能夠為ASD兒童營造適合其認知特點的虛擬場景。如情緒認知動畫「The Transporters」(Golan et al.,2010),在有軌電車、纜車、鏈輪、長途汽車、纜索鐵路和拖拉機六種虛擬車輛上移植了情感表達的擬人面孔,並將虛擬車輛之間的娛樂性交互進行情境化處理。該遊戲所展現的故事具有高度結構化的特徵,且將面部表情嵌入交通工具等物理結構中而非肢體語言或有情緒的聲音里,契合ASD兒童高度系統化大腦的認知需求。這就使得ASD兒童的優勢能力得到有效發揮,能夠補償其社會認知方面的障礙(劉理陽等,2014)。評估結果表明,該系列遊戲能夠顯著提升ASD兒童對虛擬遊戲中所呈現的15種關鍵情緒的理解和識別能力。
2.虛擬代理技術提升應變能力與社交能力
在虛擬遊戲支持ASD兒童的教育研究中,有關虛擬代理技術應用的文獻數量占總樣本的33.3%(15篇),其中虛擬教師設計與應用的關注度最高。從文獻數量可以看出,伴隨虛擬遊戲的快速發展,虛擬代理技術應用逐步成為虛擬遊戲教育研究中的重要議題。虛擬代理技術逐步向個性化和強交互性發展,虛擬代理的化身形象由2D動畫演變為3D動畫,技術特徵也由簡單的音視頻交互轉變為虛擬現實學習環境交互,教育應用體現為智能導師和智能學伴等。
(1)化身技術
化身技術能夠模擬人類的生理機能,使虛擬代理具備擬人的外觀、姿態、行為和情感。在應用過程中,化身技術可以表徵為圖片、視頻和動畫等形式。化身技術可以幫助ASD兒童模擬現實的生活與社交場景。例如,澳大利亞「孤獨症遊戲」項目①利用音視頻、2D動畫等技術讓ASD兒童與化身進行交互,幫助患有中度甚至重度孤獨症的兒童接受並應對日常生活中的變化(如天氣變化和生活中的突發事件等),提升其應變能力。智能代理遊戲「SHARE-IT」(Porayska-Pomsta et al.,2013)在沉浸式學習環境中,以生活情境中的實際問題為導向,融合化身與音視頻等技術,讓ASD兒童通過與虛擬角色的多維互動來增進其對外部多通道信息的感知,提升其環境適應能力。
(2)協同虛擬環境
目前絕大多數虛擬現實類嚴肅遊戲採用預編程或關聯技術,與動態真實世界相比,缺乏社交和通信的靈活性(Zhang et al.,2018)。為此,構建一個計算機支持的分布式虛擬場景的集合,即協同虛擬環境(Collaborative Virtual Environment, CVE),促進多位玩家同時與虛擬物體進行交互,可以改善虛擬環境中交互層面的局限性(Benford et al.,2001)。協同虛擬環境技術憑藉場景設置、交互特效、人機交互和智能算法等優勢,通過營造一個集遊戲化展示、學習內容交互以及學習體驗為一體的場景交互體系為ASD兒童的訓練提供支撐。例如,基於CVE的「虛擬咖啡館」遊戲(Parsons et al.,2004)通過強化溝通(遊戲程序向玩家詢問問題)、交互(玩家使用鼠標與遊戲進行響應)和導航(玩家使用操縱杆在虛擬環境中按照指示方向前進),能夠激發ASD兒童的社交動機,強化個體之間的社交強度,進而促進ASD兒童社交技能的提升。已有研究證實,基於CVE的虛擬遊戲不僅能夠增進ASD兒童的社交能力,激發其參與社會性活動,還能在其共情能力方面產生促進效果(Chene et al.,2010),類似的干預項目還有多場景虛擬實景遊戲「Second Life」等(Ke et al.,2013)。
3.新興技術強化因果關係理解與獨立出行體驗
新興技術應用方面的文獻數量占總數的46.7%(21篇),其中關於沉浸式場景創建與評估的實證研究較多。以觸控交互、動作捕捉、可穿戴技術為代表的新興技術正加速與5G、人工智能等技術交叉融合,並已衍生出新的應用場景。經文獻內容分析可知,新興技術在虛擬遊戲中的應用研究多聚焦於自然交互技術與多模態學習分析。
(1)觸控交互技術
虛擬遊戲能夠將ASD兒童的思維發展置於真實的問題境脈中,藉助多媒體技術和觸控交互技術的交叉融合,在點擊、觸控等操作行為的反饋下,提升ASD兒童對虛擬學習環境的感知體驗能力,使其理解交互行為發生的因果關係。例如,在「虛擬花園」(Bernardini et al.,2014)中,ASD兒童可通過單點觸控、多點觸控、多指拖動以及疊加拖動等操作改變花園中各個對象的形態,實現將花朵逐步「栽種」至對應花盆中的目標。觸控操作行為與操控對象的狀態變化一一對應,能幫助ASD兒童了解操控對象變化的原因,理解遊戲中事物變化的因果關係。除此之外,觸控交互技術與可穿戴設備以及大數據技術等的融合,能夠創新人機交互方式,從而增強ASD兒童的學習體驗。
(2)可穿戴技術與動作捕捉技術
可穿戴設備作為一種能夠穿戴的便攜式計算設備,具有移動性、可攜帶和強交互性等特點,可以為ASD兒童提供豐富的視覺、聽覺和觸覺體驗,增強ASD兒童在虛擬環境中的感知與交互能力。動作捕捉技術在人體的關鍵部位設置追蹤器,並由系統捕捉追蹤器的位置,再經過計算處理後得到空間坐標數據,使虛擬遊戲能更精準地獲取ASD兒童的姿態、動作等身體數據。動作捕捉技術與可穿戴技術相結合有助於對ASD兒童進行獨立出行訓練。例如,Yang等(2016)開發了一款面向ASD兒童自主出行場景的VR訓練系統,包括認識路標、安全過馬路、乘坐公共汽車和地鐵以及在停車場散步等,旨在訓練ASD兒童的多種獨立出行技能。該訓練系統利用基於Kinect和IMU的可穿戴設備捕捉ASD兒童關節的旋轉運動,估計關節的運動軌跡,使用Microsoft Face跟蹤工具獲得頭部姿態數據,在第一人稱視圖模式下控制虛擬環境視圖,並識別ASD兒童的姿態行為模式。虛擬現實出行訓練系統通過將動作捕捉技術、自然交互技術和可穿戴技術相結合,來增強車輛與行人之間互動的真實性,能夠幫助ASD兒童在無監督的安全環境下練習出行必備技能。同時,基於手勢的自然人機交互和直觀的虛擬環境導航也可提升ASD兒童的虛擬出行體驗。
對ASD的診斷取決於對觸覺、聲音、溫度和視覺等感官輸入的非典型反應(American Psychiatric Association,2013,p.429),對ASD兒童而言,感覺反應的改變表現出高度差異性。因此,監測與分析可穿戴設備反饋的視聽覺和觸覺信號是確定ASD兒童能否安全應用可穿戴設備的重要議題。但AR技術支持ASD兒童的教育研究大多數以智能手機和平板電腦應用程序為載體(Sahin et al.,2018),缺乏針對ASD兒童的頭戴設備安全性的研究。
綜上,虛擬遊戲支持ASD兒童教育的關鍵技術日趨多元且個性化,其中有兩方面值得重點關註:第一,由前文案例可知,有研究已經實現通過多種數據採集技術,獲得並分析ASD兒童的多模態數據,從而計算出ASD兒童的行為模式,以提供精準的教育服務及反饋。在虛擬遊戲教育應用過程中,多模態學習分析使得針對ASD兒童非語言信號的檢測成為可能,也是創新多元測評方式的重要切入點。第二,伴隨AR/XR技術、可穿戴設備等新技術的快速發展,其在ASD兒童教育應用中的風險問題變得尤為突出,例如安全性問題、隱私泄露、算法歧視等。這均是我國在特殊教育領域中科技倫理治理所需關注的內容。
5
虛擬遊戲在ASD兒童教育中的應用路徑
虛擬遊戲在ASD兒童教育中的應用主要聚焦於作為學習的認知工具以及作為教與學的支持工具兩個方面。
1.作為學習的認知工具
隨着以虛擬現實為代表的新一代信息技術的快速發展,基於虛擬遊戲的認知工具日益成為ASD兒童適應性認知發展的有效手段,具體包括化身與手勢兩類。
化身技術可為ASD兒童提供形象直觀的交互載體,創設真實的視覺體驗。例如,Bosseler等(2003)設計並研發了一款虛擬遊戲「Language Wizard/Player」,利用虛擬教師角色教授詞彙和語法知識,為ASD兒童獨立學習詞彙提供了有效的認知平台。在遊戲化教學過程中,虛擬教師Baldi發出語音指令,ASD兒童響應後屏幕將出現反饋正誤的表情,強化ASD兒童的認知效果。經過30天的實驗干預,評估結果顯示,ASD兒童的詞彙學習效果得到了顯著改善,30天後單詞記憶率仍保持在91%左右。
手勢在ASD兒童的知識習得、複雜精細運動和認知發展中具有重要作用。基於手勢的虛擬遊戲是一種極具潛力的認知工具,能夠幫助ASD兒童更好地與計算機進行交互,並獲得即時反饋,持續提升其精準運動技能及認知能力(Cai et al., 2018)。「粉紅海豚遊戲」通過基於虛擬現實技術的沉浸式互動,賦予ASD兒童海豚馴養師的角色體驗,讓其能根據遊戲指令以手勢的方式為海豚指出正確路徑,培養ASD兒童對不同手勢作用和含義的認識,緩解其在方向跟隨、心理動作和手眼協調能力上較弱的問題。除此之外,該遊戲還可通過不同的遊戲情境和關卡設置來幫助ASD兒童習得算術以及識別顏色和形狀等技能(Lu et al., 2018)。
綜上所述,虛擬遊戲通過化身和手勢將學習內容以沉浸式、體驗式、定製化和趣味化的形式進行呈現,為ASD兒童提供了認知發展的支持,持續提升其認知學習效果。
2.作為教與學的支持工具
(1)以多感官通道整合促進詞彙學習
詞彙在日常語言交流中發揮着社會意義建構的橋樑作用,其不僅是閱讀理解中不可或缺的組成部分,也是語言運用的「催化劑」。但詞彙學習對ASD兒童而言是一項極具挑戰性的任務。與普通兒童相比,ASD兒童在語用能力和情緒認知方面存在着一定程度的障礙(Melogno et al., 2016)。正常發育的兒童僅需8~14個月便能說出第一個單詞,而ASD兒童卻需約38個月,且ASD兒童不能遵循正常兒童的言語發音順序(Howlin, 2003)。一般情況下,結合真實的生活情境,利用虛擬遊戲開展面向ASD兒童的詞彙教學,可對學習效果產生積極影響。馬來西亞學者Khowaja等(2019)基於ASD兒童特徵設計了專門針對ASD兒童詞彙學習的遊戲設計框架並在此基礎上研發了詞彙學習軟件「Vocab Builder」,旨在通過視聽教學媒介呈現日常生活中的物品,以輔助ASD兒童學習不同類別的單詞。在遊戲過程中,ASD兒童可以自由選擇一個物體來瀏覽,也可選擇不同的聲音播放對應的單詞發音。實證結果顯示,在該軟件的幫助下,ASD兒童的詞彙學習能力有所提升,表現為只聽物體名稱就可以識別出相應物體,且在一段時間內還能回憶起相同物體。可見,將詞彙學習的文本和其表徵的視覺圖像、聲音相結合,有助於ASD兒童對目標詞彙的記憶和習得,也有助於其語言理解能力的提升。
(2)以沉浸式虛擬場景支持數字化閱讀
虛擬遊戲將聲音、視頻與閱讀文本等多媒體信息進行有效整合,以沉浸式虛擬教學場景的方式,為ASD兒童的數字化閱讀提供支持。研究發現,ASD兒童在閱讀課文並理解文本意義的過程中,面臨着不同程度的困難與挑戰(Khowaja et al.,2020)。數字化閱讀是一種基於終端閱讀設備的超文本閱讀方式。伴隨信息社會發展,數字化閱讀已成為閱讀的重要組成部分(鄒群霞,2020)。在數字化閱讀的過程中,通過虛擬遊戲,將ASD兒童的注意力轉移到數字閱讀場景中,並設置與之相匹配的虛擬遊戲資源,可以幫助ASD兒童便捷獲取閱讀內容並理解文本的意義。基於對ASD兒童閱讀障礙的考量,可採用「1分鐘課堂」等策略幫助他們獲取關鍵信息,通過「閱讀書籤」「社會日曆」等輔助工具幫助其理解虛擬化閱讀情境,或引導其將注意力集中於人物的語音語調或面部表情等線索(Melogno et al.,2016),最大程度地為ASD兒童解決「數字使用鴻溝」帶來的差異化閱讀困難。綜上,面向ASD兒童的數字化閱讀,以虛擬遊戲為載體,集圖像、聲音、視頻、動畫和VR/AR等技術為一體,表現內容趨於生動且精簡,顯著提升ASD兒童的文本理解能力。
(3)以多元交互支持ASD兒童編程教育
虛擬遊戲與編程教育的融合為ASD兒童計算思維的發展提供了新的可能性。研究顯示,ASD兒童表現出對數字工具的自然傾向性,因此計算機編程被認為是一種較為適合孤獨症患者從事的工作類型(王純純等,2021)。當虛擬遊戲應用於編程教育時,其智能可視化、協同交互的特點,對ASD兒童的社交技能、計算思維和認知發展具有顯著的影響作用。例如結合「虛擬」與「社交」之意的「Virtuoso」虛擬遊戲(Schmidt et al.,2016),利用「虛擬可編程機器人」幫助11~14歲ASD兒童解決計算機編程的入門問題。在問題解決過程中,ASD兒童利用虛擬學習材料,在虛擬學習空間中開展協作學習,可針對性地改善其社交技能。總體而言,以虛擬遊戲集成的計算工具不僅能夠提升ASD兒童的社交技能,也能提升其計算思維。
綜上,作為ASD兒童的教與學支持工具,虛擬遊戲對ASD兒童的詞彙學習、數字化閱讀和編程學習等具有積極影響。其中有兩方面值得重點關註:一是國際上已經具備了專門面向ASD兒童學習的遊戲設計框架,並且通過了有效性和適用性檢驗,但是我國對虛擬遊戲設計框架的研究還未被重視,對遊戲易用性和可用性的評估還較為欠缺(宿淑華等,2019)。二是通過已有研究可知,國際上基於虛擬遊戲的ASD兒童教育愈來愈趨向於數字素養與技能的全面培養,這也與我國《提升全民數字素養與技能行動綱要》中的「數字社會無障礙改造提升工程」要求不謀而合。多措並舉提升ASD兒童的數字意識、計算思維、終身學習能力等,是我國加快彌合數字鴻溝的普惠性服務重點與經驗(中央網絡安全和信息化委員會,2021)。
6
研究啟示
通過對虛擬遊戲支持ASD兒童教育的研究與案例的分析,可總結出以下四點經驗,為我國開展虛擬遊戲支持ASD兒童教育教學提供借鑑。
1.運用多模態學習分析,拓展教學測評方式
多模態學習分析的快速發展,為ASD兒童教學測評帶來了新機遇。從社會符號系統來看,對多模態的釋義更加偏向於機器對外部環境的感知模式或信息通道(Lahat et al.,2015),既包括身體姿態、面部表情等信息感知通道,也包括教學情境中基於多種傳感設備的數據採集方式(蔣艷雙等,2022)。與單模態數據相比,多模態數據融合不僅能夠提升測評的準確性和全面性,還可通過對多通道數據的驗證來提升問題闡釋的合理性(穆肅等,2021)。多模態學習分析能夠豐富虛擬遊戲教育應用的效果評估手段,可為ASD兒童學習成效驗證提供數據支撐。在虛擬遊戲支持ASD兒童學習的過程中,可以利用多種數據採集設備(例如超高清攝像機、眼動設備和心率傳感器等),伴隨式採集師生的多模態學習行為數據,並利用多種分析技術對其進行同一化整合與建模,為師生等利益相關者提供教學支持與服務(Stone et al.,2019)。為此,建議構建混合式、系統化的虛擬遊戲教育應用效果測評方案,以綜合考查ASD兒童在情緒識別、適應變化、社交協作和計算思維等上的訓練成效。
2.重視虛擬遊戲教育應用倫理風險,構建「政—企—校」協同聯動的多元共治機制
虛擬遊戲作為助力ASD兒童教育的有效且可靠的技術手段,在教育應用過程中仍面臨諸多科技倫理挑戰。例如,由於ASD兒童的感覺反應存在高度差異,可穿戴設備對其感知覺的反饋可能存在過度刺激,使其不能應對虛擬環境帶來的變化;ASD兒童使用虛擬遊戲的時間過長可能導致成癮風險;ASD兒童的聲紋和面部特徵等隱私數據存在被泄露與盜用的風險。針對以上科技倫理問題,需加強「政—企—校」之間的協同聯動,建立差異化、全覆蓋的多方問責機制,制定並執行監督與防範措施,持續提升科技倫理治理能力(中共中央辦公廳 國務院辦公廳,2022)。「政—企—校」協同的多元共治機制可由政府主導,建立虛擬遊戲在特殊教育中應用的倫理規範與風險預警機制,並明確企業和學校的責權範疇。企業應遵守市場規範,確保其產品不違反科技倫理。例如,設計遊戲時遵循教育倫理、規範好用戶數據採集方式、建立數據保護機制等。學校作為虛擬遊戲的應用主體,應加強科技倫理日常管理,主動研判虛擬遊戲教育應用可能引發的倫理風險。例如,學校嚴格把控虛擬遊戲納入學校教學活動的入口,並規範其在教學中的應用方式等。
3.以學習需求為導向,構建虛擬遊戲設計框架
從整體上看,國際上已有關於虛擬遊戲設計框架的研究。由於我國特殊教育的研究與實踐起步較晚,尚缺乏一套符合我國ASD兒童學習需求,且契合中國國情的虛擬遊戲設計框架。制定此類框架,首先要在充分遵循ASD兒童認知發生機制和心理發展規律的基礎上,掌握ASD兒童群體的特徵、興趣偏好和學習風格等。這是虛擬遊戲設計框架構建的出發點。其次,虛擬遊戲的設計框架應具備多種分支路徑,每個分支的遊戲激勵策略、學習內容呈現方式、進度安排等均有差異化設置,且每個分支需提供不同等級難度的學習內容及測驗題目。具體而言,等級難度設置不僅要與不同能力水平的ASD兒童相匹配,還要差序配對學生的學習需求,以持續調動學生的參與動機和學習興趣。再次,基於數字文化體驗的差異性考慮,虛擬遊戲中的化身應選用本國或本民族的人物形象,幫助ASD兒童更好地接受知識教授與情感訓練。最後,在大數據、人工智能等技術支持下,虛擬遊戲設計時可加入感知與採集ASD兒童個性化特徵與需求的功能,進而為其推薦適切的學習資源和學習活動序列,形成自適應學習路徑推薦機制,並提供實時數據分析與可視化呈現功能,為ASD兒童的認知發展和社交技能改善提供智能化學習路徑。
4.在職業培訓與就業支持中,重視ASD兒童數字素養與技能的培育
當前,我國孤獨症青年就業率仍不足10%,且絕大多數家長認為獨孤症兒童的職業培訓與就業支持需求未得以滿足(董萍等,2020)。適當給予ASD兒童職業學習的機會,讓其接觸所選職業相關的工作內容,幫助其確定個人工作偏好,這對ASD兒童職業發展與就業選擇等方面具有重要意義。信息化社會對ASD兒童數字素養與技能的培養提出了新的要求。從國際上來看,美國《殘疾人教育法》建議在中學前後開始職業過渡培訓(Strickland et al., 2013),通過職業過渡培訓和數字化技能補償培訓等方式發展ASD兒童的職業技能和數字素養與技能。從我國來看,中央網絡安全和信息化委員會印發的《提升全民數字素養與技能行動綱要》強調穩步提升殘疾人等特殊群體的數字技能,加快彌合數字鴻溝(中央網絡安全和信息化委員會,2021)。我國應在充分考慮國情和教育文化特色的基礎上,完善相關教育制度及規範,開展面向ASD兒童的職業過渡培訓課程。在培訓過程中可以採用適切的虛擬遊戲來進一步挖掘其職業潛能,輔助其確立就業意向與職業方向,並提升其數字素養與技能。
注釋:
① 澳大利亞「孤獨症遊戲」項目網站為:www.autismgames.com.au。
參考文獻:
[1]董萍,徐添喜(2020).SEARCH項目在自閉症學生「從學校到就業」轉銜中的應用與啟示[J].殘疾人研究,(4):80-88.
[2]蔣艷雙,崔璨,逯行等(2022).雙師課堂中的多模態學習情感分析:關鍵問題、邏輯理路與實施路線[J].現代教育技術,32(4):13-20.
[3]劉理陽,莫書亮,梁良等(2014).孤獨症譜系障礙兒童面部表情識別障礙及臨床干預[J].中國特殊教育,(2):41-48.
[4]穆肅,崔萌,黃曉地(2021).全景透視多模態學習分析的數據整合方法[J].現代遠程教育研究,33(1):26-37,48.
[5]宿淑華,胡慧賢,趙富才(2019).基於ICT的自閉症譜系障礙兒童情緒干預研究綜述[J].中國特殊教育,(4):47-53.
[6]孫岩(2008).虛擬遊戲:兒童遊戲的一種文化延伸[J].現代教育科學,(2):61-63.
[7]王純純,陳建軍(2021).行為技能訓練應用於自閉症譜系障礙者職業技能干預的研究述評[J].中國特殊教育,(9):40-46.
[8]五彩鹿自閉症研究院(2017).2017《中國自閉症教育康復行業發展狀況報告II》發布會今日在京舉行[EB/OL].[2021-12-01].https://www.sohu.com/a/131582510_661957.
[9]閆海虹,張喜蓮,戎萍等(2022).中西醫治療兒童孤獨症譜系障礙的臨床研究進展[J].中華中醫藥雜誌,37(2):933-938.
[10]中共中央辦公廳 國務院辦公廳(2022).關於加強科技倫理治理的意見[EB/OL].[2022-04-01].http://www.gov.cn/zhengce/2022-03/20/content_5680105.htm.
[11]中央網絡安全和信息化委員會(2021).提升全民數字素養與技能行動綱要[EB/OL].[2022-04-01].http://wwww.cac.gov.cn/2021-11/05/c_1637708867754305.htm.
[12]鄒群霞(2020).兒童數字化閱讀的應對策略[J].出版廣角,(6):83-85.
[13]Aitken, K. (2012). Autism Spectrum Conditions: FAQs on Autism, Asperger Syndrome, and Atypical Autism Answered by International Experts[J]. Journal of Autism and Developmental Disorders, 42(9):2023-2024.
[14]American Psychiatric Association (2013). DSM-5: Diagnostic and Statistical Manual of Mental Disorders, 5th Edition[M]. Arlington VA: American Psychiatric Publishing.
[15]Baron-Cohen, S., Wheelwright, S., & Lawson, J. et al. (2005). Empathizing and Systemizing in Autism Spectrum Conditions[M]// Volkmar, F. R., Paul, R., & Klin, A. et al. (Eds.). Handbook of Autism and Pervasive Developmental Disorders. John Wiley & Sons, Inc. :628-639.
[16]Beaumont, R., & Sofronoff, K. (2008). A Multi-Component Social Skills Intervention for Children with Asperger Syndrome: The Junior Detective Training Program[J]. Journal of Child Psychology and Psychiatry, 49(7):743-753.
[17]Benford, S., Greenhalgh, C., & Rodden, T. et al. (2001). Collaborative Virtual Environments[J]. Communications of the ACM, 44(7):79-85.
[18]Bernardini, S., Porayska-Pomsta, K., & Smith, T. J. (2014). ECHOES: An Intelligent Serious Game for Fostering Social Communication in Children with Autism[J]. Information Sciences, 264:41-60.
[19]Bosseler, A., & Massaro, D. W. (2003). Development and Evaluation of a Computer-Animated Tutor for Vocabulary and Language Learning in Children with Autism[J]. Journal of Autism and Developmental Disorders, 33(6):653-672.
[20]Bremer, E., & Lloyd, M. (2016). School-Based Fundamental-Motor-Skill Intervention for Children with Autism-Like Characteristics: An Exploratory Study[J]. Adapted Physical Activity Quarterly, 33(1):66-88.
[21]Cai, S., Zhu, G., & Wu, Y. et al. (2018). A Case Study of Gesture-Based Games in Enhancing the Fine Motor Skills and Recognition of Children with Autism[J]. Interactive Learning Environments, 26(8):1039-1052.
[22]Chene, Y., Chiang, H., & Ye, J. et al. (2010). Enhancing Empathy Instruction Using a Collaborative Virtual Learning Environment for Children with Autistic Spectrum Conditions[J]. Computers & Education, 55(4):1449-1458.
[23]Golan, O., Ashwin, E., & Granader, Y. et al. (2010). Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces[J]. Journal of Autism and Developmental Disorders, 40(3):269-279.
[24]Howlin, P. (2003). Outcome in High-Functioning Adults with Autism with and Without Early Language Delays: Implications for the Differentiation Between Autism and Asperger Syndrome[J]. Journal of Autism and Developmental Disorders, 33(1):3-13.
[25]Ke, F., & Im, T. (2013). Virtual-Reality-Based Social Interaction Training for Children with High-Functioning Autism[J]. Journal of Educational Research, 106(6):441-461.
[26]Khowaja, K., & Salim, S. S. (2019). Serious Game for Children with Autism to Learn Vocabulary: An Experimental Evaluation[J]. International Journal of Human-Computer Interaction, 35(1):1-26.
[27]Khowaja, K., & Salim, S. S. (2020). A Framework to Design Vocabulary-Based Serious Games for Children with Autism Spectrum Disorder (ASD)[J]. Universal Access in the Information Society, 19(4):739-781.
[28]Lahat, D., Adali, T., & Jutten, C. (2015). Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects[J]. Proceedings of the IEEE, 103(9):1449-1477.
[29]Lu, A., Chan, S., & Cai, Y. et al. (2018). Learning Through VR Gaming with Virtual Pink Dolphins for Children with ASD[J]. Interactive Learning Environments, 26(6):718-729.
[30]Melogno, S., Trimarco, B., & Pinto, M. A. et al. (2016). Sensitizing a Gifted Child with Autism Spectrum Disorder Towards Social Cognition: From Assessment to Treatment[J]. World Journal of Neuroscience, 6(2):171-180.
[31]Mora, A., Riera, D., & González, C. et al. (2015). A Literature Review of Gamification Design Frameworks[C]// 2015 IEEE 7th International Conference on Games and Virtual Worlds for Serious Applications (VS-Games). New York: IEEE:100-107.
[32]Parsons, S., Mitchell, P., & Leonard, A. (2004). The Use and Understanding of Virtual Environments by Adolescents with Autistic Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 34(4):449-466.
[33]Porayska-Pomsta, K., Anderson, K., & Bernardini, S. et al. (2013). Building an Intelligent, Authorable Serious Game for Autistic Children and Their Carers[C]// Reidsma, D., Katayose, H., & Nijholt, A. (Eds.). Advances in Computer Entertainment. 10th International Conference, ACE 2013. Cham: Springer:456-475.
[34]Sahin, N. T., Keshav, N. U., & Salisbury, J. P. et al. (2018). Safety and Lack of Negative Effects of Wearable Augmented-Reality Social Communication Aid for Children and Adults with Autism[J]. Journal of Clinical Medicine, 7(8):188.
[35]Schmidt, M., & Beck, D. (2016). Computational Thinking and Social Skills in Virtuoso: An Immersive, Digital Game-Based Learning Environment for Youth with Autism Spectrum Disorder[C]// Allison, C., Morgado, L., & Pirker, J. et al. (Eds.). Communications in Computer and Information Science. Cham: Springer International Publishing AG:621:113-121.
[36]Stone, B. G., Mills, K. A., & Saggers, B. (2019). Online Multiplayer Games for the Social Interactions of Children with Autism Spectrum Disorder: A Resource for Inclusive Education[J]. International Journal of Inclusive Education, 23(2):209-228.
[37]Strickland, D. C., Coles, C. D., & Southern, L. B. (2013). JobTIPS: A Transition to Employment Program for Individuals with Autism Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 43(10):2472-2483.
[38]Sundberg, M. (2018). Online Gaming, Loneliness and Friendships Among Adolescents and Adults with ASD[J]. Computers in Human Behavior, 79:105-110.
[39]Xiao, Y., & Watson, M. (2019). Guidance on Conducting a Systematic Literature Review[J]. Journal of Planning Education and Research, 39(1):93-112.
[40]Yang, T., Zhou, C., & Shen, J. (2016). Virtual Reality Based Independent Travel Training System for Children with Intellectual Disability[C]// Aldabass, D., Colla, V., & Vannuci, M. et al. (Eds.). UKSim European Symposium on Computer Modeling and Simulation. New York: IEEE:143-148.
[41]Zhang, L., Warren, Z., & Swanson, A., et al. (2018). Understanding Performance and Verbal-Communication of Children with ASD in a Collaborative Virtual Environment[J]. Journal of Autism and Developmental Disorders, 48(8):2779-2789.
掃碼即可申請加入在線教育交流群
更多資訊
【MOOC透視】關於在線教學的4個錯誤觀念
【MOOC透視】在全球大規模在線教學實驗和元宇宙想象之間:再談教育數字化轉型
【MOOC透視】兒童的元宇宙教育需儘快提上日程
了解在線教育,把握MOOC國際發展前沿,請關註:微信公號:openonline公號暱稱:MOOC