人工智能時(shí)代背景下數(shù)字媒體藝術(shù)教育的多模態(tài)實(shí)踐體系研究

摘  要：隨著人工智能技術(shù)的爆發(fā)式演變，數(shù)字媒體藝術(shù)教育正經(jīng)歷從“軟件技法導(dǎo)向”向“多模態(tài)驅(qū)動(dòng)”的深層轉(zhuǎn)型。當(dāng)前，傳統(tǒng)數(shù)字媒體藝術(shù)教學(xué)在應(yīng)對(duì)智能化浪潮時(shí)，存在過(guò)于依賴(lài)特定軟件操作、媒介聯(lián)動(dòng)不足以及審美決策缺失等問(wèn)題。為解決這些問(wèn)題，本研究立足于人工智能背景下多模態(tài)創(chuàng)作的演變趨勢(shì)，通過(guò)剖析實(shí)時(shí)生成影像、聲畫(huà)深度耦合以及快速迭代篩選等案例，揭示了數(shù)字媒體藝術(shù)設(shè)計(jì)的創(chuàng)作核心從動(dòng)手制作向邏輯設(shè)定與審美決策遷移的必然性。在此基礎(chǔ)上，本文提出人工智能輔助下多模態(tài)實(shí)踐教學(xué)策略：通過(guò)以文字為起點(diǎn)的跨媒介轉(zhuǎn)換練習(xí)，結(jié)合實(shí)際場(chǎng)地的交互效果調(diào)試以及高頻率的方案比選迭代，構(gòu)建起一套集意圖引導(dǎo)、數(shù)據(jù)驅(qū)動(dòng)與實(shí)地調(diào)試為一體的新型實(shí)踐體系。研究表明，該體系能夠有效提升受教育者統(tǒng)籌多模態(tài)素材的實(shí)戰(zhàn)能力，為培養(yǎng)適應(yīng)智能化產(chǎn)業(yè)需求、具備扎實(shí)藝術(shù)判斷力的數(shù)字媒體專(zhuān)業(yè)人才提供可行的路徑參考。

　　關(guān)鍵詞：生成式人工智能；數(shù)字媒體藝術(shù)教育；多模態(tài)

　　人工智能背景下數(shù)字媒體藝術(shù)教育的局限

　　隨著數(shù)字化、智能化的普及，當(dāng)前智能工具已滲透到包括策劃、生產(chǎn)、用戶(hù)在內(nèi)的數(shù)字媒體產(chǎn)業(yè)的各個(gè)關(guān)鍵環(huán)節(jié)，其中，人工智能在輔助創(chuàng)意生成、自動(dòng)化建模及提升設(shè)計(jì)效率方面展現(xiàn)出巨大潛力。數(shù)字技術(shù)驅(qū)動(dòng)下的數(shù)字媒體藝術(shù)的本質(zhì)在于其綜合性、交互性和媒介的交叉融合及不斷演變。生成式人工智能的介入，極大地增強(qiáng)了數(shù)字媒體藝術(shù)教育中圖片、視頻、音頻、三維建模等不同媒介形式之間的實(shí)時(shí)聯(lián)動(dòng)。因此，數(shù)字媒體藝術(shù)教育的既有模式正面臨適應(yīng)性挑戰(zhàn)[1]，當(dāng)前的教育邏輯多建立在軟件操作與線(xiàn)性流程的基礎(chǔ)之上，強(qiáng)調(diào)對(duì)數(shù)字工具的熟練掌握[2]。隨著生成式人工智能的極速發(fā)展和融入，這種側(cè)重技法傳授的模式在應(yīng)對(duì)創(chuàng)意需求時(shí)，局限性逐漸浮現(xiàn)。

　　☆生成式人工智能的角色演變

　　在傳統(tǒng)的數(shù)字媒體藝術(shù)教學(xué)體系中，各種專(zhuān)業(yè)軟件通常被視為實(shí)現(xiàn)創(chuàng)作者構(gòu)思的基礎(chǔ)工具，學(xué)生投入大量時(shí)間練習(xí)的是如何精準(zhǔn)地操作“菜單、參數(shù)和時(shí)間軸等功能”。然而，生成式人工智能的出現(xiàn)在一定程度上重構(gòu)了這種人機(jī)協(xié)作關(guān)系。人工智能不再僅僅是執(zhí)行指令的工具，而是能夠基于模糊文本提示詞語(yǔ)的輸入，生成海量、多樣化甚至超乎想象的創(chuàng)意素材，成為創(chuàng)作者的創(chuàng)意來(lái)源。在教學(xué)中，當(dāng)人工智能能瞬間完成高精度的技術(shù)加工時(shí)，如果學(xué)生還是將重心放在精確繪制、精確建模方面，輸出能力會(huì)被計(jì)算機(jī)算法超越。因此，教育的重點(diǎn)需要從“如何使用工具精細(xì)地制作內(nèi)容”轉(zhuǎn)向“如何與人工智能進(jìn)行有效的對(duì)話(huà)、篩選、迭代和整合，以實(shí)現(xiàn)更高層次的藝術(shù)構(gòu)想”。學(xué)生要學(xué)習(xí)的不再是孤立的技術(shù)操作，而是包括文本描述、創(chuàng)意聯(lián)想、創(chuàng)意應(yīng)用、審美判斷在內(nèi)的綜合素養(yǎng)，進(jìn)而通過(guò)準(zhǔn)確的文字描述，引導(dǎo)人工智能產(chǎn)出符合創(chuàng)作者需求的內(nèi)容，并從中篩選出符合項(xiàng)目需求的素材內(nèi)容。

　　☆人工智能對(duì)多模態(tài)融合的促進(jìn)作用

　　傳統(tǒng)數(shù)字媒體藝術(shù)教學(xué)按照媒介種類(lèi)將相關(guān)模態(tài)類(lèi)型分為視覺(jué)設(shè)計(jì)、音頻剪輯設(shè)計(jì)、三維動(dòng)態(tài)設(shè)計(jì)等，學(xué)生在創(chuàng)作時(shí)普遍缺乏統(tǒng)籌意識(shí)，往往先創(chuàng)作畫(huà)面，再隨意導(dǎo)入音樂(lè)片段，最后生硬地加入點(diǎn)擊交互。這種創(chuàng)作習(xí)慣使作品的各個(gè)感官維度間缺乏深層的數(shù)據(jù)聯(lián)系和情感共鳴。生成式人工智能技術(shù)的發(fā)展正在打破這種媒介壁壘，不同感官通道的信息可以實(shí)現(xiàn)轉(zhuǎn)換和映射。在當(dāng)下的數(shù)字展演與交互敘事項(xiàng)目中，多模態(tài)特征化已經(jīng)成為核心。例如一段文本可以生成圖像，圖像可以生成動(dòng)態(tài)影像且驅(qū)動(dòng)聲音合成，聲音可以轉(zhuǎn)化為動(dòng)態(tài)視覺(jué)形態(tài)。這種跨模態(tài)的生成與交互能力，正是當(dāng)代數(shù)字媒體藝術(shù)裝置、沉浸式體驗(yàn)和交互敘事的核心。這就要求學(xué)生必須具備多模態(tài)素材聯(lián)動(dòng)構(gòu)建的能力[3]。因此，現(xiàn)代數(shù)字媒體藝術(shù)教學(xué)必須超越單一媒介的訓(xùn)練，轉(zhuǎn)向培養(yǎng)學(xué)生構(gòu)建多模態(tài)系統(tǒng)的能力。

　　人工智能背景下多模態(tài)創(chuàng)作模式的演變

　　分析當(dāng)前博物館、科技館等數(shù)字媒體藝術(shù)項(xiàng)目可以發(fā)現(xiàn)，創(chuàng)作者的工作重心已不再是單純的軟件技術(shù)輸出，而是轉(zhuǎn)向?qū)γ浇殚g聯(lián)動(dòng)邏輯的構(gòu)建。

　　☆從預(yù)渲染影像向?qū)崟r(shí)生成影像的演變

　　在傳統(tǒng)的數(shù)字媒體展示中，影像內(nèi)容通常是預(yù)先渲染好的固定視頻文件。但在人工智能技術(shù)的干預(yù)下，這一模式發(fā)生了根本性改變。以近年來(lái)流行的沉浸式數(shù)字藝術(shù)展為例，部分作品不再播放預(yù)制的視頻，而是通過(guò)人工智能算法根據(jù)現(xiàn)場(chǎng)環(huán)境實(shí)時(shí)計(jì)算畫(huà)面。例如，2023年有學(xué)者運(yùn)用大型語(yǔ)言模型驅(qū)動(dòng)的人工智能打造了“共創(chuàng)游戲”，讓體驗(yàn)者與人工智能對(duì)話(huà)中的關(guān)鍵詞在后續(xù)游戲中轉(zhuǎn)化為戰(zhàn)斗裝備，實(shí)現(xiàn)互動(dòng)敘事中文本到圖像的轉(zhuǎn)換。2024年香港大學(xué)科學(xué)技術(shù)學(xué)院的學(xué)者通過(guò)“我點(diǎn)亮你”這一裝置作品，探索了利用光敏電阻捕捉到的光線(xiàn)作為物理數(shù)據(jù)，結(jié)合由語(yǔ)言模型驅(qū)動(dòng)的人工智能，構(gòu)建了一個(gè)新興的互動(dòng)敘事框架。2025年，有學(xué)者推出了ImaginateAR（想象式增強(qiáng)現(xiàn)實(shí)技術(shù)），這個(gè)工具可以讓用戶(hù)通過(guò)自然語(yǔ)言交互創(chuàng)建戶(hù)外場(chǎng)景供用戶(hù)篩選。在這些案例中，創(chuàng)作者需要通過(guò)輸入的風(fēng)格化指令，并設(shè)定畫(huà)面的演變規(guī)則，讓系統(tǒng)在展覽現(xiàn)場(chǎng)自動(dòng)產(chǎn)出動(dòng)態(tài)影像。這證明了多模態(tài)創(chuàng)作的核心在于如何利用語(yǔ)言邏輯去驅(qū)動(dòng)視覺(jué)形態(tài)。這一演變趨勢(shì)直接提示我們，數(shù)字媒體藝術(shù)教育如果不加強(qiáng)學(xué)生對(duì)藝術(shù)意圖的準(zhǔn)確表達(dá)，而只練習(xí)軟件操作，將無(wú)法參與此類(lèi)高層級(jí)的項(xiàng)目創(chuàng)作。

　　☆聲音與視覺(jué)模態(tài)的深度耦合

　　2019年谷歌推出的交互式算法，可以讓人工智能進(jìn)行音樂(lè)創(chuàng)作；2024年，國(guó)外的實(shí)證研究證明，人工智能可以為音樂(lè)教育提供更具有包容性的環(huán)境，提高學(xué)生的表現(xiàn)力。近年來(lái)，越來(lái)越多的研究采用生成式人工智能來(lái)輔助影視、游戲項(xiàng)目中的聲音設(shè)計(jì)[4]，人工智能可生成奇幻、非現(xiàn)實(shí)的創(chuàng)作元素。在多模態(tài)創(chuàng)作中，聲音素材不僅可以作為場(chǎng)景音、效果音使用，還可以實(shí)現(xiàn)不同感官數(shù)據(jù)的自動(dòng)化轉(zhuǎn)換。在當(dāng)代交互裝置藝術(shù)中，人工智能可用于處理聲音信號(hào)與視覺(jué)畫(huà)面之間的復(fù)雜映射。例如，在某些高水平的數(shù)字交互項(xiàng)目中，創(chuàng)作者利用人工智能分析現(xiàn)場(chǎng)麥克風(fēng)采集到的音頻頻率、振幅及情感基調(diào)，瞬間將其轉(zhuǎn)化為視覺(jué)上的幾何形變或色彩流動(dòng)。在這種創(chuàng)作場(chǎng)景下，聲音和畫(huà)面不再是后期拼湊的關(guān)系，而是由同一套數(shù)據(jù)邏輯實(shí)時(shí)生成的共生關(guān)系。由此可以看到，多模態(tài)創(chuàng)作要求創(chuàng)作者具備跨媒介的技術(shù)視野，能夠理解聲音數(shù)據(jù)是如何轉(zhuǎn)化為視覺(jué)參數(shù)的。這種行業(yè)實(shí)務(wù)的演變，要求我們?cè)诮逃^(guò)程中必須打破音視頻剪輯的學(xué)科藩籬，引導(dǎo)學(xué)生從數(shù)據(jù)底層去思考媒介間的聯(lián)動(dòng)。

　　☆生產(chǎn)力爆發(fā)背景下的審美決策和復(fù)合型人才培養(yǎng)

　　在商業(yè)化的影視前期開(kāi)發(fā)和數(shù)字展演方案設(shè)計(jì)中，人工智能帶來(lái)的最大演變是生產(chǎn)力的爆發(fā)現(xiàn)象。為迎合這種生產(chǎn)鏈條，很多高校在數(shù)字媒體藝術(shù)教學(xué)中對(duì)人工智能的發(fā)展進(jìn)行了相應(yīng)的課程改革。例如河北省文化藝術(shù)科學(xué)和旅游研究項(xiàng)目“河北省文旅融合視角下人工智能賦能高校復(fù)合型傳媒人才培養(yǎng)機(jī)制研究”的研究者發(fā)現(xiàn)，高校數(shù)字媒體專(zhuān)業(yè)人才的培養(yǎng)目標(biāo)應(yīng)該及時(shí)更新，將人工智能技術(shù)與數(shù)字媒體專(zhuān)業(yè)相結(jié)合，“發(fā)揮人工智能的技術(shù)優(yōu)勢(shì)”，引導(dǎo)學(xué)生利用人工智能進(jìn)行方案的快速篩選。

　　人工智能輔助下數(shù)字媒體藝術(shù)教育多模態(tài)實(shí)踐教學(xué)的策略

　　針對(duì)前文提到的教學(xué)局限，數(shù)字媒體藝術(shù)教育應(yīng)當(dāng)在作業(yè)設(shè)置、實(shí)驗(yàn)流程及效果評(píng)估上進(jìn)行調(diào)整。通過(guò)人工智能工具，將圖片、音頻、視頻等教學(xué)內(nèi)容串聯(lián)起來(lái)，讓學(xué)生在具體的項(xiàng)目練習(xí)中掌握多模態(tài)的創(chuàng)作方法。

　　☆以項(xiàng)目為導(dǎo)向的多模態(tài)素材生成

　　在以往的教學(xué)中，學(xué)生往往直接上手畫(huà)草圖或找素材，缺乏對(duì)核心想法的深度推敲。在人工智能介入后的實(shí)踐中，應(yīng)要求學(xué)生先通過(guò)文字說(shuō)明定義作品的風(fēng)格和內(nèi)容，詳細(xì)描述作品的畫(huà)面質(zhì)感、聲音氛圍和動(dòng)作節(jié)奏。隨后，利用生成式工具將這些文字轉(zhuǎn)化為初始的圖像或動(dòng)態(tài)片段。在這個(gè)過(guò)程中，學(xué)生會(huì)發(fā)現(xiàn)文字描述越籠統(tǒng)，生成的作品畫(huà)面就越亂；文字描述越準(zhǔn)確，效果就越接近預(yù)想。這種練習(xí)讓學(xué)生明白，文字不只是為了寫(xiě)說(shuō)明書(shū)，而是控制多種媒介素材的核心依據(jù)。通過(guò)反復(fù)修改文字描述來(lái)調(diào)整圖像和視頻的效果，學(xué)生能學(xué)會(huì)如何統(tǒng)籌多種感官要素，使作品的視覺(jué)和聽(tīng)覺(jué)不再是脫節(jié)的。

　　☆結(jié)合實(shí)際場(chǎng)地的交互效果調(diào)試

　　數(shù)字媒體藝術(shù)最終要放在展廳或其他實(shí)際場(chǎng)地里。教學(xué)中應(yīng)要求學(xué)生離開(kāi)電腦屏幕，去考慮作品在真實(shí)環(huán)境里的表現(xiàn)。在這一環(huán)節(jié)，應(yīng)安排學(xué)生在實(shí)際的展覽空地或教室內(nèi)進(jìn)行測(cè)試。學(xué)生需要利用感應(yīng)裝置收集場(chǎng)地里的信息，比如觀眾走到了哪個(gè)位置，或者場(chǎng)地里的燈光明暗程度。通過(guò)人工智能工具，學(xué)生可以將采集到的這些信息設(shè)定為觸發(fā)條件，讓畫(huà)面產(chǎn)生相應(yīng)的變化。例如，當(dāng)有人走近時(shí)，投影出來(lái)的畫(huà)面顏色變深或動(dòng)作變快。在調(diào)試過(guò)程中，學(xué)生需要面對(duì)最實(shí)際的問(wèn)題：感應(yīng)器是否靈敏、畫(huà)面的變化是否生動(dòng)、觀眾能否看懂這種變化。這種練習(xí)能讓學(xué)生從單純地做數(shù)字作品轉(zhuǎn)向?qū)嶋H體驗(yàn)，學(xué)會(huì)如何利用數(shù)據(jù)讓數(shù)字作品與現(xiàn)實(shí)環(huán)境產(chǎn)生真實(shí)的關(guān)聯(lián)。

　　☆方案的快速篩選

　　人工智能工具最大的用處是能夠快速出圖、出視頻，為教學(xué)中的方案比選提供便利。過(guò)去學(xué)生畫(huà)一個(gè)方案要一兩周，很難推倒重來(lái)；現(xiàn)在可要求學(xué)生在短時(shí)間內(nèi)拿出三套甚至五套完全不同風(fēng)格的方案。在作業(yè)環(huán)節(jié)，應(yīng)強(qiáng)制要求學(xué)生進(jìn)行方案迭代。第一版方案生成后，老師和同學(xué)共同指出不足，學(xué)生根據(jù)反饋，在保留核心想法的基礎(chǔ)上，利用工具迅速生成第二版、第三版。這種做法能讓學(xué)生從對(duì)單張畫(huà)面的糾結(jié)中解脫出來(lái)，把精力放在整體邏輯和表達(dá)意圖上。學(xué)生在反復(fù)比選和修改中，能看清不同風(fēng)格、不同處理方式的優(yōu)劣差異。通過(guò)這種高頻率的練習(xí)，學(xué)生處理多模態(tài)素材的能力迅速提高，能更快地找到最合適的技術(shù)手段實(shí)現(xiàn)自己的創(chuàng)意。通過(guò)這種方式，能有效糾正學(xué)生重軟件而輕視整體效果的傾向，讓學(xué)生真正掌握在人工智能背景下創(chuàng)作數(shù)字媒體藝術(shù)的實(shí)在本領(lǐng)。

　　結(jié)語(yǔ)

　　人工智能時(shí)代下，數(shù)字媒體藝術(shù)教育的轉(zhuǎn)型不是為了趕時(shí)髦，而是為了解決生產(chǎn)效率和創(chuàng)意深度不匹配的實(shí)際問(wèn)題。通過(guò)對(duì)教學(xué)邏輯和實(shí)踐策略的調(diào)整，我們可以讓受教育者從煩瑣的技術(shù)細(xì)節(jié)中抽身，去思考更核心的藝術(shù)問(wèn)題。這種多模態(tài)實(shí)踐體系的構(gòu)建，要求我們?cè)诮虒W(xué)中既要利用好人工智能的高效優(yōu)勢(shì)，又要堅(jiān)持對(duì)學(xué)生基本功和審美判斷的培養(yǎng)。未來(lái)的數(shù)字媒體藝術(shù)教育，應(yīng)當(dāng)讓學(xué)生既能熟練使用智能工具，又能在面對(duì)復(fù)雜的創(chuàng)作需求時(shí)，具有清晰的思路和扎實(shí)的執(zhí)行能力。只有這樣，才能培養(yǎng)出適應(yīng)產(chǎn)業(yè)變化、具備真才實(shí)學(xué)的數(shù)字媒體專(zhuān)業(yè)人才。

文章來(lái)源：《大河美術(shù)報(bào)》http://www.12-baidu.cn/w/qk/35647.html