ROSO機器人建造實驗室╳《無法離開的人》導演陳芯宜:解祕XR到AI浪潮,我們將走向科技奇點?

由左至右為VR電影《無法離開的人》導演陳芯宜、ROSO機器人建造實驗室主持人盛郁庭、王識源。

AI的發展似乎正要到達科技奇點,會超越人類嗎?到時候人的價值是什麼?而一度延燒的Metaverse熱度消退,距離虛擬世界的路還很長?這些問題,由走在各自領域最前線的導演陳芯宜、ROSO機器人建造實驗室主持人盛郁庭與王識源一同回答。

內文1205-7
ROSO機器人建造實驗室在2021新竹光臨藝術節打造裝置作品〈目流〉。

對於人們來說,AI科技似乎正在爆發點上, 尤其AI生成內容(AIGC)的突破讓人驚艷,Midjourney、Stable Diffusion輸入指令即有精緻美圖,ChatGPT與過往AI相比文字回應聰明太多。而Metaverse一度過熱的光芒褪去,可XR延展實境(含AR擴增實境、VR虛擬實境和MR混合實境)科技仍在步步推進中。才擔任2023年威尼斯影展沉浸式內容競賽單元評審團主席、VR電影《無法離開的人》導演陳芯宜觀察到VR作品數量與品質逐趨提升。ROSO機器人建造實驗室主持人盛郁庭與王識源,則持續探索建築領域AI與機器人應用的極限。他們不約而同以無懼姿態與正面態度迎面最新科技,最後卻都談到人的感受、人如何觀看、人如何創造、人的需求,回到人性本身。

內文1205-1
陳芯宜VR電影《無法離開的人》劇情融合多位白色恐怖政治受難者的經歷,意圖喚起人們對創傷記憶與人權議題的共感。

Q:回溯創作過往,可以談談你們接觸並使用「新科技」的契機嗎?

陳芯宜:其實早在1960年代就有VR創作的雛形。2018年高雄電影節察覺VR電影是全球趨勢,但台灣較少人投入,所以開始與較成熟的導演合製VR短片,我是第2年被邀請,後來拍攝《留給未來的殘影》,才開始真正接觸。

拍完後我一度不想再拍VR了,這相對新的媒材還有許多技術難題會影響到創作層面,再加上成本過高,例如《無法離開的人》只有35分鐘長度,但總預算已經能拍部長片了。我察覺早期一些VR作品直接移植線性剪輯、腳本、分鏡等電影語言,這行不通,得要從這新媒材裡找到屬於它的語言,它是空間性的敘事設計,藉由觀眾自由選擇觀看方向,能設計出多層次敘事。

王識源:我與郁庭碩士念的是電腦輔助建築設計,那時還沒接觸太多機器人領域。以建築來說,1960年代Ivan Sutherland發明電腦輔助設計(CAD)軟體,那時被認為是種AI。AI在不同時代下有不同定義,而AIGC是當下正熱門的一種類型。我們除了有使用AIGC在設計前期的發想外,平常我們也運用生成式設計(Generative Design),透過基因演算法(Genetic Algorithm,GA)建立規則讓電腦自己產生互動,用作分析與提出過程中的實驗性設計,尋找一個逼近解再優化,例如分析造型、柱子的排列、材料的彎曲程度等等。

盛郁庭:我們由建築訓練出發,不斷思考如何設計,又要怎樣跟空間、跟人產生關係。在運算設計中,我們發現電腦帶來的複雜特性,開啟更多超越人類原先想像的可能性。我們開始想要探索科技介入設計的可能性。而ROSO非常注重在真實世界中構築端的突破,探討電腦運算跟機器人如何輔助材料面與營造,跟目前熱度上的AIGC方向比較不同。

內文1205-15
OSO機器人建造實驗室以「圳河」為「客廳」之設計概念,在苗栗公館鄉穿龍圳上為2023浪漫台三線藝術季創作〈圳廳〉。

Q:先談談AI,許多人都認為即將迎來科技奇點。AI有對你們的領域帶來什麼改變?

陳芯宜:除了身邊有人在研究如何為軟體下「咒語」生成對的參考圖片,最近XR領域非常瘋3D高斯潑濺(Gaussian Splatting)技術。過去如果只實拍平面影像、沒有掃描空間,就不會有3D空間資訊,除非我有建模,類似繪製CG(電腦圖形)和特效,若掃描沒很仔細還要後製修補。可是現在3D高斯潑濺有辦法僅憑平面影像分析出空間資訊,類似這樣的技術發展很快,未來或許會更難分辨虛實空間。

王識源:機器人早期翻譯過來就是僕從(slave),但到近期他們有了更多資料庫,可以和它做更多事,是以前較難以達到的。就像是《星際大戰》的機器人L3-37,若真能實踐到實體世界,它可以連結設計到建造(design-build),到後面就會出現「通用機器人」(collaborative robot),可以透過改裝適應多樣化的客製化目的。

盛郁庭:用傳統方法設計時,人很像上帝控制所有事情,後來的CAD等工具像是我們的合作夥伴,可以跟它對話、互動,激發我們的設計成果,到了近期真的開始給我們一些超出想像的驚喜。

內文1205-10
2023構竹林鐵新銳建築展〈疊舞竹曲〉,ROSO機器人建造實驗室以竹複合材(竹片、玻璃纖維材料),透過疊加垂直與水平交互分布之薄竹皮,重新詮釋竹材之可能性。

Q:你們認為現階段AI技術遇到的限制有什麼?又有什麼隱憂等待解決?

盛郁庭:其實AI囿限於特定模式(pattern),離自動化完成複雜的組織型任務還有一段距離。2D相對成熟,但變動的3D空間運算量更大,資料的收集跟建立標記等需要耗費相當大的運算力。而下一步大家討論的方向,是AI怎麼真正應用在實體世界的機器人或是構築上。

王識源:AI在前期可以與你快速腦力激盪或協助特定任務,但是在整體掌控與抽象思考上,目前它還無法統合得很好。現在光訓練機器人進行一個動作,就必須要收集非常大的資訊,例如我們有訓練機器人像木工匠一樣可以將木榫放進木頭裡,不過我相信這些問題在近期的未來都會有更有效的方式解決。

陳芯宜:今年美國編劇協會與演員工會大罷工是未雨綢繆,要先釐清一些概念,不討論不行,這肯定是未來趨勢,比如編劇內容著作權歸屬在誰、人或AI寫作與改編比例該怎樣界定等等。台灣還沒到那一步,AI只是工具或夥伴。

此外,我正進行、改編自吳明益小說的VR作品《雲在兩千米》,因為雲豹絕跡拍不到了,我曾去尋求AI生成的可能性,但沒有太多實際資料可以餵它,沒辦法憑空生成精準的動作。生物還是太細緻了,掃描人的細微表情變化還是很難,不過現在深偽(deepfake)技術也在快速進步。倒是一些重複性工作可能較快被取代,比如電視台已經有AI主播唸稿了。

內文1205-16
陳芯宜在2023年正製作中的VR電影《雲在兩千米》改編自吳明益的小說作品。

Q:Metaverse一度引發熱潮,現在最瘋狂的時期過了,有人說是因技術爆點未到,你們怎麼看待?

陳芯宜:Metaverse更多是一種多功能甚至包含社交平台的應用。而若只談VR電影,好不好的關鍵還是在如何經營敘事與空間設計。好的VR能翻轉原本的身體、意識跟感官,這兩年威尼斯影展中,許多稱之為VR World或VRChat的作品顛覆我的想像,那其中都有一個隱性敘事,互動沒有那麼強迫。

去年我體驗到駭客世界,今年還有蘇聯時代。可我覺得仍無法取代真實體驗,人還是要真實擁抱一個人、對話、目光交會。除非真像《一級玩家》、《駭客任務》全部體感都能重現在虛擬世界、分不出虛實了。當然我不知道下一代會如何,搞不好他們出生就習慣在不需真實接觸的生活。

內文1205-18
陳芯宜VR電影《留給未來的殘影》與編舞家周書毅共同創作,以舞蹈呈現記憶中難以言說的部分。

盛郁庭:Metaverse本身概念非常好,能是另一空間的延伸,並創造跟不同社群連結、交流的可能,現在搞不好只是技術還沒到位,通訊技術等等硬體限制都會影響到內容設計等發展。ROSO專注在營建產業上,所以有採用AR輔助建造、跟資訊模型結合,在工地現場也能協助放樣工程、幫助師傅在3D空間測量、對位,這原先是很辛苦的事情。甚至,我們結合觸覺機器人在機械手臂上裝設策力感應器,將觸覺帶進AR的世界裡面。

王識源:芯宜導演說人可以真實觸碰,這是有溫度的,但假設在虛擬世界中人的感知有所不同,會得到不同於真實的經驗,目前看來是各有特質。早前我們有嘗試在VR中操控遠端的實體機器人,實驗通訊延遲(latency)的效能。我們假設位居在不同星球,像是在重力輕的星球上,讓人體驗那感覺。

Q:許多人都在懼怕AI等科技將取代人類,而若真有天科幻電影成真,那人類創意的真正價值會是什麼?

王識源:不是每個人用AI都能創造出好作品。房子還是房子(A House Is A House),最初的精神是不會變的,與其說我們今天要去創造新東西,更重要是工具介入之後,它帶來什麼樣的好處,像是創造力提升了?AI可能衝擊某些工作內容,但我覺得可以積極去善用它,跟它一起合作,然後創造出你想要的一些價值。

盛郁庭:我們很享受機器人、AI給自己的碰撞,帶給我在想像力上的對話與可能性。瑞士很久以前就在公投基本薪資,這回到:人到底為何而存在?是否工作與勞動才是存在意義?我認為若AI跟機器人把我們從重複性的勞務解脫,多出來的時間還有很多事可以好好體驗,不必用競爭心態思考這件事。

內文1205-20
2022年,ROSO機器人建造實驗室與藝術家伊佑‧安查共同在豐濱鄉港口部落石梯坪段,打造公共藝術作品〈白羽岸.Pahanhannan〉。

陳芯宜:從工業革命時就有機器取代人的問題,我不會焦慮這件事,生命會找到出路。以我的領域來說,還是說好一個故事,我相信有些是連人類語言都說不出的細微情感,那些哲學思考、創意,AI還沒辦法真正取代人類,一定有它做不到的事情。

去年在威尼斯影展、也在高雄電影節播出的VRChat《謎幻泡泡糖》(Gumball Dreams),體驗時,它與位於紐約的90歲資深女演員連線,與她的對話過程能回應到人性深層的寂寞,結尾時我竟然捨不得離開,覺得很恐怖。而今年威尼斯影展還有一個VR World作品《Horse Canyon》,單純在大峽谷騎馬,中途大家沒事做換成夜晚模式,會圍在一起烤火也不講話,火很大、有蟲鳴鳥叫。這很人類,一些基本需求,讓人類就是人類。


陳芯宜

台灣影像工作者,作品橫跨劇情片、紀錄片與電視劇集。2022年VR電影《無法離開的人》榮獲第79屆威尼斯國際影展沉浸式內容競賽單元最佳體驗大獎,2023年應邀擔任該單元評審團主席。其他重要作品有VR舞蹈電影《留給未來的殘影》、紀錄片《行者》、劇情長片《流浪神狗人》、《我叫阿銘啦》等。

ROSO機器人建造實驗室

盛郁庭與王識源目前分別任職於逢甲大學建築專業學院與國立陽明交通大學建築研究所,並於2019年共同成立ROSO機器人建造實驗室(原ROSO X ROLA機器人建造實驗室)。ROSO是一個跨學科的研究與設計團隊,主要目標為運用創新的機器人技術、運算思維與各式新興科技相互碰撞下,提供多樣的設計與智能建造可能性。

採訪整理|吳哲夫

攝影|蔡耀徵 圖片提供|行者影像、ROSO機器人建造實驗室

更多精彩內容請見2023台灣創意力100《Human Identity》

延伸閱讀

RECOMMEND

KitKat推出「斷網包裝」!以經典標語Have a Break為發想,號召人們把手機裝袋、暫時離線休息一下

在行銷廣告總是號召人們拿起手機、拍照分享的時代,KitKat反其道而行,推出一款特殊的「斷網包裝」,邀人們吃完巧克力餅乾後,把手機裝進袋內,暫時從「連線生活」中登出,讓身心好好休息一下,也讓自己更專注於現實當下。

KitKat推出「斷網包裝」!以經典標語Have a Break為發想,邀人們把手機裝進袋內、暫時離線休息一下
(圖片來源:KitKat)

經典標語化為廣告創意

這款「Break Mode」斷網包裝由巴拿馬KitKat與廣告代理商奧美(Ogilvy)合作策劃,巧妙將品牌自1958年沿用至今的經典標語 “Have a break, have a KitKat.” 轉化為廣告創意。標語中的 “Have a break.”  原意指掰開巧克力餅乾的動作,在Break Mode企劃中則被延伸和轉換為「休息一下」之意。

KitKat推出「斷網包裝」!以經典標語Have a Break為發想,邀人們把手機裝進袋內、暫時離線休息一下
(圖片來源:KitKat)

隔絕外在訊號的「迷你手機監獄」

有感於現代人總是盯著手機螢幕滑個不停,奧美以「法拉第籠(Faraday cage)」為發想,為KitKat構思了斷網包裝,讓人們能藉此暫離網路世界,重返現實、專注當下並放鬆休息。此特殊包裝由4層材料製作而成,包含銅、鎳、聚酯纖維及金屬導電層,搭配經精密設計的封口,可有效阻隔外部電場,讓包裝形同一座「迷你手機監獄」,將手機與網路、藍芽、電信訊號等完全隔絕。

KitKat推出「斷網包裝」!以經典標語Have a Break為發想,邀人們把手機裝進袋內、暫時離線休息一下
(圖片來源:KitKat)
KitKat推出「斷網包裝」!以經典標語Have a Break為發想,邀人們把手機裝進袋內、暫時離線休息一下
(圖片來源:KitKat)

為推廣這項創意,KitKat前進科技展、大學校園,也與巴拿馬規模最大的音樂季合作,邀請人們在吃完KitKat後,把手機送進「監獄」,一起Have a break。體驗不限於當下,斷網包裝使用壽命長達1年,體驗者可將其保留帶回日常,隨時提醒自己吃塊KitKat、休息一會。

KitKat推出「斷網包裝」!以經典標語Have a Break為發想,邀人們把手機裝進袋內、暫時離線休息一下
(圖片來源:KitKat)

結合精妙的創意和策略,奧美與KitKat精確掌握網路時代下的消費者輪廓,成功將「口號」轉化為「行動」,不僅與廣大年輕族群產生共鳴,也透過廣告巧妙回應時代脈動。

延伸閱讀

RECOMMEND

解鎖SANAA埋藏的驚喜!叁式設計綠美圖全新體驗介面:客製導覽、空間尋寶、即時影像生成,3系統讓數位思維落地
解鎖SANAA埋藏的驚喜!叁式設計綠美圖全新體驗介面:客製導覽、空間尋寶、即時影像生成,3系統讓數位思維落地

承載隨時間更替的各檔展覽,場域本身具備的探索價值,是文化體驗中常在卻也常「被隱形」的一環。坐擁SANAA操刀的絕美建築,臺中綠美圖攜手專業設計團隊叁式,輔以AI科技開發全新數位介面;藉手機導覽服務、空間解謎遊戲及即時影像生成裝置3套「多向互動」系統的整合,邀觀者循線走進館內,踏上前所未有的綠美圖漫遊。

臺中市立美術館(中美館)與臺中市立圖書館(中市圖)共構而生的臺中綠美圖,2025年底開館以來同時滿足觀展和閱讀需求,後續諸如教育計畫的推出、附設咖啡廳的落成等配套措施,皆迎眾多遊客造訪參與。2026年,旨在徹底落實SANAA構建場館主體時已然涵納的數位思維,綠美圖再與叁式團隊合作設計多功能導覽服務和多空間尋寶遊戲,並選於中市圖內「數位光境」增設沉浸式裝置;試圖以科技介入空間感知,將觀者體驗從單純的觀展閱讀拓至「場館探索」層次。3套全新系統合流「漫遊綠美圖」介面,觀者只需由手機點擊網站連結,即能依各異途徑,找到既富玩趣、又貼近自我節奏的遊逛脈絡。

臺中綠美圖為日本知名建築設計雙人組SANAA在台首作。(圖片提供:臺中市立美術館/攝影:Iwan Baan)
臺中綠美圖為日本知名建築設計雙人組SANAA在台首作。(圖片提供:臺中市立美術館/攝影:Iwan Baan)

數位整合回應空間特性,再造新型態文化體驗

日本建築事務所SANAA操刀綠美圖之初,便規劃藉數位整合回應美術館、圖書館共構特性,且於籌備期間即著手調查;經工作坊、專家訪談、場館分析等重重過程,研討出串聯兩館不同使用情境的具體方式,致力為每位觀者營造有別於過往經驗的置身感受。作為開放的文化場域營運數月後,館方融匯有形動線和無形服務,進一步強化觀者與空間的有效互動。以下帶你隔空試玩,同場了解其重點功能。

開館半年,館方打造全新數位整合系統回應空間特性。(圖片提供:臺中市立美術館/攝影:Iwan Baan)
開館半年,館方打造全新數位整合系統回應空間特性。(圖片提供:臺中市立美術館/攝影:Iwan Baan)

#01 手機導覽個人化動線規劃,提升參觀彈性

備有主題導覽作品導覽AI智慧諮詢3項功能,以靈活配合觀者需求。主題導覽包括「綠美圖建築漫遊」、「圖書館空間導覽」數條路線,兼透過圖文和語音帶領觀者認識場館大小角落;作品導覽支援QR Code掃描和代碼輸入,讓觀者得於展間即時取得延伸內容;最後由AI智慧諮詢連結導覽系統與場館資料庫,除報知展覽及活動資訊外,亦可推薦符合個人興趣的參觀動線,全面提升體驗彈性與便利性。

場館內外部多處皆設推播系統,提供展覽簡介等觀者所需資訊;圖為中美館大廳前面板。(圖片提供:臺中市立圖書館/攝影:李易暹)
場館內外部多處皆設推播系統,提供展覽簡介等觀者所需資訊;圖為中美館大廳前面板。(圖片提供:臺中市立圖書館/攝影:李易暹)
掃描QR Code可獲專屬導覽。(圖片提供:臺中市立圖書館/右圖攝影:李易暹)
掃描QR Code可獲專屬導覽。(圖片提供:臺中市立圖書館/右圖攝影:李易暹)

#02 遊戲式探索服務|常設X特設關卡,引眾解鎖空間

聚焦空間探索的數位遊戲《漫遊者》,分尋找關卡、互動解謎、獲取獎勵3步驟,引導觀者深入綠美圖各處。遊戲內容重塑建築動線空間節點光影變化為任務線索,並使關卡圖形散布水池畔、展間內乃至場館任一轉角。目前共含15個常設主線關卡,未來將陸續祭出期間限定關卡,確保多度重遊的觀者每回到訪都仍覺新鮮。

《漫遊者》遊戲畫面。(圖片提供:臺中市立圖書館/攝影:李易暹)
《漫遊者》遊戲畫面。(圖片提供:臺中市立圖書館/攝影:李易暹)
解謎3步驟。(圖片提供:臺中市立圖書館)
解謎3步驟。(圖片提供:臺中市立圖書館)

手機掃描網站QR Code即啟動任務,逐步發掘館內館外細節鋪陳。完成任務後,可於個人探索歷程累積結合聲音設計與空間意象的「靈感種子」,還能上傳成果至同為此次新設施的環形LED裝置投放影像,留下可視化的參觀軌跡。

其一室內關卡。(圖片提供:臺中市立圖書館/攝影:李易暹)
其一室內關卡。(圖片提供:臺中市立圖書館/攝影:李易暹)
破關之餘可了解更多綠美圖小知識。(圖片提供:臺中市立圖書館/攝影:李易暹)
破關之餘可了解更多綠美圖小知識。(圖片提供:臺中市立圖書館/攝影:李易暹)

▼ 叁式馬上玩給你看!

#03 環形LED裝置|AI生成即時影像,臨摹館內脈動

懸浮於中市圖3樓「數位光境」的環形裝置,位處整套數位體驗體系的視覺核心。由600片LED螢幕拼接成周長48公尺設施,結合AI語意分析技術,轉譯中美館藝術作品和中市圖書籍為動態影像,構築沉浸式觀展環境,供觀者直觀理解兩館及其館藏之間的緊密關聯。

數位光境落成時原樣。(圖片提供:臺中市立美術館/攝影:Iwan Baan)
數位光境落成時原樣。(圖片提供:臺中市立美術館/攝影:Iwan Baan)
現覆蓋沉浸式裝置,成此套全新數位體驗體系的視覺核心;圖為「森之息」運作模式。(圖片提供:臺中市立圖書館/攝影:李易暹)
現覆蓋沉浸式裝置,成此套全新數位體驗體系的視覺核心;圖為「森之息」運作模式。(圖片提供:臺中市立圖書館/攝影:李易暹)

裝置以「漫遊洞」(下圖右)與「森之息」(下圖左)兩種模式輪替運作。漫遊洞模式循四季、情緒、時間、水等主題軸線重新組構藝術作品和書籍後,於環形螢幕上呈現。觀者另可自由瀏覽一旁的互動裝置內容,同步輸入多元知識。森之息模式則採集即時環境參數與觀眾行為數據,堆疊不斷演進的視覺畫面,映照場館當下活動狀態。

觀者得以將數位遊戲《漫遊者》中搜集的「靈感種子」,上傳至森之息即時投放。(圖片提供:臺中市立圖書館/攝影:李易暹)
觀者得以將數位遊戲《漫遊者》中搜集的「靈感種子」,上傳至森之息即時投放。(圖片提供:臺中市立圖書館/攝影:李易暹)

從觀看到參與,實現場域共感

借力於科技,綠美圖扭轉原多偏重「單向觀看」的文化場館為「多向參與」的公共場域。往後觀者不只是接收資訊,更經由行走、選擇與互動,爬梳屬於自己的感受。館方亦期許未來持續深化數位體驗內容串接,促進藝術與閱讀在異質媒介間的流動,再推前對當代空間利用可能的想像。

(圖片提供:臺中市立圖書館/攝影:李易暹)
(圖片提供:臺中市立圖書館/攝影:李易暹)

延伸閱讀

RECOMMEND