ROSO機器人建造實驗室╳《無法離開的人》導演陳芯宜:解祕XR到AI浪潮,我們將走向科技奇點?

由左至右為VR電影《無法離開的人》導演陳芯宜、ROSO機器人建造實驗室主持人盛郁庭、王識源。

AI的發展似乎正要到達科技奇點,會超越人類嗎?到時候人的價值是什麼?而一度延燒的Metaverse熱度消退,距離虛擬世界的路還很長?這些問題,由走在各自領域最前線的導演陳芯宜、ROSO機器人建造實驗室主持人盛郁庭與王識源一同回答。

內文1205-7
ROSO機器人建造實驗室在2021新竹光臨藝術節打造裝置作品〈目流〉。

對於人們來說,AI科技似乎正在爆發點上, 尤其AI生成內容(AIGC)的突破讓人驚艷,Midjourney、Stable Diffusion輸入指令即有精緻美圖,ChatGPT與過往AI相比文字回應聰明太多。而Metaverse一度過熱的光芒褪去,可XR延展實境(含AR擴增實境、VR虛擬實境和MR混合實境)科技仍在步步推進中。才擔任2023年威尼斯影展沉浸式內容競賽單元評審團主席、VR電影《無法離開的人》導演陳芯宜觀察到VR作品數量與品質逐趨提升。ROSO機器人建造實驗室主持人盛郁庭與王識源,則持續探索建築領域AI與機器人應用的極限。他們不約而同以無懼姿態與正面態度迎面最新科技,最後卻都談到人的感受、人如何觀看、人如何創造、人的需求,回到人性本身。

內文1205-1
陳芯宜VR電影《無法離開的人》劇情融合多位白色恐怖政治受難者的經歷,意圖喚起人們對創傷記憶與人權議題的共感。

Q:回溯創作過往,可以談談你們接觸並使用「新科技」的契機嗎?

陳芯宜:其實早在1960年代就有VR創作的雛形。2018年高雄電影節察覺VR電影是全球趨勢,但台灣較少人投入,所以開始與較成熟的導演合製VR短片,我是第2年被邀請,後來拍攝《留給未來的殘影》,才開始真正接觸。

拍完後我一度不想再拍VR了,這相對新的媒材還有許多技術難題會影響到創作層面,再加上成本過高,例如《無法離開的人》只有35分鐘長度,但總預算已經能拍部長片了。我察覺早期一些VR作品直接移植線性剪輯、腳本、分鏡等電影語言,這行不通,得要從這新媒材裡找到屬於它的語言,它是空間性的敘事設計,藉由觀眾自由選擇觀看方向,能設計出多層次敘事。

王識源:我與郁庭碩士念的是電腦輔助建築設計,那時還沒接觸太多機器人領域。以建築來說,1960年代Ivan Sutherland發明電腦輔助設計(CAD)軟體,那時被認為是種AI。AI在不同時代下有不同定義,而AIGC是當下正熱門的一種類型。我們除了有使用AIGC在設計前期的發想外,平常我們也運用生成式設計(Generative Design),透過基因演算法(Genetic Algorithm,GA)建立規則讓電腦自己產生互動,用作分析與提出過程中的實驗性設計,尋找一個逼近解再優化,例如分析造型、柱子的排列、材料的彎曲程度等等。

盛郁庭:我們由建築訓練出發,不斷思考如何設計,又要怎樣跟空間、跟人產生關係。在運算設計中,我們發現電腦帶來的複雜特性,開啟更多超越人類原先想像的可能性。我們開始想要探索科技介入設計的可能性。而ROSO非常注重在真實世界中構築端的突破,探討電腦運算跟機器人如何輔助材料面與營造,跟目前熱度上的AIGC方向比較不同。

內文1205-15
OSO機器人建造實驗室以「圳河」為「客廳」之設計概念,在苗栗公館鄉穿龍圳上為2023浪漫台三線藝術季創作〈圳廳〉。

Q:先談談AI,許多人都認為即將迎來科技奇點。AI有對你們的領域帶來什麼改變?

陳芯宜:除了身邊有人在研究如何為軟體下「咒語」生成對的參考圖片,最近XR領域非常瘋3D高斯潑濺(Gaussian Splatting)技術。過去如果只實拍平面影像、沒有掃描空間,就不會有3D空間資訊,除非我有建模,類似繪製CG(電腦圖形)和特效,若掃描沒很仔細還要後製修補。可是現在3D高斯潑濺有辦法僅憑平面影像分析出空間資訊,類似這樣的技術發展很快,未來或許會更難分辨虛實空間。

王識源:機器人早期翻譯過來就是僕從(slave),但到近期他們有了更多資料庫,可以和它做更多事,是以前較難以達到的。就像是《星際大戰》的機器人L3-37,若真能實踐到實體世界,它可以連結設計到建造(design-build),到後面就會出現「通用機器人」(collaborative robot),可以透過改裝適應多樣化的客製化目的。

盛郁庭:用傳統方法設計時,人很像上帝控制所有事情,後來的CAD等工具像是我們的合作夥伴,可以跟它對話、互動,激發我們的設計成果,到了近期真的開始給我們一些超出想像的驚喜。

內文1205-10
2023構竹林鐵新銳建築展〈疊舞竹曲〉,ROSO機器人建造實驗室以竹複合材(竹片、玻璃纖維材料),透過疊加垂直與水平交互分布之薄竹皮,重新詮釋竹材之可能性。

Q:你們認為現階段AI技術遇到的限制有什麼?又有什麼隱憂等待解決?

盛郁庭:其實AI囿限於特定模式(pattern),離自動化完成複雜的組織型任務還有一段距離。2D相對成熟,但變動的3D空間運算量更大,資料的收集跟建立標記等需要耗費相當大的運算力。而下一步大家討論的方向,是AI怎麼真正應用在實體世界的機器人或是構築上。

王識源:AI在前期可以與你快速腦力激盪或協助特定任務,但是在整體掌控與抽象思考上,目前它還無法統合得很好。現在光訓練機器人進行一個動作,就必須要收集非常大的資訊,例如我們有訓練機器人像木工匠一樣可以將木榫放進木頭裡,不過我相信這些問題在近期的未來都會有更有效的方式解決。

陳芯宜:今年美國編劇協會與演員工會大罷工是未雨綢繆,要先釐清一些概念,不討論不行,這肯定是未來趨勢,比如編劇內容著作權歸屬在誰、人或AI寫作與改編比例該怎樣界定等等。台灣還沒到那一步,AI只是工具或夥伴。

此外,我正進行、改編自吳明益小說的VR作品《雲在兩千米》,因為雲豹絕跡拍不到了,我曾去尋求AI生成的可能性,但沒有太多實際資料可以餵它,沒辦法憑空生成精準的動作。生物還是太細緻了,掃描人的細微表情變化還是很難,不過現在深偽(deepfake)技術也在快速進步。倒是一些重複性工作可能較快被取代,比如電視台已經有AI主播唸稿了。

內文1205-16
陳芯宜在2023年正製作中的VR電影《雲在兩千米》改編自吳明益的小說作品。

Q:Metaverse一度引發熱潮,現在最瘋狂的時期過了,有人說是因技術爆點未到,你們怎麼看待?

陳芯宜:Metaverse更多是一種多功能甚至包含社交平台的應用。而若只談VR電影,好不好的關鍵還是在如何經營敘事與空間設計。好的VR能翻轉原本的身體、意識跟感官,這兩年威尼斯影展中,許多稱之為VR World或VRChat的作品顛覆我的想像,那其中都有一個隱性敘事,互動沒有那麼強迫。

去年我體驗到駭客世界,今年還有蘇聯時代。可我覺得仍無法取代真實體驗,人還是要真實擁抱一個人、對話、目光交會。除非真像《一級玩家》、《駭客任務》全部體感都能重現在虛擬世界、分不出虛實了。當然我不知道下一代會如何,搞不好他們出生就習慣在不需真實接觸的生活。

內文1205-18
陳芯宜VR電影《留給未來的殘影》與編舞家周書毅共同創作,以舞蹈呈現記憶中難以言說的部分。

盛郁庭:Metaverse本身概念非常好,能是另一空間的延伸,並創造跟不同社群連結、交流的可能,現在搞不好只是技術還沒到位,通訊技術等等硬體限制都會影響到內容設計等發展。ROSO專注在營建產業上,所以有採用AR輔助建造、跟資訊模型結合,在工地現場也能協助放樣工程、幫助師傅在3D空間測量、對位,這原先是很辛苦的事情。甚至,我們結合觸覺機器人在機械手臂上裝設策力感應器,將觸覺帶進AR的世界裡面。

王識源:芯宜導演說人可以真實觸碰,這是有溫度的,但假設在虛擬世界中人的感知有所不同,會得到不同於真實的經驗,目前看來是各有特質。早前我們有嘗試在VR中操控遠端的實體機器人,實驗通訊延遲(latency)的效能。我們假設位居在不同星球,像是在重力輕的星球上,讓人體驗那感覺。

Q:許多人都在懼怕AI等科技將取代人類,而若真有天科幻電影成真,那人類創意的真正價值會是什麼?

王識源:不是每個人用AI都能創造出好作品。房子還是房子(A House Is A House),最初的精神是不會變的,與其說我們今天要去創造新東西,更重要是工具介入之後,它帶來什麼樣的好處,像是創造力提升了?AI可能衝擊某些工作內容,但我覺得可以積極去善用它,跟它一起合作,然後創造出你想要的一些價值。

盛郁庭:我們很享受機器人、AI給自己的碰撞,帶給我在想像力上的對話與可能性。瑞士很久以前就在公投基本薪資,這回到:人到底為何而存在?是否工作與勞動才是存在意義?我認為若AI跟機器人把我們從重複性的勞務解脫,多出來的時間還有很多事可以好好體驗,不必用競爭心態思考這件事。

內文1205-20
2022年,ROSO機器人建造實驗室與藝術家伊佑‧安查共同在豐濱鄉港口部落石梯坪段,打造公共藝術作品〈白羽岸.Pahanhannan〉。

陳芯宜:從工業革命時就有機器取代人的問題,我不會焦慮這件事,生命會找到出路。以我的領域來說,還是說好一個故事,我相信有些是連人類語言都說不出的細微情感,那些哲學思考、創意,AI還沒辦法真正取代人類,一定有它做不到的事情。

去年在威尼斯影展、也在高雄電影節播出的VRChat《謎幻泡泡糖》(Gumball Dreams),體驗時,它與位於紐約的90歲資深女演員連線,與她的對話過程能回應到人性深層的寂寞,結尾時我竟然捨不得離開,覺得很恐怖。而今年威尼斯影展還有一個VR World作品《Horse Canyon》,單純在大峽谷騎馬,中途大家沒事做換成夜晚模式,會圍在一起烤火也不講話,火很大、有蟲鳴鳥叫。這很人類,一些基本需求,讓人類就是人類。


陳芯宜

台灣影像工作者,作品橫跨劇情片、紀錄片與電視劇集。2022年VR電影《無法離開的人》榮獲第79屆威尼斯國際影展沉浸式內容競賽單元最佳體驗大獎,2023年應邀擔任該單元評審團主席。其他重要作品有VR舞蹈電影《留給未來的殘影》、紀錄片《行者》、劇情長片《流浪神狗人》、《我叫阿銘啦》等。

ROSO機器人建造實驗室

盛郁庭與王識源目前分別任職於逢甲大學建築專業學院與國立陽明交通大學建築研究所,並於2019年共同成立ROSO機器人建造實驗室(原ROSO X ROLA機器人建造實驗室)。ROSO是一個跨學科的研究與設計團隊,主要目標為運用創新的機器人技術、運算思維與各式新興科技相互碰撞下,提供多樣的設計與智能建造可能性。

採訪整理|吳哲夫

攝影|蔡耀徵 圖片提供|行者影像、ROSO機器人建造實驗室

更多精彩內容請見2023台灣創意力100《Human Identity》

延伸閱讀

RECOMMEND

Birdy Nio 捕捉創意吉光片羽,輸出自由奔放的奇幻冒險

日本攝影家荒木經惟曾說:「沒有相機就無法成為旅行。」的確,攝影可以為旅行紀錄許多走過會忘記,或是不曾發現的小細節,能夠將陌生的遠方,留下與人事物的美麗相遇,這也是導演Birdy Nio的旅行鏡像。

旅行最有趣的地方,在於充滿未知,對喜歡冒險、挑戰,隨時隨地就踏上旅行的 MV 導演 Birdy Nio 邱柏昶來說,旅行攝影就像是與自己創作共處的一種美麗方式。

SONY

頂著一頭黑人辮,皮膚曬得黝黑的 Birdy Nio,是台灣備受矚目的 MV 導演,更曾為孫燕姿、鄧紫棋、徐佳瑩等多位藝人掌鏡拍 MV。熱愛跳舞的他,最初只是單純想拿相機紀錄自己的跳舞動作,卻越拍越有意思,一些藝術圈的朋友看到,就建議 Birdy Nio,不要老是拍自己,可以幫忙拍一些舞蹈團體當作品,豈料竟越拍越大,到最後還跨足了廣告及 MV,成為擁有獨特視角和創意的導演。

超進化功能讓創作變成會上癮的成就感

回憶自己剛接觸影像時的青澀年少,因為大學生沒錢拍片、租燈光,為解決光的問題,初期是在路上,找招牌很亮的地方,或借用路燈的光來拍,當時 Sony 推出有夜拍功能的相機,正好符合 Birdy Nio 想要高感光度的需求,自此之後,他就成為 Sony 的鐵粉。Birdy Nio 笑說,「我一轉到 Sony 就沒換過,因為它的更新率非常高,不是機身更新,就是鏡頭更新,每一兩年就會有新的驚喜,加上 Sony AI 追焦、感光度提升抑或手持穩定感等功能一直進化升級,越做越強,到現在不論生活或工作都已經離不開 Sony。」

SONY

Birdy Nio 舉例,過去拍影片是需要手動對焦,遠近要邊看邊拍,有時候光圈開到 1.21.8 時,很難去對需要移動的畫面,「Sony 新出的 α7C II 已經進化到,AI 智慧對焦功能可以幫忙分辨物品位置前後,對焦速度還能調整,甚至還有一鍵切換攝影和錄影功能,是紀錄生活的強大幫手。」

再怎麼熱愛攝影,當喜好變成了工作,久了也是容易疲乏,Birdy Nio 坦言,影像創作的魅力在於成就感,或許壓力值令人一度想要放棄,但成就感就像毒藥,會驅使 Birdy Nio 一直前進,「有點像是我已經拍到不知道為什麼要拍的時候,突然發現先前隨性創作的作品,入圍某一個影展或獎項,此時就會覺得,原來創作是會被大家看見的。」

SONY

匯聚移動優勢相機就是生活中最佳旅伴

旅行佔據 Birdy Nio 人生大部分的時間,更是他工作壓力的解套,透過旅行,就像是為自己重新設定,找回還是熱愛攝影的那個自己。當攝影變成一種移動藝術,α7C II 的機動性和輕巧便利好設定,即成為他口中的最佳旅行夥伴,原因在於,相較大都會,他更愛深入帶有探險性質的偏鄉或國度。Birdy Nio 分享,自己偏好的旅行方式,是搭當地 taxi 包車,在 google map 設幾個點,窗戶搖下來開始拍照,通常就是一台相機,配一個 70-200mm 鏡頭。

SONY

由於 α7C II 有強大自動對焦,還有高速連拍,即便快速經過,一定都會拍到幾張有中,「這也是我認識一個地方最快的一種方式,假若走到一些看似電影場景的地方,我就會使用風格外觀的FL模式,讓對比度變高,視覺會變得更立體,能加強地方的氛圍;如果跟好朋友或可愛女生妹子旅行,就會使用 SH IN 模式,讓視覺柔和。」省去後期調色的繁瑣,畫面可以直出上傳。

或許人生就是場無止盡的追尋,因為 α7C II 的翻轉螢幕跟機身重量更利於自拍,這次 Birdy Nio 和朋友一路往南的 VanLife 行動房車旅行,就帶上 α7C II,紀錄自己與朋友走入大山大海的手碟專輯錄製,也滿載他與朋友的許多互動。他笑說,α7C II 輕巧體積小,很適合架在奇怪的地方進行影像創作,像是塞在書跟書之間,也能拿來綁空拍機,變化出別具巧思的視角,「我要錄音,還要拍攝,實在沒空調設定,α7C II 既可錄影,拿起來還能馬上拍照,機動性很高。」

他分享,這趟和三四個音樂人一起出門,玩得瘋狂,也喝得很醉,即便如此,當他拿出 α7C II 拍攝時,也不用擔心對焦,而且拍出來的影片效果特別好,忠實紀錄與朋友的完美日常生活感;一如影片最後,回到工作室演奏的畫面,讓日常是生活裡簡單卻不想忘記的片刻。Birdy Nio α7C II 不留遺憾地往前熱血,在世界各角落留下歡樂的時光印記。

SONY

了解更多 ILCE-7CM2 https://go.sony.tw/8bme6n56

撰文 | Iain   攝影 | 李明宜

讓攝影就像是翻開青春手札,把日常變成最美好的禮物

攝影不只是按下快門,畫面背後的故事,才是最能觸動人心的景象。擅長拍攝日系風格的攝影師叮咚,其攝影作品有一種清爽香甜,有時是家人的真摯笑容,有時是生活的醍醐味,就好像回望青春的手札,把那些平凡不過的日常,變成咀嚼有味的甘美滋味。

為什麼日系風格攝影如此受歡迎?原因或許在於當雙眼看著作品,就能產生一種平和療癒的感覺,如同叮咚接觸攝影的起源,是為了紀錄從戀人眼中看到的溫暖笑容。

SONY

為紀錄可愛女兒引發的攝影創作

從拿起底片相機為前妻棋子拍下第一張照片開始,方框裡投射出的影像就是愛的模樣,一連拍了十年,在前妻的鼓舞下,叮咚辭掉工作進入婚紗業累積經驗值,後來轉進商業,接觸導演,像全聯經濟美學就是叮咚的作品之一。

令人感到遺憾的是,棋子因病離世,一度無法拿起相機的叮咚,最後領悟到越是難過就越需要練就創造美好的逆轉能力,其實攝影不也是自我認識和療癒的歷程?在按下快門的瞬間,與活在當下產生深刻連結,現在的叮咚,有了深愛的太太和女兒,攝影多出了一層新的含義,叮咚語帶笑意的說,「爸爸這個角色觸發我一些創作能力,從拍照片變成拍影片,我花了半年自學,想要記錄她每一個可愛動作。」

SONY

綜觀叮咚的 IG 影像,很多作品都是生活時偶然拍到的,他表示拍家人不比商業攝影好像投指定球,要投得漂亮及自然,家裡的場景都是轉瞬即逝,任何動作都無法被限定該怎麼發生。因此輕巧絕對是挑相機的首選,最令他訝異的是 α7C II 既是全片幅,又能維持機身的輕巧靈活特質,「我比較一輪下來,機身小,可能很多家都能做到,可是鏡頭要小又要選擇多,可能就只剩 Sony 而已。特別是錄影的規格,不若一般麥克風還要多接一條線,有時候在帶小孩時,要拍照又要追焦,輕便就會讓人感到非常重要。」

SONY

用愛的視角反映生活清澈美感

笑說以前都是在拍樂團、音樂祭的叮咚,自從有了女兒小實後,場景就變成了在家煮飯的身影、逛選物店、菜市場的風景,以及和女兒散步的模樣,邊走邊拍,挖掘柔軟的日常美好。如今已有多台 Sony 相機的叮咚,大部分都在找尋新的手感,是挑戰 Sony 也在挑戰自己,他提到 α7C II 的風格外觀,最推 FL 模式,就很像日本《nice things. 生活風格情報誌》裡的照片,透過沉穩色彩,以及令人印象深刻的天空和綠色色調,創造帶復古感如膠片般影像。另外像是 S-Cinetone 可以讓顏色會退飽和,膚色也會變漂亮,可以在後期時,能有更多自由發揮的空間,為鏡頭捕捉的每個瞬間,增添多樣化的場域情境。

SONY

每個人看世界的眼光都是獨特的,近期叮咚也用 α7C II 拍攝好笑的家庭日常影片,他表示,攝影最大的魅力,就是生命的歷程你可能會忘記,但照片及影像卻能保留曾經消逝的時空及回憶,讓情感與記憶依舊鮮活如新,那就是一份最棒的禮物。

SONY

了解更多 ILCE-7CM2 https://go.sony.tw/nnlo5ie5

撰文 | Iain   攝影 | 李明宜