Edward's Storied Navigation

Oct 23 2007

siggraph

Storied Navigation

Today, people are able to tell stories by manipulating individual media artifacts and by composing media artifacts using modern technologies. However, these tools do not assist users in the plot development activity. Specifically, when a user tries to construct his/her story plot based on a media collection ( e.g., photos, videos, etc.), these tools cannot provide helpful information about the possible narratives. In this project we present a novel approach: “Storied Navigation”. In this mode of navigation, media segments are annotated using free text and stored as a collection. To tell a story, the user inputs a free text sentence, and the system suggests possible segments for a storied succession, which helps the users’ exploration in the domain of possible stories. This process iterates progressively. The system achieves the association between the input and the segments’ annotations using reasoning technique including WordNet and commonsense reasoning technology. We have conducted an initial evaluation on the appropriateness of this method, and we believe it is a promising first step towards the goal of making storytelling activities immersive, and enjoyable interactions.

Source: Storied Navigation.

今年(2007)九月,好朋友 Edward 來公司拜訪,在混亂中,我胡亂地介紹了一下太極影音本身、3D 動畫長片部門的現況與即將進行的案子、展示了完成的動畫作品(國寶總動員、吊吊巴士、神選者…),他還被捲入我們和台大教授/學生團隊的討論會議中。最後,我們很榮幸有機會聽到,Edward 介紹了他在 MIT Media Lab 的碩士論文「Storied Navigation」。

MIT Media Lab 給我的感覺是這樣的:他們總是可以秀出一個又一個,感覺起來非常有意思,會讓人眼睛為之一亮的研究成果出來(像是 美金 100 元的 OLPC)。如果在沒有專人解說的情況下,會很快就只覺得「不過又是一個有趣,但到頭來不曉得能改變我生活什麼的一個玩意兒。」是的,我的確就常常這麼認為,所以對於 MIT Media Lab 的反應,從大學時期的憧憬,到研究所時的忘卻,到現有的麻木。Edward 的 Storied Navigation 也是很有可能成為眾多「玩具」中的一個,不過在聽了他的解釋後,我有了那麼點不一樣的看法。

簡單來說,透過 Edward 的這個系統,你只要使用電腦裏的任何一個文字輯編器,一個字一個字(或一句又一句,一段又一段也行),打出你心裏頭想的故事,然後呢,系統會自動去資料庫裏頭,找出之前處理過的影片,幫你簡單地剪輯串成一個,表達你的故事的 video 出來。

這是一個—-電腦嘗試了解人類所寫的文字內容,然後再以 video 重新解釋一次,它認知的文字內容為何的—-系統。擴大來想的話,就是人工智能在了解了人類的資訊後,再以另一種資訊來重現一次。換句話說,這是一種「人類與電腦溝通的一個過程」。這過程就像,偶爾我在和 Dan 討論一個東西時,他可能會以他熟悉的英文解說一次,然後我會再以中文的方式,說一次我的理解,反問他我的說法有沒有錯。或是,透過電話吵架的一對情侶,他們吵的過程中,隨時會翻出前一刻說的話,或是舊帳,然後以自己的方式解釋一次,再很不爽或很難過地跟電話的另一頭爭吵…

想到這,於是我不再在乎,這個系統目前究竟是可以拿來幹麻,是否有辦法幫忙做一些簡單的影片剪輯什麼的,我在乎的,全落在「人類與電腦的溝通」這麼一回事上頭了。

這讓我想到另一件看似無關的事。有次,我向同事 mimi 抱怨說,自己不會畫畫,無法像他們一樣,自由自在地把腦子裏想到的畫面給畫出來,有時甚至是不確定腦子裏的畫面怎樣,所以更別說要畫出來了。mimi 說了一段很有趣的說法:「那你就用程式來畫畫吧,寫些程式,讓它們代替你畫出另一種風格的畫來吧~」

如果我真的開始寫起了這麼一個程式,是否意味著,我在寫一個,在某種程度上,可以和我溝通的程式,然後它(他?她?)把我想的東西,以它的理解,畫了出來? 如果真是那樣,是否是一件有趣極了的事?

comments powered by Disqus