siggraph
整理電腦的時候,發現 2005 6 月時拍的照片,那時借了郭秉的相機,想利用 image stitch 製作出一個 panorama 來。
換個角度看,就成了下圖:
Adventures in Animation 3D,一部 2004 年,IMAX 規格,全 CG 立體動畫(Full CG 3-D animation),由 Pierre Lachapelle. 擔任導演(Director)兼製作人(Producer)(他同時擁有 dna research 這家開發了 3Delight 的公司)。
動畫的內容,是講述一位 3D 角色是怎麼被創作出來的,從多邊型(polygons)、骨架(skeleton)、頭髮與衣服的模擬(hair and cloth simulation)到最後的動畫(animation),聽起來像是一部「教學光碟」,或是什麼「認識 3D 動畫」。
看了官網上頭的預告片後,真希望可以看到完整版~
下頭是我節錄自預告片中的開場白:
In the beginning, they were complex mathematical formulas.
Then, came to polygon.
The polygon became the boot.
And the boot became Slim.
But Slim wanted to be more than a bunch of polygons.
如果,開發像上頭這張圖所呈現的視覺效果,是很容易,而且可以隨著人的藝術創造力而有不同的變化,並且使用在 3D 動畫裏頭也很順利且自然的話,那該是件多麼有趣的事…
1986 年,Steve Strassmann 在 SIGGRAPH 上發表了一篇論文 – Hairy Brushes ,目的在透過一些方法,模擬出中國國畫中的水墨畫(不過當時,他的論文裏是指日本水墨畫…但其實就是中國水墨畫嘛…這樣的情況,可以用「情何以堪」嗎?)。這個論文的發表,說不定是「看得到」的最早 NPR 論文研究了。(所以,我們可以說 Steve Strassmann 是 NPR 之父嗎?)
NPR 是 Non-Photorealistic Rendering,和電腦圖學 (Computer Graphics) 發展至今的 rendering 研究相較起來,NPR 根本是「旁枝末節」:一點兒都不重要,也沒什麼技術貢獻的玩意兒。但它卻愈來愈常出現在我們的生活中,尤其是娛樂產品…
NPR 雖然只是 CG 裏的一個小分支,而且年輕得很,但它的的研究方向與成果卻也不少,受重視的程度,不亞於那些正規研究,最明顯的例子,就是有一個專門辦來供 NPR 相關研究投稿用的 – NPAR,一個在 2003 年開始經營,至今已經 5 歲了的學術會議。SIGGRAPH 1999 那年,還因此新開了一個全力的 course,就叫 Non-Photorealistic Rendering,這個 course 的講師一流,內容由淺入深,是個非常適合入門 NPR 的素材,看完這一份 course,再去看現在的 NPR 發展,會有非常大的幫助。
NPR 的研究中,涉及到的就是這麼一些關鍵字:edge-detection, outlines, silhouette, toon-shading, frame-coherence, brush strokes, toon shading, image synthesis。所以呢,當在描述這個技術時,我喜歡用 NPR 這個說法,而不是 toon shading,因為 toon shading 或 toon shader 只是一個部分,並不是全貌。
Today, people are able to tell stories by manipulating individual media artifacts and by composing media artifacts using modern technologies. However, these tools do not assist users in the plot development activity. Specifically, when a user tries to construct his/her story plot based on a media collection ( e.g., photos, videos, etc.), these tools cannot provide helpful information about the possible narratives. In this project we present a novel approach: “Storied Navigation”.
國寶總動員有段故事橋段是這樣的…
嬰兒枕覺得玩轉心瓶有點無聊,剛好看到翠玉白菜上頭的螽蟴(ㄓㄨㄥ ㄙ),於是很開心地把它抓了起來,急著拿去到處秀。第一個現寶的對像,就是住在一幅國畫–冬日嬰戲圖–宋朝–工筆畫–裏的姐弟倆…
我參與這個案子的任務之一,是不管用什麼手段,負責把嬰戲圖的樣貌搞定。為此,花了三個月的時間,整天和這些所謂的 NPR ( Non-Photorealistic Rendering ) 博鬥,最後,卻是使用合成的方式搞定一切(還好,我們有 Ahdee 這位天字一號的合成大師)。然後呢,這一篇還很幸運地,進了 SIGGRAPH 2007 research poster ( [ACM Portal](http://portal.acm.org/citation.cfm?id=1280720.1280921&coll=ACM&dl=ACM&type=series&idx=1280720&part=Proceedings&WantType=Proceedings&title=International%20Conference%20on%20Computer%20Graphics%20and%20Interactive%20Techniques&CFID=15151515&CFTOKEN=6184618 “NPR in production: animating the Sung dynasty painting “Children at Play” @ ACM Portal” ) )。
這是那幅嬰戲圖的數位縮小版,引用自故宮博物網站。
摘錄部分故宮的介紹文字在這邊,全文請至官方網站。
宋人 冬日嬰戲
絹本 色設畫 軸
縱196.2公分
橫107.1公分
畫姐弟二人在冬天庭院裡玩耍的情景,姐姐的手裡拿著一根色彩斑斕的旗子,小男孩則用細紅繩牽引著一根孔雀羽毛﹐正想逗弄著貓兒。姐姐則挽三鬟於頭頂及兩耳﹐再以紅白相間的錦緞纏繞其間﹐與宋蘇漢臣秋庭嬰戲中的雙鬟同為宋代小女孩常梳之髮式。弟弟的頭髮束結著紅絲繒﹐形如鵓角﹐更增添孩童純稚的神情。
目的 ,導演的要求,動畫的需求 「國寶總動員」的故事是由嬰兒枕發起的,因為他好奇抓起了翠玉白菜上頭的小蟲子(螽蟴),然後在秀給處在「宋朝嬰戲圖」這幅畫裏的姐弟倆時,讓小蟲子逃跑了!! 於是僻邪與玉鴨,只好跟著嬰兒枕到處去找螽螄,一路上遇上了很多其它國寶,最後在…找到了它…
整個「國」片的動畫風格是「擬真」與「可愛」,包括嬰戲圖的這一段,但打一開始就讓人很傷腦筋的是,這幅有將近一千年 (960-1279) 的古畫,要使用 CG 算出來很真實,就已經很不容易了,更何況還要讓畫裏頭的角色動起來也很擬真(關於這點,相信沒有人看過真正會動的國畫)。
導演的要求很簡單,就一句話「讓看的人以為,他真的是在看一幅會動的嬰戲圖,裏頭的角色不管是視覺上的顏色表現,或是動畫上的表演風格,都要很自然,一點兒也不 CG 才行。」(那時很羨慕「導演」這個職位,因為他們總是可以說出很精要而感動人心的話來,但倒底怎麼做,做的樣子究竟要怎麼樣,則是要動用一群人才有辦法做到…)
分析,討論與細節 前後景: 我們決定把整幅畫分為前景與背景來處理,前景部分由兩姐弟與小貓構成,剩餘的部分,通通歸到背景,包括 畫兩側的那些花花草草,換句話說,這同時暗示了,只有前景的角色會動,整個背景都是靜態的。這樣的作法很直覺,唯一要考慮的,是之後把前後景合起來時,他 們的色調(tone),紋理質感(texture & material)要很協調。 背景: 這部分,先是請美術人員,把前景的角色挖除掉,然後以人工的方式,手動把挖掉的洞,用旁邊的材質也補回來(這部分,也可以借用 CG 裏頭的一些計術,像是 Snake 演算法來自動補回來,依稀記得,這類補洞的演算法叫 Image Inpainting)。 紙的紋理:要把這一幅畫表現得很好,一個重點是紙的紋理。因為年代久遠,所以上頭的紋理還有一些地方有點斑駁不齊的,這是很重要的一點,決定了整個畫面擬真的程度。 前景: 角色設計:為了讓原來的三隻角色更加的逗趣討喜,前製的美術部門,花了很多時間,依著原來嬰戲圖裏的神韻與元素,重新給三隻角色做設計,讓他們更加符合當下人的審美感。亦即,在這邊,我們的設計要同時做到「擬真」與「可愛」兼具。 線條:很幸運地,這一幅畫用的技法,是國畫中的一支「工筆畫」,在線條的表現上,比較一致,變化沒有「水墨畫」來得大,雖然還是有小小的粗細變化,但問題難度已經大大地降低不少。 顏色:就直接使用 diffuse map 配合 constant shader 來處理,再給合成部分去修飾。 總結來說,這一幅畫要做好,有如下幾個細節要留心: 畫紙的紋理 + 年代久遠留下來的痕跡 角色的線條 + 線條要反應出下頭的紙紋理 角色的動畫要溫合,因為他們是「中國風的小朋友」 動態模糊(motion blur)要盡量地小,不然會很容易變得很 CG 角色身上的顏色,也會同時有紙的紋理,但不能太明顯,因為角色上的顏料蓋掉不少紋理,同時,太明顯的話,會覺得前景的角色,很像是在前頭「浮動漂移著」 一步一步完成它們吧!
每年,到了春天時,除了感到萬物充滿了生機以外,就屬對 SIGGRAPH 這件事最讓我感興趣的了。SIGGRAPH 是個學術會議,著重在電腦圖學(Computer Graphics)相關,然後因為近年來很紅的行業:遊戲 (Game)、電影 (Film)、動畫 (Animation)、數位創作 (Digital Artworks)、數位教育 (Digital Education)、電腦視覺 (Computer Vision)…等,使得 Siggraph 這個學術會議,近年來都能吸引到將近 3、4 萬的人口,這可是比很多台灣歌手舉辦的演唱會人潮多很多,多很多,很是不可思議。
不過呢,我們今天要聊的是 SIGGRAPH 與研究論文,不是演唱會!
對從事相關研究的學生來說,每年的一月是投稿 SIGGRAPH 論文的截止日期,那個時候,也應該是熬夜寫論文和拼數據的時刻,一群學生,或是窩在實驗室,或是坐在寢室的電腦桌前,或是在 Msn Messenger 上和教授口沫橫飛地討論研究細節(至少,我畢業時,曾經透過 Msn 和教授討應一些事情…當然啦,我們還有使用 IRC 這種古老玩意兒就是了)…那真熱血得很呀。
對於投了稿的學生或教授,在夏天的 SIGGRAPH 正式來臨前,最最關心的就是論文上了沒…
好了,現在打開你愛用的瀏覽器(我愛用 Firefox),google 一下 siggraph 和 papers,你會在第一頁的第一筆看到 Tim Rowley 這號人物。Tim 自 2000 年開始,就整理起了 Siggraph 論文來了。有趣的是,他的整理清單,常常是比官方的公佈還來得早。也就是說,官方都還沒公佈今年上的論文有哪些時,Tim 的網站上就已經有資料了…至今我仍不知道他是怎麼辦到的,不過這無妨,我只想享用他的用心所帶來的驚喜與便利,這就很足夠了。
Tim 整理的論文列表,除了比官方公佈得早以外,另一個很重要的特色是,他會在每一篇研究論文旁,放上相關的網址聯結,像是直接連到那個研究計畫的網站,放上論文 .pdf 的聯結,或是放個論文作者的個人網站。因此,你可以直接透過 Tim 整理的這個頁面,直接找到你需要的東西,而不需要一再的 google 什麼的,這簡直棒透了!!!
後來,Tim 發現到,浩瀚的宇宙(地球…)下,不是只有他在幹這事,有另一位叫 Ke-Sen Huang 的華人(是台灣人嗎?)也有在整理 paper list,而且還有收錄 Eurographics,於是他們兩個人就合作起來了。所以啦,如果你和我一樣,對 CG 有一股無法自拔的沈迷,或是 CG 和你的工作習習相關的話,那每年春天的時候,就一起觀注 Tim Rowley 和 Ke-Sen Huang 的“早官方版收錄“ (pre-siggraph paper announcement) 吧。