2011年11月30日 星期三

NUKE產品經理談NUKE的未來


在這次的訪談裡, 我們專訪Jon Wadelton---這位The Foundry 公司 NUKE產品經理. 這次專訪將專注在The Foundry這家公司與NUKE 這套強大的合成產品, 提供無可取代的速度與最高等級的功能, 開啟了桌上機市場. 有了NUKE, 你就可以用新的攝影機技術, 產生VFX特效, 3D資產與粒子系統. 我們要感謝Jon提供他與The Foundry團隊的寶貴時間分享他的經驗. 文章下面你可以看到NUKE的影片, 關於他在阿姆斯特丹的IBC 2011活動介紹NUKE 6.3的演講.

Q: The Foundry是一家具有世界級的視覺與影像處理科技的公司, 請問這家公司是怎樣成立的, 原因是?
A: The Foundry是在1996年成立 , 由電影特效專家Bruno Nicoletti與 Simon Robinson一起成立的. 當時並沒有任何Flame或是其他高階2D軟體的商業外掛, 察覺到這市場上的缺口, The Foundry公司開始賣這些後製團隊需要的外掛工具. 他們是第一個研發Sparks在Discreet Logic’s Flame system平台上的公司. 從那時開始, 公司就開始成長, 持續地研發屢屢獲獎的技術科技, 填補市場上消費者的需求空缺!

Q: 從1996年公司成立開始到現在, 你認為改變最多的是什麼?
A: 這家公司是爆炸性地成長, 一開始的時候是50名員工到2009年增加到130人. 這家公司的成功 根本原因是持續地發揮原始的想法, 填補市場空缺, 提供這樣的產品幫助使用者, 不論這市場上的空缺是合成, 繪圖或是3D立體影像. The Foundry持續地改變特效產業的遊戲規則.

Q: 貴公司獲得AMPAS Sci-Tech Award®的科技獎項, 你為讀者解釋一下嗎?
A: 在2007年, 美國影藝學院頒發了科學技術獎項(Sci-Tech Award®)給The Foundry研發團隊, 針對FURNACE這套影像處理套件. 而我們公司被廣為使用的, 高階合成系統NUKE也是根據這項獎項的技術所寫. Optical flow 或 motion estimation這相關領域是The Foundry公司, 對新一代演算法的先驅技術, 能夠追蹤frame上的每個像素, 並追蹤下一個frame的像素.

從2002年開始, The Foundry的FURNACE 首次地將這演算法加到這強大的工具組裡面, 裡面有改變時間快慢的KRONOS工具. 很快地成為市場上面, 快動作與慢動作的領導科技. 今日FURNACE裡頭有超過30個外掛, 利用到這項動作估計(motion estimation)的技術, 提供視覺特效藝術家廣泛, 又精密的外掛, 能夠處理各種的合成問題, 例如wire, 移除rig, 減噪, dust bustin,g 影像穩定化, super resolution, auto rotoscoping, 影像分割, 移除閃爍, 影像縫合, 添加動態模糊, 追蹤, 產生depth mattes...等等的技術. The Foundry是英國唯一一家公司受頒2006年的奧斯卡獎, 也是少數四家獲得Scientific and Engineering Award Academy Plaque®的獎項. FURNACE對這項令人嫉妒的獎項感到光榮, 這套軟體也被用在許許多多知名的電影裡面, 例如: 007首部曲:皇家夜總會, X戰警3:最後戰役, 達文西密碼, 巧克力冒險工廠, 蝙蝠俠:開戰時刻, 金剛, 魔戒三部曲, 海神號, 超人再起.

Q: 請問開發NUKE花了多少時間? 怎樣激發你靈感的? 有多少人參與這項開發計畫?
NUKE最早的時候, 大約是在1993年, 於Digital Domain公司所寫, 是他們的公司內部的合成工具. 一開始的時候, 只是由程式指令列所執行的工具, 可以讀取script來處理合成的操作, 我認為最早的功能是在1994年的電影魔鬼大帝:真實謊言, 那個時候就開始寫的, 從那時開始, 這套軟體就不斷演進. 到了1997年, Digital Domain公司製作鐵達尼號的時候, 就出現了基本的圖像節點樹, 就跟你看到現在的NUKE節點很相似. 2007年the Foundry公司併購了NUKE, 並且進行重大更新, 包含了對python語言的支援, 以及Qt的介面, 從那時開始NUKE就變成了電影業界的合成軟體的標準了. 很難說這些年有多少人參與NUKE研發, 很多人都有貢獻!

Q: NUKE被用在很多大型的電影專案, 例如阿凡達, 第九禁區, 黑暗騎士. 請問哪部電影你感到最驕傲?
A: 不論是哪部電影或是廣告, 有用到NUKE的我都感到很驕傲, 我很驚訝用戶能夠把NUKE發揮的這麼淋漓盡致, 產生如此驚人的效果. 我想我目前想到的是有一次參觀Framestore (歐洲最大的視覺特效電腦公司)的時候, 其中有個hero sho,t 他們所有的粒子特效都是用NUKE 6.3所製作的, 那畫面真的很驚人, 我們花了很久時間讓粒子特效能正常的用作, 很高興當我們把工具交給這些很有天份的藝術家, 他們能夠做出這麼棒的效果.

Q: 你在網頁上說NUKE是世界上最強大的節點合成軟體, 你能解釋一下嗎?
A: NUKE在一開始設計的時候就是要能夠用在大型專案(scalable)且功能強大, 能夠處理32bit得浮點影像像素資訊, 這表示你可以處理影像, 用各種的特效節點來處理, 也不會讓影像品質衰減, 變質. 而scalable也表示了影像的大小與合成樹的大小, 我們常常看到NUKE專案用了100個甚至上千個影像處理節點, NUKE對於大型影像可以處理的非常好, 大型的50K的matte paintings 投影到3D幾合體上不再是問題了!

Q: NUKE有哪些獨特的科技?
NUKE具有強大的多通道流程, 讓你可以同時有多個影像串流, 在合成樹上同時進行, 用在3D立體影像處理也行. 多個立體影像能夠被導向單一個合成樹, 這讓整個流程變得更加直覺, 不會有卡卡的感覺. NUKE也有新的Deep合成系統, 這項科技已經被Weta Digital工作室用在電影阿凡達上面了. 傳統上當兩張CG圖像要合併的時候, 其中一張CG影像必須要有渲染holdout才行. 你可以想像一下, 電影阿凡達裡面, 有角色跑向樹林裡面, 3D人員必須要渲染樹林, 然後把角色放到樹林的場景裡面.

為了做出如此效果, 他們必須要渲染出一張---洞 (hole) 或是稱為holdout, 用來放置角色在樹林裡面的位置, 這沒什麼太大問題, 只要你不移動角色的位置, 但是當導演要求把角色移到另外一個地點, 或是用另外一個take, 當然這就表示你需要渲染樹林一次, 其中要包含角色的holdout 在不同的位置上. 像阿凡達這樣等級的電影, 重新渲染每個frame會耗上好幾個小時, Deep compositing system解決了這個問題, 與其渲染出具有holdout的森林. 3D人員只要另外渲染出稱為Deep data的資訊, 讓合成師可以即時地把角色放到森林裡面, 你就不需要花好幾個小時來重新渲染!

Q: 最近貴公司發表了KATANA 1.0, 你什麼時候會發表新版的NUKE, 你能夠透漏一點新版軟體的功能嗎?
A: 明年的第二季會發表具有重大新功能的NUKE, 下一版的功能專注於GPU加速的影像處理, 我們會把那些需要大量電腦運算的演算法, 例如Denoise, zDefocus 與 motion estimation以GPU加速運算. 我們也希望能夠與HIERO做更緊密的結合.

Q:貴公司的合作夥伴都像是華納兄弟 MPC等等, 你們是怎樣合作的?
A:沒錯, 我們跟這些電影工作室緊密合作, 事實上大部分的產品都是由這些大型特效公司室的公司內部工具開始研發的: NUKE是從Digital Domain來的, KATANA從Sony Pictures來的, Imageworks與 MARI是從Weta Digital來的, MARI 與 KATANA這兩套軟體我們都還持續地跟Weta和 Sony持續的合作研發.

除了這些我們密切合作的夥伴們, 我們也跟其他工作室合作解決他們製作問題. 有時候這些公司會把分鏡寄給我們來看看. The Foundry公司能不能提供解決方案, 最近我們在幫 創:光速戰記, 處理一些問題. 我們知道跟客戶互動的重要性, 因為我們才會知道現場會遇到的真實問題, 而這些問題的解決方案最後也會變成我們產品將來的新功能.

Q:你未來有何計畫?
A: 確定的是, 公司的產品線要能共用資料, 例如KATANA裡面的3D算圖場景, 能夠自動地在NUKE以合成的方式重現, 或是從NUKE 去呼叫KATANA 3D 要求提供需要的pass 或matte . 我們發現這種資料交換可以節省大量的時間, 對於小型工作室尤為重要. 我們目前專注在讓NUKE能夠將來的硬體能相容運作 (future proofing) ,我們全新的‘Blink’架構, 你會在明年的NUKE看到的, 這種影像演算法讓我們能夠在任何新的硬體上面跑. 例如幾年前的CPU提供SSE的科技, 能夠讓某些演算法加速到4倍快. 許多軟體, 例如NUKE 對於這種SSE技術必須要重新改寫才能受益於這種硬體加速技術. 如果再加上GPU加速, 軟體就有三條路要走. 那麼在維護軟體上面就很麻煩! 我們新的Blink架構就是為了要解決這些問題, 我們只要把演算法寫好, 而Blink架構就能幫我們處理看是要跑CPU, SSE 或 GPU. (完)

2011年11月17日 星期四

藍天工作室採用NUKEX製作里約大冒險


藍天工作室(Blue Sky Studios)是一家贏得奧斯卡獎的動畫工作室, 是福斯電影娛樂的子公司. 當初成立的任務是要探索照片寫實的創造力, 高解析度, 以及電腦產生的角色動畫.

該工作室最新的作品是電影---里約大冒險(RIO). 這個故事是關於一隻呆呆金剛鸚鵡, 離開了他舒適的籠子, 從明尼蘇達的小鎮, 飛到巴西的里約, 他踏上了人生的旅程, 學習怎樣敞開心胸, 一路上學習怎樣享受人生. 這個專案很早就由巴西出生的導演Carlos Saldanha構思了很久, 藍天工作室給他了這個熱情的專案, 緊接在成功的冰原歷險記3:恐龍現身之後. 本片獻給Carlos的故鄉, 以及他對整片工作人員的熱情.

這個專案需要建立3D投影場景, 需要做很多合成的工作, 而藍天工作室很快就發現NUKEX很適合用來處理這項挑戰. 合成組的領導Ari Rubenstein先生扮演了一個核心的角色. 製作里約大冒險, 看看NUKEX能夠如何成為藍天工作室的頂尖合成工具!

攝影機投影(CAMERA PROJECTION)
他解釋: 一開始的時候, 我們購買NUKEX是因為它的攝影機投影功能. 有好幾次, 合成都能在一天左右把原本要耗費大量金錢的重算圖的東西用合成給修好. 我有加入過The Foundry NUKEX Beta測試, 在研發的時候就有展示這些投影的技術, 當給我們的CG主管看, 遠在荷頓奇遇記(Horton Hears a Who)完成製作前, 他們就決定購買六套的NUKEX, 所以, 我就可以利用這項技術來完成荷頓奇遇記. 當Apple公開宣佈不再對Shake提供支援以及NUKEX內部的行銷, 說服了藍天工作室, 把流程由Shake轉移到NUKEX.

在藍天工作室裡面有三個部門每天都會用到NUKEX---燈光, 合成與3D立體組, 都會利用到NUKEX在他們的流程裡面. 燈光組的流程大致是設定comp scripts從我們內部開發的CGI Studio算圖器算出來的圖層, 接下來他們就研究有哪些合成技術可供利用. 同步地, 後製照明(post-Lighting) 合成組處理那些需要吃重的合成處理分鏡, 例如客製化的轉場(custom transitions) ,大氣特效, digimatte...等等 . 最後3D立體部門, 把送來的script分成左眼與右眼算圖, 使用特殊的工具與技術 ,加強3D立體視覺的效果.

3D工作流程的整合
感謝NUKE它天生的彈性, 每個部門都能夠針對需求撰寫適合他們的工具, 能對最終流程達到很高的最佳化狀態. 藍天工作室常常用到技術都可以很容易打包然後寫成客製化工具, 只需要簡單的程式撰寫知識就可以設定好, 然後打包, 真是NUKE所提供的珍稀能力. 就我的軟體經驗來說, 這種層級的客製化幾乎需要相當能力的程式能力, 但是在這樣中小型的公司可以找到. NUKE提供很多解決方案都相當具有挑戰性, 從最簡單的到最複雜的流程都有.

"特別是, 我們已經能夠撰寫很多工具, 作為2D與3D流程之間的橋樑, 這種混合工具在藍天工作室裡面算是新的作法, 讓合成的威力又更加擴增了"---Rubenstein說.

The 3D environment這套工具是最重要也最有用的, 所提供的無數種功能, 太多應用層面可以說了. 多樣化的自動追蹤技術能夠處理很多種的articulated roto, 標準tracking與warping, 現在大部分這些東西已經不需要了, 因為攝影機投影到幾合體與bicubic cards上面. 我們所開發的工具可以依據z-depth passes來產生模型, 投影上去, 然後從攝影機算圖, 因此移除了手動追蹤與變形的需求. 為了要處理算圖錯誤與局部的顏色校正, 簡單的攝影機移動, 與微小視差, 我們課製化的multiplane工具可以用類似的手法處理大量的分鏡 .

多通道的工作流程
其他很讚的功能, 例如多通道工作流程, 讓你可以有更有效的資料組, 丟給不同的美術人員, 讓他們個別產生, 組合資產, 我們也會用動態模糊技術, 對那些無法用算圖產生的分鏡, 例如vector blur與scanline render multi-sample. 能夠使用python語法也大大增加了我們的威力, 我們開發了工具, 能夠管理網路 序列/分鏡的資料庫 frame範圍, 與其他跟分鏡有關的資料. 這些工具也會定期地查驗資料庫, 看看有沒有更新, 取代更新版本的攝影機, 或是在現有的script裡面其他的資料.

具美感的合成
NUKEX對美術人員提供甜美的功能, 讓藍天工作室能夠發揮digimatte這項技術, 我們建立了全3D投影場景, 用在整個景觀建立分鏡(vista establishing shots), 充分發揮了我們的算圖器ʻCGI Studioʼ的功能, 然後用客製的手繪功能加強細節或是FX能套用到所有的共用背景的分鏡序列上. 有很多東西需要渲染, 用了這個方法省卻了許多工, 沒有NUKEX根本不可能辦到. 這也讓我們產生客製化的渲染pass, 也就是把攝影機投影到多通道的預先算圖, 然後再重新排列, 變成特定的分鏡腳本, 也就能無痛地把這些套用到多種相似的分鏡裡面. 這節省了大量的工作, 對於像3D工作流程那樣, 不需要再計算另外一隻眼睛的畫面, 只需要插入另外一顆鏡頭, 然後渲染攝影機投影的幾合體, 也就得到了快速的第二背景, 可以用在3D立體上面了!

有很多關於3D投影的例子, 你都可以在藍天工作室的最新動畫片---里約大冒險裡面找到.Rubenstein做了基本操作的分解動作:

1)分析序列清單工作表contact sheets 分析哪幾個分鏡的背景很類似, 可以用3D投影的方式一起做掉.

2)在NUKEX裡面, 載入所有需要建立投影的相關幾合體

3)載入所有分鏡鏡頭, 用算出來的圖與幾合體來設定測試投影

4)燈光與所有的算圖pass 用在測試畫面效果上面

5) 讀取所有的算圖畫面, 預先合成, 看看哪個比較好用, 然後複製pass到多通道上面

6)設定攝影機投影, 用我們想要的視差, 邊緣細節, 與全幾合體涵蓋(full geometric coverage)

7)把所有相關的分鏡算成pre-comps, 然後把通道分開, 根據每個分鏡的master script, 建立lookDev, 然後套用到所有相關的分鏡上面, 然後取代所有的pre-comp讀取節點

跟THE FOUNDRY公司的合作
當問到他對The Foundry公司的看法Rubenstein說: 誠如我之前說的, 我職業生涯裡面從來沒有過這樣的公司, 能夠提供這們多的付出. 我在業界將近20年, 讀了趨勢雜誌, 看軟硬體的興衰, 我從來沒看過如此在技術上如此專注的公司. 每次我們與其討論的時候, 就好像智慧與科技的結合一般, 在The Foundry的研發團隊總是有辦法, 一路上提供美術所需的工具.

The Foundry公司的智囊團真是VFX業界的先鋒, 他們是核心所在. 所以我常常從他們學到靈感, 聽起來好像是吹捧他們, 但是相信我 ,我沒有拿他們的回扣. NUKEX真的是套好軟體! 我也感到十分幸運, 也很珍惜他們的努力, 我個人獲取的有利經驗, 以及無所匹敵的服務支援, 這還包括了線上論壇, 回答了全球合成愛好者的每個問題. 在別家公司, 你有可能可以接觸到95%的全球頂尖特效工作室的主管嗎?

藍天工作室採用了最新版的NUKEX, 在他們的FX部門裡創造了大量的FX特,效 用在電影冰原歷險記4:大陸飄移...以及下一部樹葉人傳奇 (Legend of the Leaf Men). 除此之外, 合成與材質部門也在仔細研究MARI, 並考慮結合這套軟體在digimatte製作的可能性. Rubenstein最後說到, 我們很期待未來與NUKEX的開與與整合, 所提供的擴充工具持續地促進實拍與VFX特效的整合, 用在動畫電影科技裡面.

2011年11月3日 星期四

OCULA 3.0新增功能介紹


經過三年的合作研發, OCULA又完成了一次重大更新!
收集現場人員的意見, 三年後, OCULA 3.0上市囉! 滿足您的需求, 這次的升級是有史以來最大的改版.

將大型3D電影製作案: 阿凡達, 創:光速戰記, 神鬼奇航:幽靈海, 變形金剛3的製作流程最佳化.OCULA提供美術人員一組NUKE工具, 幫助我們能把元素整合產生正確的3D立體效果.

OCULA 3.0是有史以來最重大更新. 3D立體在OCULA發表的這三年, 已經有很顯著的成長, 而持續地與客戶合作, 這些很有野心的3D立體電影的案子上, 提供了很不錯的機會,讓OCULA提昇效率與流程.

OCULA 3.0提供了一個全新的雙眼視差(disparity)引擎, 提供工具用來修正沒有對焦成功(mis-focused)的攝影機組, 並對立體影像進行變速(retime)的設.定 同樣地, 一組的流程修正, 明顯地改善了OCULA日常的操作, 現在所算出的效果更清晰且更精確了!

以下是新的視差對應(disparity mapping)效果案例:

OCULA 3.0 - Disparity from Hieronymus Foundry on Vimeo.

OCULA 3.0 - Disparity 2 from Hieronymus Foundry on Vimeo.

"我們一看到OCULA 3.0推出的效果就感到十分驚人, 是自OCULA 2.2以來的重大升級"
溫哥華MPC的資深合成師Jose Fernandez de Castro Heller

"我喜歡OCULA 3.0新的視差對應(disparity map)演算法, 我們測了由OCULA產生的深度貼圖, 針對實拍畫面製作了數位替身, 整個場景是一個CG的雪風暴場景, 讓特效團隊能夠在人物周遭吹出雪花, 同時還能在z-depth產生正確的holdout mattes. 我們從素材影片產生幾合體, 而不需要建立動態的替身人員"
Stereo, Dr D Studios的資深合成師Mark Van Den Bergen

OCULA可以對應NUKEX與NUKE.