人類視覺的動態與明暗:以神經科學淺談「電玩畫面的幀率(FPS)」

fps

「FPS (Frame per second)」能翻譯為「每秒顯示畫面張數」或「幀率」,其常用於解釋影片或遊戲每秒能播放多少張影像。所以通常 FPS 越高,影像就會越流暢。而「打電動到底需要多少 FPS?」這問題多年來不斷地困惑著玩家,導致只要有此議題的討論,雙方就會爭論不休,甚至會用一些綽號來取笑對方,像是「寫輪眼」或「玫瑰捅你眼」。

但可惜的是,因為電玩或廣義的電子娛樂是電子視覺類的衍生物,使得目前多數討論僅談論到「釋放端」,也就是螢幕及軟體技術的部分,而長期忽略「接受端」的人眼及人腦,所以本文將試著運用「演化」及「神經科學」的觀點來切入此議題。

兩隻老虎,跑得快

請先耐著性子看完下面這則影片〈兩隻老虎,跑得快 by threelittlepandas〉

Comment allez-vous? (法文:你好嗎?)在看完標題跟上面影片後,一定有讀者想說:「這作者一定是腦有洞!最好兩隻老虎會跟 FPS 有關!」。請各位先忍耐一下,容本人先用一個「情境想像」來引導文章:將時間倒轉到一萬年前,想像自己是遠古的先祖,在一個夜黑風高的夜晚,手持著木棒在叢林中漫步,一切看似平靜祥和,卻未察覺自己早已被「兩隻老虎」盯上。而就在那瞬間,「兩隻老虎」朝向你撲去,請問腦中第一個閃過的念頭會是什麼?請作答:

1. 啊!掯!有什麼東西衝過來!?
2. 啊!掯!那是什麼形狀!?
3. 啊!掯!那是什麼顏色!?
4. 死前回憶錄:「喜歡隔壁的阿美很久了,可是一直不好意思說出口…」

基本上,會去選 2. 3. 4. 的朋友,應該是沒辦法在螢幕前看本人發廢文,因為在「物競天擇」的環境下,你的祖先是無法存活的。而為何第一個閃過的是「有什麼東西在動」?而不是「那是什麼形狀或顏色」?這其實是一個天擇演化的結果。

fps-1

在遠古時期,人類的祖先常常處於狩獵及被狩獵的生活。而在這樣的環境下,生物若要生存,會優先演化出快速的「動態捕捉」來產生「警覺」,次要為「明暗」勾畫出「型態及景深」,最後才是「色彩」的「辨識及填補」。

而也因為上述三者的「演化壓力」不同,人腦對於「動態捕捉、明暗變化、顏色變化」其實是各有不同的敏銳度。個人雖未能找到人腦對於三者之精確 FPS,學界也似乎尚未有這樣的研究,但簡言之,人腦對「動態捕捉」最為敏銳,其次是「明暗變化」,對於「色彩變化」則最遲鈍。而或許有讀者會問:「人的視覺是以可見光為基礎,為什麼對明暗會較不敏銳?」,這是因為外部的「明暗變化」不等同大腦意識或感知到「明暗變化」,在我們意識到「明暗變化」前,會優先意識到「動態」

可以嘗試想像眼前有一對葉片,一片為紅,另一片為藍。當葉片開始高速旋轉時,讀者可以知道它在旋轉,但看不清楚葉片的輪廓,而會看成近似圓形的圖像。也分辨不清藍跟紅,會看成紫色。

1747

而將上述的概念導回電玩中,遊戲影像同樣也可以劃分出「動態、明暗、色彩」三個部分,所以當某些玩家宣稱「遊戲一定要 60FPS」或「只需要 30FPS」,這些其實只能說是簡略或片面的描述。所以接下來,個人將依序用幾個問題來釐清概念:

Q:人對於畫面的接收,不就像是個相機,影像就直接印在腦袋上?為何會將畫面細分成「動態、明暗、色彩」

A:人眼像是個相機,但人腦不是。當影像傳送進腦袋時,影像其實會先經過「細部劃分」,然後再傳到各負責部位進行影像整合,而也因為經過這樣的途徑,大腦對於「動態、明暗、色彩」會有著不同的處理速度跟敏銳度。

Q:為何動作遊戲或第一人稱射擊遊戲要講求 60FPS?

A:因為人腦對「動態捕捉」最為敏銳,如果遊戲一直長時間處於動態,FPS就要高到某種程度以求流暢。

Q:為何遊戲影像從 60FPS 提升到 90FPS 時,玩家僅能感覺些微變化?甚至是沒有變化?

A:因為畫面到60FPS左右,其實已差不多達到多數人對「明暗變化」及「色彩變化」的感知極限,再上去其實就只是「動態捕捉」的差異。

Q:為何早期許多遊戲使用  30FPS(甚至更低)就覺得順暢,而當下遊戲卻不斷強調 60FPS?

A:這問題能有三個解釋。
一、 今日遊戲不斷往動態發展,像回合制等靜態遊戲則相對減少,而人腦對「動態捕捉」又最為敏銳,自然就會傾向將 FPS 拉高。二、因為現在遊戲的光影及色彩不斷複雜化,而 30FPS 對部分玩家而言,畫面不一定能夠流暢表現,人眼的捕捉能力也進化了。三、電玩互動性不斷的深化及複雜化,所以畫面的「即時回饋」就變得相當重要,自然就傾向拉高 FPS 的表現。

所以遊戲畫面到底要多少 FPS?這問題除了因個體差異會造成不同,也需要考慮到遊戲內容和型態而定。長期以來,多數人只將各種「視覺成分」壓縮成一張畫面來解釋,只把重點放在螢幕頻率及軟體技術等,忽略了人腦並不是這樣處理影像。若把影像拆成「動態、明暗及色彩」來看,長時間處於動態的遊戲,FPS 就會希望越高越好,靜態遊戲則可以低一點。而明暗及色彩也是,複雜的光影跟色彩就會希望 FPS 高。

神經科學下的 FPS

而接下來的內容,將會用「神經科學」的文獻來連結上面的解釋,而提出的文獻都是網路上較容易搜尋到的,若有讀者想延伸閱讀,可以參考文章最末端的相關連結。

1. 影像的分離:接受域(receptive field)、Magno 系統、Parvo 系統

recetiveMagno and Parvo Cells 

早在 1980 年代,科學家就已經大略掌握到人對影像的處理過程。大致來說,影像在進入「視網膜神經節細胞(retinal ganglion cell)」之後,一種名為「接受域(receptive field)」的結構會接著分化影像訊息,然後分化的內容又會傳到各負責區塊,而這樣的分化途徑又以 Magnocullar 路徑與 Parvocellular 路徑最為主要。兩者也簡稱為 Magno 系統 及 Parvo 系統。

Magno 跟 Parvo 是兩類不同的細胞、具有不同的功能。大致說來 Magno 系統不太接受色彩訊號,神經纖維較粗,傾向於處理快速的運動影像、空間定位有關的訊息,也就是主要負責「動態」跟「明暗對比」,且有相對較高的「傳導速率」,但無法處理「顏色」。相對的, Parvo 系統主要負責「顏色」處理,但其「傳導速率」相對較慢。而這兩個路徑的特質也符合上面所說,人腦對「動態」及「明暗」有較快的處理速率。

animals

2. 「視錐細胞(cone cells)」的演化:「果子假說」及「嫩葉假說」

視錐細胞位於視網膜中,是構成「色彩視覺」的一大要素。而多數陸生哺乳類只有兩種視錐細胞,但靈長類卻幾乎都有三種,這也代表著人類現有的「色彩視覺」其實是較近的演化結果。而學界也提出數種假說來解釋這樣的現象,其中兩種為「果子假說」「嫩葉假說」

「果子假說」的解釋為,因為隨著生活範圍的擴展,靈長類的祖先開始接觸到大量不同的果子,而為了要從葉叢中辨識出不同顏色(或成熟)的果實,靈長類開始擁有三種視錐細胞。而「嫩葉假說」則解釋為,因為哺乳類的體型逐漸增大,需要更有效率的攝食技巧,因此演化成三種視錐細胞,以方便挑選較嫩的葉子。而不管是葉子或果子,這些物體在時空上都是較「靜態」的存在,這其實也間接指出人腦對「色彩變化」傾向較不敏銳。

eyes

3. 多數「視錐細胞(cone cells)」只能接受「明暗」

承上述,視錐細胞是構成「色彩視覺」的一大要素。但在 2016 年有學者研究發現了一個有趣現象,那就是多數視錐細胞其實只能感受「明暗」,而這結果也暗示著,相對於「色彩」,人類對「明暗」的敏銳有更高的需求。你對於灰階和黑白的對比變化更為顯著且容易吸引你,在某種意義上,這也是大多數的電子產品(或時尚產品)都必備最基本的黑白色,最安全,也最容易吸引人。

在看完上面的解析後,讀者應該都能了解「人腦對於影像的處理」並不是「你丟我撿」這樣簡單,而是對影像各構成要素有不同的敏銳度,對動態最敏感,明暗為次要,色彩為最後。而有趣的是,兒歌「兩隻老虎」的歌詞也恰巧與上述順序相符,先是動態的「跑得快」,再來是明暗的「沒耳朵跟尾巴」,也不知這樣是一種巧合?還是一次「潛在傾向」表現在語言上?

伊曼努爾.康德(Immanuel Kant)也認為人並不是直接觀測到所在的世界,而是戴著「有色的眼鏡」來看自身周遭。但對當下電動玩家而言,除了本身戴著這「有色的眼鏡」外,更是隔著「螢幕」來審視著另一端,不知會是單純的數據與畫面的結合?還是在投入意識及情感後,能夠昇華成另一個真實?最後,本文算是一半「電玩心得」,另一半則是「科普文」,也因為有科普的成分,所以學科內容就只是簡略描述,若想進一步了解的讀者,就請自行接觸其他資料,而若有這類專業的讀者,本文精簡描述的部分,也就請見諒了。


Source
The elementary representation of spatial and color vision in the human retina
Visual Pathways: Magno and Parvo Cells
Segregation of Form, Color, Movement, and Depth: Anatomy, Physiology, and Perception
Evolution of color vision in primates, Colour Vision as an Adaptation to Frugivory in Primates