Pixel 3a 相機技術大解密 讓Google工程師告訴你

Pixel 3a 相機技術大解密 讓Google工程師告訴你

Google 所推出的 Pixel 手機最為人稱道的就是那強大的拍照技術，特別在 Pixel 3a 推出之際Google 台灣 昨天特別請到了 Google傑出工程師 Marc Levoy 來台灣總部跟大家分享像是 「HDR+」、「肖像模式」、「高解析變焦」、「夜視模式」背後技術力的構想與原理。

為什麼昨天的活動今天才要發送資訊呢? 原因是束褲小編昨天思考了一下，對於這樣的技術交流該如何呈現出來比較好。儘管小編有蠻多想要表達的東西，不過在拜讀完 Engadget 中文版 的文章後自認沒有那樣將專業行雲流水的簡明分享能力後，小編決定將昨日所學習的資料直接轉送。
( Engadget 中文版 文章連結) 好文推薦!

另外，其實昨天在技術講解的活動中也探討到了這接技術跟相機之間的差異還有對於科技對影像的協助與真實呈現等等的思想交流也讓小編沉思許久，或許有機會找一天可以來跟大家聊聊!總之對於 Google 相機 的強大技術內容如下。

關於 Google Pixel 的 HDR+

●HDR (High Dynamic Range Imaging，高動態範圍成像) 的典型作法：
○ 曝光定標試驗 (Exposure Bracketing)：
■ 捕捉不同曝光程度的影像，將從曝光時間短的影像所捕捉的亮處細節， 與從曝光時間長的影像所捕捉到的暗處細節結合，呈現出最終的影像

○ 在相機晃動和移動中物件的拍攝情況下，難以對準影像：​當這些影像透過手持 攝影而非使用固定三腳架拍攝時，由於每一個影像的曝光程度不同，雜訊也不 同，猶如不同的影像，因此Google不使用曝光定標試驗達到HDR

● Google Pixel手機相機應用中的HDR+
○ 捕捉曝光不足下的連拍影像：透過捕捉在相同曝光程度下的連拍影像，並且避 免亮處過度曝光

○ 進行校準與合併：
■ 相同曝光程度下的連拍影像，由於影像相似因此更容易校準
■ SNR (Signal-to-noise ratio，信號雜訊比) 和連拍的幀數的平方根成正比
■ 減少陰影處的雜訊 ○ 採用色調映射 (Tonemap)增強陰影，降低亮處：犧牲整體色調和對比度，以保 留局部對比度

● 在2016年，HDR+讓Google Pixel手機相機獲得當年DXO評分第一名 (DXO 89)

Google Pixel 的 肖像模式

● 肖像模式：將焦點集中在主要的人物或物品上，使其從背景中凸顯而出
● Google Pixel 2 肖像模式優秀的相機表現，獲得2017年DXO評分最高的智慧型手機， 也獲得DPReview Awards Innovation of the Year 年度創新獎的肯定
● 合成淺景深 (Synthetic Shallow Depth of Field)：​這是目前大多數的智慧型手機製造 商所採用的方式，以呈現出照片背景模糊的效果。該作法為運用作假的景深達到真實 景深的效果，而大部分的使用者其實難以辨別差異

○ 製造合成淺景深的典型作法包含：
■ 步驟一：利用雙鏡頭相機，在相似的焦點下捕捉兩個影像
■ 步驟二：運用立體匹配演算法 (Stereo Matching) 去計算深度圖 (Depth Map)
■ 步驟三：在場景中選擇一個平面以保持銳利影像
■ 步驟四：模糊距離該平面更近或更遠的影像特徵，讓背景呈現失焦的影 像

● Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下，透過以下兩項技術達 到景深的效果：
○ 利用機器學習技術分割影像中的人物​：當使用Pixel手機自拍時，前置鏡頭雖無 搭載「雙像素 (Dual-pixels)」科技，但仍可透過機器學習執行肖像模式
■ 運用卷積神經網路（Convolutional Neural Network, CNN）預估圖像中 每一個像素的人物；卷積神經網路可以在TensorFlow中執行
● 利用超過100萬張標籤過的人物和配件照片進行機器學習模型訓 練
● 使用數學計算中的邊緣感知雙邊求解器(Edge-aware Bilateral Solver)進行細化，讓人物分割的邊緣更加銳利

○ 運用相機中的硬體技術「雙像素 (Dual pixels)」預估深度圖 (Depth Map)​：當 使用Pixel 手機對一般物件進行拍攝時，因物件非人物，故無法使用機器學習的 方式，但仍可透過擁有「雙像素」的後置鏡頭技術完成
■ 關於雙像素 (Dual-pixels)
● 即「相位對焦(Phase Detection Auto-focus, PDAF)」
● 為較新單眼相機在錄影時對焦所使用
● 每一個單一像素上的影像可分為兩部分：每個像素的右半部通 過左半部鏡頭看世界，每個像素的左半部則通過右半部鏡頭看 世界 → 事實上會得到兩種具些微差異的成像
● 透過非常小的基線 (Baseline) (約1mm) 讓影像立體化

● 為了保持人物影像銳利，從機器學習人物分割技術中，根據人物與背景的距離按比例 模糊化，並且將人物所在位置前後一段距離的影像也保持銳利，以讓人物影像能清楚 呈現。（雖然非物理上正確，但有助於攝影初學者透過Pixel手機肖像模式拍攝人物）

● 透過專業相機手動對焦，焦點之外的景物會隨與焦點距離的長短而呈現不同程度的模 糊化 (如左下圖)；Pixel手機相機則是將焦點擴展，對於攝影初學者而言較容易拍攝出 具有景深的人物肖像 (如右下圖)

● Pixel 3 手機相機肖像模式的優化：Google進一步訓練機器學習藉由輸入RGB顏色、左 和右，就能得到深度圖，取代在立體空間中搜尋、計算每一個二分之一像素中影像呈 現是來自現實世界中的左半部或右半部
○ Google運用特殊的相機裝置，拍攝成千上萬的的照片，透過機器學習中的 Ground Truth來訓練Dual-pixels更好產生深度圖 (Depth Map)。

Google 的 高解析變焦 (Super Res Zoom)

Google在Pixel 3 手機相機中推出高解析變焦功能，雖然此功能背後並無搭載人工智慧及機器 學習技術，但它可將多層影像合成為更高像素的照片，不僅提升照片細節的呈現之外，解析度 與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。

● 像素移位 (Pixel Shifting)為基本原理：​影像是由一個個像素所組成，而每一個影像擁 有紅色、綠色和藍色三種顏色資訊。高解析變焦透過連續拍攝多禎照片，以彌補缺失 的顏色資訊以合並成出更高解析度的數位照片，數位照片中的三分之二的顏色資訊都 是重建出來的

當 相 機 同 時 拍 攝 了 4 幀 畫 面 ， 其 中 三 幀 分 別 於 水 平 、 垂 直 ， 還 有 水 平 與 垂 直 同 時 位 移 一 個 像 素 ， 組 合 這 4 幀 畫 面 後 會 發 現 原 先 缺 失 的 像 素 都 被 填 滿 ， 不 必 再 執 行 去 馬 賽 克

● 當手機或相機完全固定 (例如放置於三腳架上) 且不受手震影響時，仍可藉由強制開啟 光學影像穩定功能 (Optical Image Stabilization)，製造鏡頭「搖晃」來模擬手震。此畫 面的「搖晃」幅度非常小，並不會干擾正常照片。

Google 的 夜視模式 (Night Sight)

● 夜視模式的技術：
○ 在按下快門後，觀景器將會靜止不動幾秒鐘，高速捕捉最多15​幀畫面
○ 移動測量：​根據手震程度與畫面中是否有移動物件來衡量所需拍攝時間
■ 當手震越強或是拍攝移動物件時，會縮短曝光時間，導致​幀數越少、畫 質越不清晰​。反之，拍攝靜止物件時，曝光時間就越長，因此​幀數增加 ，照片成果也更清晰
○ 結合其他Pixel手機相機功能：
■ Pixel 3 會結合高解析變焦功能
■ Pixel 1/ Pixel 2 / Pixel 3a 則是結合HDR+功能
○ 透過學習式白平衡 (Learning-based White Balancing) 調整影像色調

○ 藉由計算攝影的自動調整，仍可保持景物最真實的色調：
■ 在夜晚，景物的顏色依然存在，只不過人類的肉眼無法辨識，因此如何 讓夜間拍攝的影像仍保有真實的色彩是一大挑戰
■ Google從古典的畫作中發現三大特徵，作為開發夜視功能的考量要素：
● 強化對比度
● 將陰影投射成黑色
● 用黑暗環繞場景

■ 夜視功能能藉由計算攝影進行色調映射 (Tone Mapping)，讓影像保有 原本的色彩

延伸閱讀: 石頭掃地機器人第二代S6 燦坤3C 攜手 石頭科技 獨家首發

延伸閱讀: TOSHIBA 東芝六真色 55型 4K UHD 55U6840VS

延伸閱讀: TaoTronics Duo Free 真無線藍牙耳機 | 皮革外觀、IEM舒適設計

延伸閱讀: Heineken 海尼根 真無線藍牙耳機 統一超商 限定

延伸閱讀: 米家檯燈 Pro 台灣 正式開賣！支援智慧語音助理!

延伸閱讀: ASUS Zenfone 6 翻轉視界！翻轉一時爽 一直翻轉一直爽

延伸閱讀: ROG Zephyrus 西風之神 強勢回歸 更輕更薄更強悍！

Google 官方部落格文章參考：

HDR+功能官方部落格連結

高解析變焦功能官方部落格連結

肖像模式功能官方部落格連結

夜視功能官方部落格連結(一)

夜視功能官方部落格連結(二)

---

如果想要買手機的話推薦 傑昇通信
市場最低價還有送千元尊榮卡跟多功傑昇筆
分期優惠價再享6期零利率
又能月月抽手機/配件等大獎喔!!

• 空機破盤價格查詢

• 傑昇門市據點查詢