Apple ARKit 4強化深度和臉部追蹤功能

kenny1105

Apple在WWDC中發布了最新的擴增實境開發工具ARKit 4，主要新增了3項新功能，第1是加入全新深度API（Depth API），讓開發者可以在iPad Pro上，以新方法存取深度資訊，第2則是定位錨（Location Anchoring），讓開發者運用Apple地圖的高解析度地理資訊，擺放虛擬實境物件，而第3個更新，則是只要具有Apple神經引擎的裝置，現在前鏡頭都支援臉部追蹤。

深度API使具有光達掃描儀的裝置，在應用程式中更靈活地使用深度資訊。光達掃描儀具有進階場景理解能力，而深度API可以讓開發者使用周圍環境每個畫素的深度資訊，Apple提到，結合場景幾何生成的3D網格資料，這個深度資訊在即時虛擬物體擺放的場景處理上，可讓虛擬物體遮蔽更加真實，無縫地融入周圍環境中。

這將可以讓開發者在應用程式中加入各種新功能，像是精確地量測並將效果應用在用戶的環境中。目前深度API只適用於搭載光達掃描儀的裝置，分別為第2代11吋iPad Pro，以及第4代12.9吋iPad Pro。

而定位錨則是可以在特定位置，像是城市或是著名地標，擺放虛擬實境物件，開發者透過定位錨可以在特定的經緯度以及海拔座標上，擺設虛擬實境創作，而使用者則可以在虛擬物件旁邊移動，透過iPhone從不同的角度觀賞這些物件。這項功能僅適用於iPhone XS、iPhone XS Max、iPhone XR與更新的裝置，而且目前僅在特定城市開放。

Apple擴充了ARKit臉部追蹤功能，只要裝置搭載A12 Bionic或是更高階的晶片，包括iPhone X、iPhone XS、iPhone XS Max、iPhone XR、iPad Pro和iPhone SE，前鏡頭現在都支援臉部追蹤，官方提到，這使得更多使用者可以利用前鏡頭體驗虛擬實境應用，TrueDepth攝影機能夠一次追蹤3張人臉，Memoji和Snapchat等應用都將獲得強化。

除了3項主要的功能更新之外，ARKit 4還提供動作捕捉功能，iOS應用程式將可以理解身體關節和骨骼的運動，這些動作和姿勢可以被用作虛擬實境的輸入。而且應用ARKit 4，裝置的前後鏡頭還可同時開啟，追蹤臉部和世界資訊，官方提到，這個功能將提供應用程式新的可能性，像是使用者可以只使用臉部與虛擬實境內容互動。

ARKit 4偵測圖片的能力也獲得提升，現在裝置能夠一次偵測100張圖片，並且自動估量圖片中物體的實際大小，而3D物體的偵測也更加強健，ARKit 4能更好地偵測複雜環境中的物體，而且用來偵測環境中平面的機器學習運作得也更快更好。