查看原文
其他

AR丨iPhone8带来AR新技术,ARKit iOS 11原生开发入门(下)

2017-09-14 eseedo Gad-腾讯游戏开发者平台

系列回顾:

ARKit iOS 11原生开发入门(上)


继续我们的学习。相信大家都已经被苹果秋季发布会刷屏了。



当然,除了已经预热了近一年的iPhone X,我们还有望见证帮主的另一份遗产-Apple Park。



临渊羡鱼不如退而结网,废话不多说,继续学习。


在特征点放置物体


可能有的朋友在上一步测试时发现了,有时候半天也检测不到平面(虽然几率不大),还以为程序崩溃了或者是有bug。显然我们不能指望用户在家里跑来跑去只会了找到一块ARKit能够识别到的平面,因此我们需要使用其它的方法来进行hit detection。当我们无法找到平面时,将使用特征点作为替代。


要实现这一点相对比较容易,我们只需要修改touchesBegan(_:with:)方法即可。使用以下代码替代之前的该方法:


override func touchesBegan(_ touches: Set, with event: UIEvent?) {

if let hit = sceneView.hitTest(

viewCenter,

types: [.existingPlaneUsingExtent]).first{

sceneView.session.add(anchor: ARAnchor(transform:hit.worldTransform))

return

}else if let hit = sceneView.hitTest(

viewCenter,

types: [.featurePoint]).last{

sceneView.session.add(anchor: ARAnchor(transform:hit.worldTransform))

return

}

}


这里我们添加了一种新的hit test类型-featurePoint,以便在我们找不到任何existingPlaneUsingExtent测试的结果时使用。特征点hit检测的结果按照从最近到最远的方式来排序,因此这里使用last结果,而非first,因为这样可以提供最佳的用户体验。


再次在手机上编译运行HomeHero。我们会发现hit检测的表现很不错,但远非完美:它会将物体放置在一些我们一无所知的特征点上。关于这一点,可以作为一个小小的挑战练习。



测量距离


现在我们已经实现了将虚拟的物体放置在真实世界中,接下来我们将实现另一个有趣的功能:测量距离。ARKit可以非常精确的放置和追踪物体位置,因此我们甚至用它来测量真实世界中的距离。


在SceneKit中,1个坐标点等同于真实世界中的1米。在HomeHero这个应用中,我们将放置两个AR球体,然后计算它们之间的距离,从而测量真实世界中的距离。为此,我们需要更改renderer(:didAdd:for:)方法,并在switch语句中实现measutre这种情况下的代码:


func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {

//

DispatchQueue.main.async {

if let planeAnchor = anchor as? ARPlaneAnchor{

#if DEBUG

let planeNode = createPlaneNode(center: planeAnchor.center, extent: planeAnchor.extent)

node.addChildNode(planeNode)

#endif

}else{

switch self.currentMode{

case .none:

break

case .placeObject(let name):

let modelClone = nodeWithModelName(name)

self.objects.append(modelClone)

node.addChildNode(modelClone)

case .measure:

//1

let sphereNode = createSphereNode(radius: 0.02)

//2

self.objects.append(sphereNode)

//3 44 33867 44 14986 0 0 2546 0 0:00:13 0:00:05 0:00:08 2976

node.addChildNode(sphereNode)

//4

self.measuringNodes.append(node)

}

}

}

}


以上所新增的代码将在我们选择了UI界面中的测量工具时创建测量用的节点,数字注释行的代码解释如下:


1.使用起始项目中所提供的createSphereNode(radius:)方法创建sphere节点。


2.在对象数组中添加这个新的对象。


3.将球体节点添加到传递给代理对象的节点中。


4.将球体节点添加到起始项目所提供的measureingNodes数组中,以便追踪测量节点。


接下来我们需要实现计算两个测量节点间距离的逻辑代码,在HomeHeroViewController.swift中添加如下的新方法:


func measure(fromNode:SCNNode, toNode:SCNNode){

//1

let measuringLineNode = createLineNode(fromNode: fromNode, toNode: toNode)

//2

measuringLineNode.name = "MeasuringLine"

//3

sceneView.scene.rootNode.addChildNode(measuringLineNode)

objects.append(measuringLineNode)

//4

let dist = fromNode.position.distanceTo(toNode.position)

let measurementValue = String(format:"%.2f",dist)

//5

distanceLabel.text = "Distance: \(measurementValue) m"

}


以上方法创建了两个节点之间的一条直线,其代码解释如下:


1.createLineNode(fromNode:toNode:)是起始项目中所提供的一个辅助方法。它的作用是创建两个节点之间的一条直线。


2.命名直线节点的名称,以便在后续删除。


3.将直线节点添加到场景中。


4.测量两个节点之间的距离。虚拟物体之间的距离和真实世界中的位置一一对应。


5.更新UI,向用户显示所测量的距离。


此外,我们还需要添加一些逻辑代码,从而根据球体的数量来更新测量状态。在HomeHeroViewController.swift中添加以下方法:


func updateMeasuringNodes(){

guard measuringNodes.count > 1 else{

return

}

let firstNode = measuringNodes[0]

let secondNode = measuringNodes[1]


//1

let showMeasuring = self.measuringNodes.count == 2

distanceLabel.isHidden = !showMeasuring

if showMeasuring{

measure(fromNode: firstNode, toNode: secondNode)

}else if measuringNodes.count > 2{

//2

firstNode.removeFromParentNode()

secondNode.removeFromParentNode()

measuringNodes.removeFirst(2)

//3

for node in sceneView.scene.rootNode.childNodes {

if node.name == "MeasuringLine"{

node.removeFromParentNode()

}

}

}

}


以上代码的解释如下:


1.仅当有两个球体时显示测量结果。


2.如果节点超过2个,则删除旧的测量节点


3.删除旧的测量直线。


接下来我们只需要在合适的时机来调用updateMeasuringNodes()方法即可。如果在方法renderer(_:didAdd:for:)中调用有点太早,因为此时在代理方法中传递的节点还没有一个可用的位置信息。因为renderer(_:didUpdate:for:)方法在renderer(_didAdd:for:)方法之后调用,在for 语句参数中所传递的节点包含了正确的场景信息,也就意味着我们在此时开始测量。


func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {

DispatchQueue.main.async {

if let planeAnchor = anchor as? ARPlaneAnchor{

updatePlaneNode(node.childNodes[0], center: planeAnchor.center, extent: planeAnchor.extent)

}else{

self.updateMeasuringNodes()

}

}

}


当我们调用updateMearingNodes方法时,当新的ARAnchor被添加、映射到SCNNode,以及更新时,测量的逻辑就会随之更新。


在手机上编译运行项目,可以来体会一下ARKit魔法一般的测量精度。为了实现更为精确的hit测试,我们可能需要找到一个真实世界的平面来尝试。



ARSession state


此前我们提到过,ARSession就好比ARKit的大脑,它会根据真实世界中的不同条件而产生不同的“心情”。当光照条件重发,或是屏幕上有足够多的细节时,它的表现可谓完美而精确。但是在其它一些情况下,也可能会有很糟糕的表现。因此,我们需要使用ARFrame中所提供的状态信息让用户知道ARKit是不是在发脾气~

在HomeHeroViewController.swift中添加以下方法:


func updateTrackingInfo(){

//1

guard let frame = sceneView.session.currentFrame else{

return

}

//2

switch frame.camera.trackingState{

case .limited(let reason):

switch reason{

case .excessiveMotion:

trackingInfo.text = "Limited Tracking: Excessive Motion"

case .insufficientFeatures:

trackingInfo.text = "Limited Tracking: Insufficient Details"

default:

trackingInfo.text = "Limited Tracking"

}

default:

trackingInfo.text = ""

}

//3

guard

let lightEstimate = frame.lightEstimate?.ambientIntensity

else {

return

}

//4

if (lightEstimate < 100){

trackingInfo.text = "Limited Tracking: Too Dark"

}

}


以上代码的作用是获取当前的ARFrame信息,并当环境条件恶劣时向用户发出提示。以下是具体的代码解释:


1.我们可以使用场景视图中ARSession对象的currentFrame属性来获取当前的ARFrame。


2.我们可以从当前ARFrame的ARCamera对象中获取trackingState属性。trackingState 的枚举值limited提供了关联的TrackingStateReason值,可以告诉我们具体出现的追踪问题。


3.我们已经启用了ARWorldTrackingConfiguration的光线评估功能,因此可以从ARFrame的lightEstimate属性中获取光照信息。


4.ambientIntensity以流明为单位,如果小于100流明,表现环境过于昏暗,此时需要向用户发出提示。


我们需要在每一个渲染的frame中都更新追踪信息,因此需要在renderer(_:updateAtTime:)代理方法中实现这一点。在HomeHeroViewController.swift的ARSCNViewDelegate 扩展中添加该方法:


//updateattime

func renderer(_ renderer: SCNSceneRenderer, updateAtTime time: TimeInterval) {

DispatchQueue.main.async {

//1

self.updateTrackingInfo()

//2

if let _ = self.sceneView.hitTest(self.viewCenter, types: [.existingPlaneUsingExtent]).first{

self.crosshair.backgroundColor = UIColor.green

}else{

self.crosshair.backgroundColor = UIColor(white:0.34,alpha:1)

}

}

}


以上方法主要做了以下事情:


1.为每个渲染的frame更新追踪信息。


2.如果中间的点在进行hit 测试时符合existingPlaneUsingExtent类型,就会变成绿色,从而向用户提示获取了高质量的hit test。


在手机上编译运行项目,然后尝试在一些相对比恶劣的光照条件下进行测试。



Session interruptions(进程中断)


有些情况下ARSession会被中断,比如当我们让应用进入后台运行时。这种操作将会切断视频流,从而让ARSession完全失明。当进程被中断后,下次进入应用并继续进程时,设备的位置和旋转朝向等很可能完全发生了变化。此时,我们需要重新启动进程。


RSession通过ARSessionObserver协议向其代理发送所有的进程中断和常见错误信息。ARSCNViewDelegate中已经实现了ARSessionObserver,因此我们只需在HomeHeroViewController.swift中添加ARSCNViewDelegate对于以上方法的实现代码即可。


func session(_ session: ARSession, didFailWithError error: Error) {

//1

showMessage(error.localizedDescription, label: messageLabel, seconds: 2)

}

//2

func sessionWasInterrupted(_ session: ARSession) {

showMessage("Session interrupted", label: messageLabel, seconds: 2)

}


func sessionInterruptionEnded(_ session: ARSession) {

showMessage("Session resumed", label: messageLabel, seconds: 2)

removeAllObjects()

runSession()

}


以上代码会处理大多数遇到的ARSession问题,这里详细解释一下:


1.showMessage(_:label:seconds:)是起始项目中所提供的辅助方法,它将在指定的时间段内以label的形式显示一条信息。


2.sessionWasInterrupted():)将在进程被中断时调用,比如当应用进入后台运行时。


3.当sessionInterruptionEnded(_:)被调用时,我们应删除所有的对象,并通过之前所实现的runSession()方法来重启AR进程。removeAllObjects是起始项目中所提供的辅助方法。


在手机上编译运行项目,并让应用进入后台运行,然后恢复运行应用,看看会发生些神马。


至此,我们这个使用ARKit开发的简单示例教程就到此结束了。


接下来怎么学?


在这个教程之中,我们只是简单介绍了ARKit的核心组成部分。在此之外,我们要借助SceneKit和数学来实现更多的功能。


关于ARKit的更多知识,可以观看WWDC 2017中的相关视频介绍:http://apple.co/2t4UPlA


挑战与练习


在WWDC 2017视频相关的链接中,我们可以找到官方的Demo应用,从而查看如何更精确的使用特征点来放置物体。这里的挑战就是通过阅读ARKit WWDC Demo应用的diamante来优化此前的hit 测试。此外,我们还需要一些三角和代数知识来更好的解决这一问题。


在示例代码的challenge文件夹中有最终的解决方案,可以供大家参考。


结束语


好了,使用ARKit iOS 11 beta SceneKit进行原生开发的教程到此结束。


----------------------

今日推荐


《辐射》的辅助瞄准系统是如何制作的?

挥别读取丢帧!如何实现虚拟场景的转换?

深度强化学习训练AI,像人类一样玩DOOM


添加小编微信,可享双重福利

1.加入GAD游戏VR交流圈

获取行业干货资讯,观看大牛分享直播

2.领取GAD独家VR资料库,地址在小编朋友圈

包括研究报告、游戏制作、项目分享等全套资料


↓长按添加小编GAD-安琪↓

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存