Create parametric 3D room scans with RoomPlan #42

Chaeho-Min · 2022-08-25T06:31:58Z

RoomPlan

새 프레임워크!
방을 스캔할 수 있으며, LiDAR를 지원하는 iPhone이나 iPad에서 사용할 수 있다.
방과 방을 정의하는 물체들의 매개 변수 3D 모델을 앱에서 사용할 수 있도록 생성해준다.

RoomPlan은...

ARKit을 사용하여 → 벽, 창문, 개구부, 문뿐만 아니라 방을 정의하는 물체들인 벽난로, 소파, 탁자, 진열정까지 감지.
RealityKit 사용하여 → 스캐닝과 동시에 렌더링.
스캔이 완료되면 사용하기에 적합한 후처리 결과를 제공.
→ 기계 학습과 컴퓨터 비전 알고리즘을 복잡하게 구현하지 않고도 본인의 방을 스캔하고 렌더링할 수 있게 됐다!

적용할만한 예시

Interior design

인테리어 디자인 앱으로 벽의 색상 변화를 미리 보고 방을 다시 칠하는 데 필요한 페인트 양을 정확히 계산할 수 있다.
Architecture

건축 앱을 통해 자기 방의 구조를 실시간으로 미리 보고 편집할 수 있다.
Real estate

부동산 앱을 통해 중개인은 이제 매물의 평면도와 3D 모델을 완벽하게 포착할 수 있다.
E-commerce

전자 상거래 앱은 실제 공간에서 제품 시각화를 통해 고객을 끌어들일 수 있다.

사용하기

RoomPlan은 두 가지 API를 제공한다.

Scanning experience API

RoomPlan을 앱에서 사용하는 방법.
Data API

스캔의 실시간 매개 변수 데이터를 앱이 사용할 수 있도록 처리하는 방법.

1. Scanning Experience API

RoomCaptureView

RoomCaptureView를 활성화하면 감지한 벽과 창 등 방을 정의하는 물체들을 실시간으로 표시하는 애니메이션이 나타난다.
RoomCaptureView 하단에 생성된 대화형 3D 모델을 통해 스캔 진행률을 한눈에 볼 수 있다.
최상의 스캔 결과물을 낼 수 있도록 상단에 텍스트 코칭이 표시된다.

Code

이제 RoomCaptureView를 앱에서 사용할 수 있도록 코드를 작성하는 방법을 알아보자

먼저 RoomPlan을 import한다.

import UIKit
import RoomPlan

ViewController에 RoomCaptureView 레퍼런스와 RoomCaptureSession의 Configuration 레퍼런스를 생성한다.

class RoomCaptureViewController: UIViewController {

    var roomCaptureView: RoomCaptureView!
    var captureSessionConfig: RoomCaptureSession.Configuration = RoomCaptureSession.Configuration()

    private func setupRoomCaptureView() {
        roomCaptureView = RoomCaptureView(frame: view.bounds)
    }

    override func viewDidLoad() {
        super.viewDidLoad()
        setupRoomCaptureVIew()
    }
}

스캔 세션을 시작하고 끝낼 메서드를 만든다.

class RoomCaptureViewController: UIViewController {

    private func startSession() {
        roomCaptureView?.captureSession.run(configuration: captureSessionConfig)
    }
    
    private func stopSession() {
        roomCaptureView?.captureSession.stop()
    }
}

스캔 세션을 시작하고 끝내는 메서드를 적절한 시기에 호출한다.

class RoomCaptureViewController: UIViewController {

    override func viewDidAppear(_ animated: Bool) {
        super.viewDidAppear(animated)
        startSession()
    }
    
    override func viewWillDisappear(_ flag: Bool) {
        super.viewWillDisappear(flag)
        stopSession()
    }
}

이렇게 하면 스캔 과정을 앱에 적용할 수 있다.
이제 스캔 결과를 어떻게 내보내게 할지를 알아보자.

ViewController가 RoomCaptureViewDelegate를 준수하도록 만든다.

extension RoomCaptureViewController: RoomCaptureViewDelegate {

}

captureView(shouldPresent roomDataForProcessing: CapturedRoomData, error: Error?) 메서드를 구현한다.

extension RoomCaptureViewController: RoomCaptureViewDelegate {
    
    func captureView(shouldPresent roomDataForProcessing: CapturedRoomData, error: Error?) -> Bool {
        return true
    }
}

이 함수가 true를 반환하면 스캔이 중지됐을때 스캔 결과를 보여주는 화면을 표시하게 된다.

captureView(didPresent processedResult: CapturedRoom, error: Error?) 메서드를 구현한다.

extension RoomCaptureViewController: RoomCaptureViewDelegate {

    func captureView(didPresent processedResult: CapturedRoom, error: Error?) {
        finalResults = processedResult
    }
}

이 함수의 processedResult가 바로 스캔 결과를 담는다.
이를 이용하여 스캔 결과물을 어디로, 어떤 형식으로 내보낼 것인지 정할 수 있다.

func exportResults() {
    let destinationURL = FileManager.default.temporaryDirectory.appending(path: "Room.usdz")
    do {
        try finalResults?.export(to: destinationURL, exportOptions: .parametric)
    } catch {
        // ...
    }
}

.parametric: An export option that formats the output file as a collection of independent, size-agnostic polygonal units.
.mesh: A export option that formats the output file as a collection of size-dependent triangles that connect to form a mesh.

2. Data API

스캔 중에 기본 데이터 구조에 접근할 수 있게 하고, 스캔 환경의 맞춤형 시각화를 처음부터 구축하는 걸 도와준다.

기본 워크플로우 3단계.

Scan

캡처 세션을 설정하고 시작하는 단계.
캡처 프로세스를 표시하고 모니터링할 수 있다.

RoomCaptureSession은 기본 AR 세션에 대한 핸들을 제공해 앱이 증강 현실 화면에 평면과 물체 경계 상자를 그릴 수 있게 한다.
RoomCaptureSession은 delegate 패턴을 사용하여 뷰컨을 captureSession의 delegate로 할당할 수 있다.
이렇게 되면 뷰컨이 RoomCaptureSession에서 실시간 업데이트를 가져올 수 있게 된다.
뷰컨이 delegate 역할을 하여 실시간 업데이트를 가져오려면 RoomCaptureSessionDelegate를 준수하고 두 가지 메서드를 구현해야 한다.

captureSession(_ session: didUpdate room:) 메서드로 CapturedRoom 데이터 구조를 실시간으로 얻게 된다.
Visualizer는 이걸 사용해서 process에 실시간 피드백을 제공하는 3D 모델의 AR 화면을 업데이트할 수 있게 된다.
이 메서드는 스캔하는 방에 대해 업데이트가 감지될 때 호출된다.

captureSession(_ session: didProvide instruction:) 메서드는 텍스트 코칭같은 실시간 피드백을 포함하는 instruction 구조체를 제공한다.
Visualizer는 이 instruction을 사용해 스캔하는 동안 사용자를 안내한다.

Process

스캔 데이터를 처리하고 최종 모델을 수신하는 단계.
RoomBuilder 클래스를 사용해 스캔한 데이터를 처리하고 최종 3D 모델을 생성한다.

캡처한 데이터를 처리하는 첫 단계는 ViewController 클래스의 RoomBuilder 인스턴스를 시작하는 것이다.

다음은 캡처 과정 이후 센서 데이터를 수신하기 위해 captureSession(_ session: didEndWith data: error:) 메서드를 구현해야 한다.
stop() 메서드가 호출되거나 에러 발생으로 인해 RoomCaptureSession이 멈추면, 이 함수는 CapturedRoomData object나 에러를 반환하기 위해 호출된다.