역사적으로 컴퓨터는 HCI, 인터페이스의 발전으로 세대를 거듭했다. 천공카드에서 키보드로, 키보드는 마우스와 결합했고, 터치스크린으로 넘어왔다. 컴퓨터와 상호작용하기 위한 수단이 필요했고, 스크린에 텍스트를 출력하게 되자 입력 장치가 필요했으며, 그래픽 사용자 인터페이스와의 상호작용, 나아가서는 스크린의 그래픽을 직접 만지는 지점까지 온 것이다. 그렇다면 컴퓨터의 다음은 무엇인가? 경계가 있는 스크린을 넘어서 그래픽 요소가 확장하고, 상호작용하는 건 매우 마땅하며, 필연적이고, 그걸 우리는 VR(Virtual Reality)과 AR(Augmented Reality), 그밖에 MR(Mixed Reality)이나 XR(Extended Reality)로도 부르는 지점까지 왔다. 모든 기술 분야가 이 동향을 주목하는 건 당연하다.

2010년 전까지 VR 및 AR 모두 지지부진했다. 개념은 수십 년 전에 만들어졌지만, 가장 중요한 그래픽 요소를 스크린 밖으로 끌어낼 기술을 고도화하기 어려웠기 때문이다. 모바일이 중심이 된 때에 항공기 조종사의 무거운 헬멧을 쓸 수 없는 노릇이었고, 그나마 경량화한 헤드업 장치들은 가상현실로 부르기 민망한 수준의 해상도와 품질을 제공했다.

팔머 럭키(Palmer Luckey)가 고안한 '오큘러스 리프트(Oculus Rift)'의 등장으로 VR은 급격한 변화를 겪었다. 기존 VR 장치가 디스플레이를 눈앞에 둬서 이미지를 크게 보이도록 하는 방식이었다면, 오큘러스 리프트는 렌즈를 탑재하여 시야각을 넓히고, 발생하는 왜곡을 소프트웨어로 조정하는 방식을 제시했다. 그래서 시야에 들어오는 모든 부분을 가상의 그래픽 요소로 채울 수 있게 되었다. 단점은 높은 사양의 PC를 선으로 연결해야 했지만, 2014년 페이스북이 개발사 오큘러스를 인수하여 투자한 결과, 2020년 6 DoF 지원 독립형 VR 헤드셋 '오큘러스 퀘스트 2(Oculus Quest 2)'로 이어질 수 있었다. 오큘러스 퀘스트 2는 PC에 연결하지 않으면서 3664x1920의 높은 해상도, 503g의 가벼운 무게, 그리고 299달러의 저렴한 가격으로 5개월 만에 100만 대를 판매했다. 이는 전작의 전체 판매량과 비슷하며, 오리지널 아이폰의 초기 판매와 비슷한 속도다.

AR의 상황은 조금 다르다. 2017년 애플이 AR 플랫폼 AR킷(AR Kit)을 공개하면서 큰 관심을 끌었다. 하드웨어 기술이 발단이었던 VR과 달리 AR은 소프트웨어 프레임워크를 통한 스마트폰 기반으로 빠르게 앱을 추가할 수 있었다. AR은 프로젝트 탱고(Project Tango), VR은 카드보드(Cardboard)를 통해 하드웨어 전략으로 접근했던 구글도 이듬해 AR코어(AR Core)를 출시하면서 모바일을 이용한 본격적인 경쟁에 들어갔다. AR킷은 아이폰, 아이패드에 중점 두고 주변 환경과 사물을 최대한 정확하게 인식하는 방향으로 개발되고 있으며, AR코어는 다양한 장치를 지원하는 범용성 중심으로 주변 환경을 넓고 빠르게 이해하는 데에 역점을 둔다. 방향성은 차이가 있으나 별도 장치 없이 모바일에서 누구나 사용하게 한다는 똑같은 목적으로 발전 중이다.

아직 이 모든 것은 초기 단계다. VR과 AR을 응용하는 사례는 늘고 있지만, 키보드와 마우스가 수십 년 동안 HCI를 지배한 정도의 영향을 끼치기는 부족한 점이 많기 때문이다. 아직 스마트폰의 터치 인터페이스도 많은 발전 여지를 남겨뒀으니 미약한 단계의 VR, AR은 더 갈 길이 멀다. 그런데도 스크린을 넘은 곳에 HCI의 미래가 있다면 VR과 AR이 게임체인저임을 의심할 수 없으며, 시각 상호작용을 위한 그래픽 기술이 비약적으로 발전한 때에 현실과 구별할 수 없을 정도의 VR과 AR HCI를 구현할 분야로 몰입형 기술이 꼽히고 있다. 정확히는 몰입형 기술을 적용한 VR 또는 AR만이 시장에서 살아남는 추세로 바뀌고 있다.

지난 3월, 미국의 유명 팟캐스트 더 인포메이션즈 411(The Information's 411)에 출연한 페이스북 CEO 마크 저커버그는 '10년 이내에 소파에서 움직이지 않고도 친구를 만나거나 게임하고, 먼 곳을 방문할 수 있을 것'이라면서 '2030년까지 차세대 오큘러스는 다른 장소로 이동하는 텔레포테이션(Teleportation) 경험을 제공할 것'이라고 말했다.

몸이 실제 장소에 이동하는 게 아니어도 현실과 구분할 수 없는 수준이라면 순간 이동한 것과 다르지 않다는 것이 저커버그의 주장이다. 굉장히 추상적인 개념으로 느껴지겠지만, 텔레포테이션은 몰입형 기술이 궁극적으로 추구하는 방향성이다. 저커버그는 '오늘날의 영상 통화는 실제와 같은 가상의 방으로 전환될 것이다. 내부에서 참가자들이 육체적으로 만나면 이전에는 상상할 수 없었던 방식으로 상호작용할 수 있다. 개발 중인 새로운 기술들이 모든 사용자에게 아바타를 제공할 테고, 매우 사실적인 표정으로 상호작용을 도울 것'이라고 설명했다. 현실과 가상의 개념을 구분하지 않는 단계라면 이미 텔레포테이션이 실현된 상태라는 의미다. 그러기 위해서는 그래픽을 통한 시각뿐만 아니라 현실과 가상의 지각에 혼돈을 줄 수 있는 청각, 촉각 등 감각까지 몰입감이 부여되어야 한다. 나아가서는 따로 인지해야 하는 장치가 없어도 현실에서의 영향력이 똑같아야 텔레포테이션을 구현할 수 있을 것이다.

홀로그램을 이동시킨다는 개념의 '홀로포테이션(Holoportation)'은 텔레포테이션의 하위 개념으로 2016년 마이크로소프트(MS)가 공개한 영상을 통해서 알려졌다. 텔레포테이션이 사람과 사물을 새로운 공간이라고 인지할 곳으로 이동시키는 개념이라면, 홀로포테이션은 사람과 사물을 인지하고 있는 공간에 불러들이는 것이다. 좀 더 쉽게 말하면, '내가 이동해서 새로운 공간이라고 인지할 수 있으면 텔레포테이션', '이동한 사람이 공간을 인지할 수 없으면 홀로포테이션'이다.

MS가 소개한 영상을 보면 카메라가 설치된 스튜디오에서 실시간으로 촬영된 사람이 MR 장치인 홀로렌즈(HoloLens)를 착용한 사람에게 보이는 식이다. 홀로렌즈를 착용한 사람은 자신이 있는 공간에 새로운 객체가 포함되었다고 인식할 수 있으나 피촬영자는 새로운 공간으로의 이동을 경험할 수 없다. 그런 탓에 초기에는 홀로그램 회의 등으로 주목 받았지만, 피촬영자의 몰입감이 떨어진다는 것, 장치 착용이 몰입감을 떨어뜨린다는 단점에 진전을 보이지 못했다.

미국 로스엔젤레스(LA) 기반 스타트업 '포틀(PORTL)'은 홀로포테이션의 단점을 극복하고, 홀로그램을 현실적이라고 몰입할 수 있는 단계까지 끌어올렸다고 평가된다. 피촬영자가 스튜디오 등에서 촬영해야 한다는 한계는 넘어서지 못했지만, 홀로그램을 바라보는 쪽에서는 실제 사람이 해당 공간에 있는 것처럼 느낄 수 있다.

포틀의 홀로포테이션은 '포틀 에픽(PORTL Epic)'이라는 전화 부스 형태의 장치에서 이뤄진다. 촬영된 영상은 포틀 에픽에서 홀로그램으로 구현되는 방식인데, 4k 디스플레이로 고품질 영상을 전달할 뿐 아니라 3D 사물, 그림자 표현으로 어느 각도에서도 실제처럼 인지할 수 있는 홀로그램을 보여준다. 서라운드 음향, 18,000lM 라이트 박스, 모션 감지, 터치스크린을 제공하여 포틀 에픽을 설치한 지점에 누구든 불러올 수 있는 혁신적인 모델이다. 포틀의 홀로포테이션 기술은 회의, 영업, 공연 등 다양한 분야에서 활용되고 있으며, 작년에 테슬라, 스카이프, 코인데스크, 스페이스X, 트위치 등 초기 스타트업 투자로 유명한 팀 드레이퍼가 주도하는 300만 달러의 시드 펀딩도 확보했다.

호주 기반 스타트업 '리얼AR(RealAR)'는 부동산 텔레포테이션 AR 회사로 알려졌다. 빈 곳에 AR로 공간을 만드는 것인데, 두 가지 특징이 있다. 첫 번째는 '인공지능(AI) 컨버전'이다. 리얼AR는 AI 기술을 이용해서 2D 평면도를 3D AR 모델로 전환한다. 평면도를 사진으로 촬영하여 PDF 파일로 업로드하면 AI가 실제 크기의 공간을 AR로 구현하는 것이다. 두 번째는 '스마트폰 AR'이다. 대부분 부동산 관련 AR 기술은 홀로렌즈와 같은 장치를 착용해야 하지만, 리얼AR은 스마트폰으로 AR 공간을 제공한다. 비싼 장비 없이도 누구나 주택, 상가, 숙박시설을 AR로 미리 경험할 수 있다.

스마트폰 스크린을 바라보면 마치 해당 공간 안에 있는 것처럼 느낄 수 있고, 실제로 가상 공간 안에서 이동할 수 있기에 간접적인 텔레포테이션 경험을 제공하는 몰입형 기술이다.

'앰비언트 컴퓨팅(Ambient Computing)'은 앰비언트 인텔리전스(Ambient Intelligence, AmI)라는 개념으로 1990년대에 처음 등장했다. 2017년, 월스트리트저널(WSJ)의 저명한 칼럼니스트이자 All Things D, 리코드(Recode)의 공동 창립자 겸 편집자 월트 모스버그(Walt Mossberg)가 은퇴 직전 마지막으로 작성한 칼럼에서 미래 컴퓨터로 재정의한 것으로 널리 알려지게 되었다.

앰비언트 컴퓨팅의 골자는 '편재'다. 모스버그는 '주요 기술 업체들이 인공지능, 머신러닝, AR, VR, 로봇, 드론, 스마트홈, 자율주행 차량, 헬스케어, 웨어러블 등에 집중하고 있다.'라면서 '이 모든 것은 더 분산된 컴퓨팅 능력, 새로운 센서, 더 나은 네트워크, 음성과 시각적 인식, 더 지능적이면서 안전한 소프트웨어에 공통으로 의존한다.'라고 말했다. 우리가 접근하는 모든 것이 컴퓨터라는 것이다. 하지만 사물인터넷(IoT)과는 다르다. '초기 인터넷은 PC라고 불리는 플라스틱 덩어리가 수행한 활동이었고, 현재는 스마트폰과 같은 별개 장치를 사용하며, 스마트 스피커를 통해서 몇 가지 기기를 불러낼 수 있지만, 여전히 장치가 존재하고, 기기를 불러낼 마법의 단어를 기억해야 한다. 아직 우리는 보이지 않는 전지전능한 컴퓨터에서 멀리 떨어져 있다.'라고 모스버그는 말했다. 그러니까 '모든 것이 컴퓨터지만, 컴퓨터라는 걸 알아차리지 못하는 환경'이 앰비언트 컴퓨팅이라는 것이다.

앞서 설명한 텔레포테이션이 현실과 가상의 경계를 허물어서 구분하지 못하는 상태를 만드는 거라면, 앰비언트 컴퓨팅은 컴퓨팅의 경계를 허물어서 컴퓨터를 인지하지 못하는 상태를 만드는 몰입형 기술의 최종 단계다.

진열대의 상품을 컴퓨터라고 생각하는 사람은 없을 거다. 그렇지만 앰비언트 컴퓨팅이 실현되면 상품을 바라보거나 집어 든다는 매개로 몰입형 상호작용이 가능해진다. 예컨대, 소비자가 진열대의 감자칩을 바라볼 때 바삭하는 소리로 상품을 집도록 유도하거나 AR로 안의 내용물이 보이게 한다면 감자칩이 컴퓨터는 아니지만, 컴퓨터를 통한 감자칩과의 상호작용이 발생하여 구매에 영향을 끼칠 수 있다. 이런 앰비언트 컴퓨팅을 구현하는 핵심이 몰입형 기술이다.

현재 기업들의 AR 마케팅은 대부분 참여형이다. 상품에 관한 특정 행위를 AR로 유도하여 상호작용을 끌어내는 것이다. 하지만 7년 전 펩시코(PepsiCo)가 진행한 펩시 맥스(Pepsi Max) 프로모션은 몰입형 AR 마케팅이 퍼졌을 때 어떤 영향을 끼칠 수 있는지 잘 보여준다.

회사는 영국의 한 버스 정류장 한쪽 면에 투명한 것처럼 보이는 디스플레이를 설치했다. 그리고 사람들이 버스를 기다리는 동안 거대한 촉수가 나타나거나 불타는 소행성이 떨어지고, 로봇이 레이저를 발사하는 등 터무니없는 현상이 현실에서 벌어지는 것처럼 보여줬다. 일부 사람들은 현상이 일어날 때 그걸 실제라고 믿었으며, 곧 이상함을 깨닫고 디스플레이를 확인하는 모습을 보였다. 캠페인 영상은 5일 만에 300만 건의 조회 수를 기록했고, 진행한 1개월 동안 매출은 35% 급증했다.

이 캠페인은 현상이 거짓임에도 사람이 순간적으로 인지할 수 없도록 만들었다는 게 중요하다. 사람들은 스마트폰을 사용하거나 헤드셋을 착용하지 않은 채 그저 일상에 머물고 있었고, 현상이 거짓이라는 걸 인지할 약간의 시간이 필요했다. 허상을 확인할 수 있었던 건 AR이 디스플레이를 넘어서 실현되지 않는다는 걸 깨달았기 때문이다.

그러나 거치형 디스플레이에 국한하지 않은 고품질 AR이 주변에 편재한다면 어떨까? 거짓을 확인하기까지 시간이 더 길어질 테고, 인지하여도 곧장 다른 현상으로 이어지므로 몰입형 경험은 끊어지지 않고 유지된다. 그리고 몰입형 경험과 상호작용할 수 있다면, 가령 상품의 패키지에 그려진 버튼을 탭하면 상품 설명이 가상으로 나오는 등 현실의 사물이 가상의 인터페이스와 연결되어 무엇이 컴퓨터인지 알 수 없는 앰비언트 컴퓨팅을 실현할 수 있을 것이다.