KOSEN 한인과학기술자네트워크

Bioflight VR은 진단의 정확성을 높이기 위해 VR 환경에 데이터를 업로드 할 수 있는 솔루션을 구축해 CT 스캔과 MRI 데이터를 3D 이미지로 볼 수 있으며, 플랫폼은 GPU(Graphics Processing Unit)를 이용하여 가상환경을 통해 제공하고 있다. 상세한 정보 덕분에 환자의 상태를 좀 더 세부적으로 분석, 파악할 수 있고, 의사들은 수술 계획을 세울 시간을 절약하고 정확하게 환자 상태를 진단해 치료를 제공한다.

EchoPixel은 True 3D System을 개발해 초음파, CT 스캔, MRI 이미지를 3D 형태로 표준화함으로써 세계 의료 이미징분야에 영향력을 행사하고 있다. True 3D 시스템의 상세한 이미지들은 내과의사에게 환자의 구조와 질병에 대한 이해를 깊게 해 뛰어난 진단과 치료를 제공한다.

도쿄여자의과대학은 증강현실(AR: Augmented Reality)을 이용하여 수술 도중 집도의가 의료용 화상 관리 시스템을 조작할 수 있는 솔루션 개발을 진행하고 있다. 수술을 집도하는 의사는 각종 디바이스나 키보드를 만질 수 없어 의료용 화상을 보려면 간호사나 스태프가 화상관리 시스템을 조작해야 하는데, 이를 개선하기 위해 해당 솔루션을 개발해 집도의는 화상관리 시스템에 저장된 CT 데이터를 어느 위치에 삽입할지, 어느 위치에 배치할지 등을 손의 움직임으로 조작할 수 있다[2].

대구경북과학기술원(DGIST)은 증강현실을 이용하여 실제 수술도구와 가상 수술도구를 함께 표시함으로써 수술자의 원활한 수술을 가능하게 한다. 장기 이미지 내 지점을 기준으로 3차원 렌더링하여 가상의 장기 모형 간의 깊이 정도를 파악하는 수술 내비게이션 시스템 운용방법, AR과 VR의 전환 통해 운동시차를 만들어 깊이감을 파악한다[3].

영국의 Center for Surgical Invention & Innovation는 M. Anvari 박사 주도하에 원격수술을 성공시켰다. 원격조종 로봇, VR 모니터, 햅틱장갑을 이용해 원거리에 있는 환자에 대한 수술 시행이 가능하고 국가 간 의료장벽을 허물 수 있을 것으로 기대되고 있다.

뉴욕 마운트 시나이(Mount Sinai) 병원의 J. Bederson 박사는 2016년 8월 Leica와 Brainlab이 함께 개발한 수술 AR 플랫폼 ‘CaptiView’를 이용해 동맥류 수술을 마쳤다. 집도의가 현미경을 통해 환자의 뇌 화면 위에 수술 전에 촬영된 환자 뇌 내부의 2D/3D 영상이 겹쳐서 나타나 고개를 돌릴 필요가 없다. 수술과 관련된 기타 의료 정보도 현미경 화면에 불러올 수 있으며, 의사가 수술하는 동안 어느 곳을 보는지를 파악하여 자동으로 초점을 맞추어 주는 기능도 탑재됐다.

일본 고베대 부속병원 소화기내과는 임상수술현장에서 VR과 3D프린터를 연간 약 50건 이상 활용하고 있다. 환자의 몸을 CT로 촬영한 후, CT 검사에서 얻을 수 있는 2D의 평면으로 표현되는 이미지를 다시 3D 데이터로 변환해 환자가 병원에서 CT 검사 촬영 데이터를 가져오면, 자신의 몸을 3D로 볼 수 있게 해 주고 있으며, 환자의 몸에 프로젝션 매핑 기술로 영상을 투영하면, 몸을 열지 않아도 내부 장기 위치를 볼 수 있는 VR 기술을 적용하고 있다[4].

일본 국제의료복지대 의대 스키모토 마키 교수는 홀로렌즈를 이용해 VR 간 수술을 하고, VR을 이용해 전립선암 수술을 시행하였다[5].

분당서울대병원 정형외과 조환성 교수팀은 DGIST 로봇공학과 홍재성 교수팀과 함께 2017년 3월 세계 최초로 태블릿 PC에서 증강현실 시스템을 적용한 골종양 수술을 성공적으로 수행하였다. 증강현실 시스템은 CT, MRI 등 영상진단이미지를 통해 확보한 종양의 위치와 크기를 프로그램에 입력하면, 종양의 위치 정보를 태블릿 PC에 표시되며, 정강이뼈에 골종양이 발생한 환자의 수술에 증강현실 시스템을 적용해 불필요한 절제를 최소화하면서도 종양을 안전하게 절제한다[6].

비비드 비전(Vivid Vision)사는 약시나 사시를 앓는 환자를 위한 VR 헤드셋을 개발하였다. 게임을 이용해 좌우 눈에 미묘하게 다른 이미지를 투사해 잠자던 뇌를 자극하고, 눈과 뇌의 연계를 복원해 시력을 강화한다. 안과의사와 병원을 대상으로 VR 게임을 이용한 치료 프로그램을 제공하고 있는데, 미국 내 90개 이상의 병원이 이 프로그램을 도입했고, 2017년 말 환자의 편의성을 높이기 위해 시각장애 환자가 직접 구매해 가정에서 사용할 수 있는 버전을 출시하였다.

케임브리지 컨설턴트(Cambridge Consultants)는 2016년 9월 스마트폰으로 녹내장을 검사할 수 있는 VR 기기를 개발했다. 사방에서 빛이 쏘아지는 것을 구현하기 때문에 실제 녹내장 검사기와 비슷한 효과를 발휘한다. 모바일 앱과 블루투스로 연동해 다양한 색감을 표현한 빛 패턴을 보여주며, 이용자는 검사에 맞춰 색감인지를 구분하는 버튼을 누르기만 하면 된다[7].

삼성전자의 사내벤처 C랩(Creative Lab)은 2017년 8월 시각보조 애플리케이션 ‘릴루미노(Relumino)’를 공개하였다. 저시력자의 불편을 덜어주는 앱으로 갤럭시 스마트폰과 스마트폰에 호환되는 ‘기어 VR’이 있으면 되는데, 스마트폰 카메라로 받아들인 영상을 AR로 변환해 시각장애인이 인식하기 쉬운 상태로 바꿔준다. 굴절장애와 고도근시를 겪는 시각장애인에게 유용하다[8].

캐나다 Ottawa 대학은 평형기능을 담당하는 귓속 달팽이관에 이상이 있어 어지럼증을 호소하는 환자의 전정기능 재활(vestibular rehabilitation)을 위해 VR 활용 장비를 이용해 치료한다. 사람의 동작, 인지, 계획, 판단, 행동 등 각 단계의 데이터와 장애의 유무와 정도를 계측하는 것이 가능하며, 측정 결과를 이용해 적합한 재활치료를 계획하고 훈련시킬 수 있다[9].

VirZOOM의 VR 바이크는 페달을 돌려 액티브 모션 컨트롤로 VR 게임을 제공하고 사용자로 하여금 경주 트랙, 전쟁터, 떠오르는 하늘, 그림과 같은 시골풍경을 F1 드라이버, 탱크 사령관, 사이클 선수, 페가수스(Pegasus) 형태로 체험하게 한다.

스위스의 스타트업 마인드 메이즈(MindMaze)는 환자의 몸 동작을 디지털로 변환하는 모션 캡쳐 기술로 신경 재생을 촉진하는 VR 재활 플랫폼 ‘MindMotion Pro’를 선보였다. 뇌졸중과 외상성 손상(traumatic injury) 환자의 재활에 이용되는 데, 팔을 들어 올리거나 손가락을 움직이는 연습을 도와주는 VR 기기로 팔을 움직일 수 없지만 시각적·청각적 피드백으로 동기를 부여해 환자가 반복적으로 행동을 연습할 수 있게 한다.

일본 Tsukuba대의 신체장애자를 위한 특수교육 대학과 FOVE는 ‘Eye Play the Piano’를 개발했는데, VR 헤드셋 FOVE에 ‘시선추적(Eye tracking)’기술을 적용해 장애 어린이가 피아노를 연주할 수 있다[10].

가천대 길병원은 2018년 1월 VR 기술을 외상 후 스트레스장애나 공황장애 치료에 접목하는 ‘가상현실 치료센터’를 개소해 VR을 이용한 자극에 외상 후 스트레스장애나 공황장애를 앓는 환자들을 반복적으로 노출해 익숙해지도록 돕는다[11].

분당차병원은 뇌졸중으로 팔을 잘 쓰지 못하는 환자 162명에게 게임방식의 VR 재활치료를 진행해 상당한 효과를 보고 있다. 환자를 VR로 치료하기 위해 컴퓨터와 VR용 안경·컨트롤러 등의 장비를 구비해 VR용 안경을 착용하면 사방으로 망망대해가 펼쳐지고, 바다 한 가운데에 떠 있는 배를 타고 있는 등 VR 프로그램이 바닷속을 배경으로 해 재미와 환상을 심어준다[12].

분당서울대병원은 2014년 서울대공대와 공동연구로 마이크로소프트의 3차원 동작인식카메라 ‘키넥트’를 이용한 VR 치료 프로그램을 개발해 뇌졸중 환차 치료에 활용하였다. 상태가 비슷한 환자끼리 가상공간에서 대결을 벌이면서 치료를 이어가는 것은 물론 병원에 오지 않고도 집에서 로그인만하면 언제 어디서나 재활을 이어갈 수 있게 하는 것을 목표로 하고 있다[13].

정신건강의학과에서 VR은 트라우마 치료, 각종 공포증 완화, 자폐증 치료 등 다양한 영역에서 적용되고 있다.

Virtual Vietnam은 PTSD(외상 후 스트레스장애) 치료를 위해 VR을 최초로 이용한 솔루션으로, 1997년에 베트남 참전 군인들의 치료를 위해 조지아 공대에서 시도했다. VR은 정글을 헤치고 나가는 상황과 군용 헬리콥터를 타고 날아가는 두 가지 시나리오를 재현해 군인들이 실제 베트남에 있는 것처럼 느끼게 한다. 심리치료에 효과를 못 보던 환자들이 시험에 참여해, 효과를 보았다.

Virtual Iraq는 남가주대(UCS)의 정신과 전문의 Albert Rizzo 박사가 주도하여 2005년 이라크전 참전군인들의 PTSD 치료를 위해 개발하였다. 엑스박스의 전쟁게임 ‘Full Spectrum Warrior’의 개발환경을 재사용한다. 오락용으로 가상으로 전쟁의 긴장감을 즐기기 위해서 개발된 게임이 전쟁 참상을 겪은 군인들의 후유증을 치료하기 위해 활용됐다.

미시간대 병원은 장기 입원을 하고 있는 어린이들에게 지루함을 덜어주기 위해 오큘러스 리프트(Oculus Rift)를 이용해 병원 밖을 체험시킨다. 어린이용 프로그래밍 스쿨인 GameStart School과 입원 중인 어린이가 보통 어린이와 같은 체험과 감동을 얻는 것을 목적으로 한다[14].

Floreo는 자폐증 어린이의 스킬 개발을 지원하고 자립하는 것을 돕는 협동 시스템을 제공하는데, 지도를 맡은 사람은 렌즈에 애플 아이패드를 사용한다. VR 기반 치료는 개인 특성에 맞춰 관리, 조정이 가능해 학습능력 장애를 가진 어린이와 가족으로부터 호의적인 반응을 얻었다.

옥스포드대 연구팀은 고소공포증 환자들에게 2주간 4~6회 VR 치료 프로그램을 받게 하고, 환자들은 가상현실 속에서 높은 건물에 올라가 사과를 따거나 고양이를 구하는 등의 과제를 수행해 고소공포증 증상을 평균 68% 감소시키는 효과를 보았다[15].

일본 얀센파마(Janssen Pharmaceutical)는 2016년 5월 환청이나 망상을 유사 체험할 수 있는 장치 ‘Virtual Hallucination’을 개발하였다. 골판지로 만든 조립식 헤드셋과 앱을 설치한 스마트폰을 사용해 보여주는데, 영상은 상하좌우로 180도까지 머리를 움직이며 볼 수 있는데, 환청을 체험하고, 4가지 에피소드를 준비해 환자 가족들이 질환에 대해 깊은 이해를 하는 것을 돕고 있다[16].

Zspace는 의료 등 다양한 분야에서 교육의 질을 개선하기 위해 VR과 증강현실(AR: Augmented Reality)을 합친 혼합현실(MR: Mixed Reality)을 적용하고 있다. 의료분야에서는 4,600개 이상의 해부구조를 포함한 Human Anatomy Atlas가 있는데 남성과 여성의 신체의 주요 모든 장기와 체계를 망라하고 있다[17].

이스라엘의 3D기업 Simbionix의 VR 수술실(Operating Room)은 복강경(laparoscopic) 트레이닝을 위한 실감나는 세팅을 제공한다. 시뮬레이터에서 수련생들의 실습은 가상 OR팀, 환자, 장비, 실감나는 생활소음 등을 포함해 수술실 환경에 몰입하게 한다. 복잡한 수술을 준비하는 의사에 D2P SW, 3D 모델링 등을 제공한다[18].

Surgical Theater는 MRI나 CT 이미지를 바탕으로 3D 모델을 구축하는 ‘Precision VR’을 개발하였다. CT스캔이나 MRI 등에서 촬영한 영상을 입체화하고 의사가 VR 헤드셋을 착용해 몸의 내부를 돌아다니며 살펴볼 수 있는 기능을 갖추고 있어 질병의 진단, 수술 계획 및 예행연습, 의대생의 학습도구 등으로 사용된다[19].

Touch Surgery는 VR 환경에서 수술 교육할 수 있는 가능성을 보여주었다. 스마트폰이나 태블릿 컴퓨터용 ‘모바일 수술 훈련’ 앱을 통해 흉부외과, 정형외과, 안과, 성형외과, 신경외과 등 다양한 진료과의 100여 가지의 수술의 과정을 3D 이미지와 터치스크린을 통해서 배울 수 있다.

BioDigital은 클라우드 기반 가상 3D 의료영상의 선구자로 해부와 질병치료를 위한 신체를 시각화해 진단 및 의학교육에 활용된다. 3D 영상을 통해 학생들은 몸 안의 장기를 상세하게 확인할 수 있고, 의사는 용이하게 3D 진단을 실현한다.

Open Simulator는 3D 기술을 이용해 헬스케어교육과 병 간호에 활용하고 있다. 가격이 저렴한 복강경 수술 훈련 시뮬레이터를 개발해 수술 스태프를 양성하고 적절한 외과치료를 받지 못하고 있는 사람을 구할 수 있다.

Medical Augmented Intelligence는 VR 3D와 AR을 이용해 인터랙티브 인체 3D 모델을 제공하는데, 침구 치료의 시술자를 훈련하기 위한 것이다. 학생은 VR을 사용해 디지털화된 인체 위에 손을 움직여 근육이나 신경의 침구를 놓을 위치를 확인시킨다.

프랑스의 비지블 페이션츠(Visible Patients)사는 CT나 MRI 같은 2D 영상 이미지를 바탕으로 3D로 환자의 이미지를 생성한다. 수술 환자의 해부학적 구조를 3D 모델링하는 기술로 직접 수술할 특정 환자의 3D 모델을 만들고 VR을 통해 분석한다.

후지쓰(Fujitsu)는 2017년 9월 도쿄대와 심장 시뮬레이터를 개발하였다. 실제 MRI나 CT로 촬영한 심장 이미지에 기초해 슈퍼컴퓨터 ‘케이’로 심장박동을 심근세포에서부터 정밀하게 재현한다. 심장 시뮬레이터 출력 데이터를 콘텐츠로 이용해 심장 흥분전파를 360도 VR로 볼 수 있어 심전도가 흥분 전파과정에서 생성되는지 이해에 도움이 된다[20].

분당서울대병원의 VR 교육시스템은 수술 현장을 360도 카메라로 촬영해 외과, 정형외과 관련 VR 콘텐츠 3개를 제작해 수련의 교육에 활용하고 있다. 환자 안전을 위해 충분한 숙련도와 체험이 필요하고, 현장 교육에 제약이 큰 수술 분야에 도입하였다[21].