[MSV] 터치리스 인터페이스의 강화 🙌

MSV. LETTER

2022. 8. 1.

이 이메일이 잘 안보이시는 경우 여기를 클릭해주세요

사람과 기기가 소통하는 방식은 끊임없이 발전하고 있습니다. 키보드, 펜, 터치, 음성 등 필요에 따라 선택할 수 있는 입력 옵션은 점점 다양해지고 있죠. 2008년부터 2019년까지는 터치기반Touch-based 인터페이스에 대한 관심이 급증했던 시기입니다. 이후 세계가 펜데믹 시대에 접어들면서 2020년부터 터치리스Touchless 기술의 수요가 폭발적으로 증가했습니다. 화면에 직접 접촉할 필요 없이 에어 제스처, 시선 추적, 목소리 만으로 기기를 조작할 수 있는 기능이죠. 감염과 위생에 대한 우려가 기술의 접근성 개선으로 이어진 겁니다. 이번 뉴스레터에서는 최근 2년 간 출시된 터치리스Touchless 제품과 서비스를 알아보려고 합니다. 또 장애를 가진 사용자에게 각각의 기능이 어떻게 유용할지 살펴보겠습니다.

강성혜ㅣ미션잇 UX Researcher

3가지 터치리스 인터페이스

에어 제스처, 아이트래킹, 보이스 컨트롤

디바이스를 손에 쥐거나 화면을 만지지 않고 조작할 수 있는 방식은 크게 3가지로 나뉩니다. 먼저 에어 제스처Air Gesture는 일반적인 제스처와 동작이 비슷하지만, 화면과 거리를 유지한 채 손을 움직이는 방법입니다. 손의 사용이 어려운 사용자라면 눈썹을 움직이거나, 코를 찡그려 안면근육 만으로도 기기를 제어할 수 있죠. 한편 시선 추적Eye Tracker은 안구 움직임을 인식해 시선의 방향이나, 시선이 머무르는 시간 등으로 입력 명령을 구분합니다. 또 화면터치 대신 목소리Voice와 명령어로 기기를 제어할 수 있습니다. AI 기술의 발전으로 기기가 인식할 수 있는 명령어도 점점 다양해지고 있죠.

화면에 손이 닿지 않는

에어 제스처Air Gesture

UCL X 인텔 X 마이크로소프트 X IBM l UCL MotionInput

2022년 6월에 인텔은 에어 제스처 소프트웨어, UCL MotionInput을 공식 출시했습니다. 본 제품은 영국 유니버시티 칼리지 런던University College London (UCL) 컴퓨터 공학과 학생들과 인텔, 마이크로소프트, IBM의 협업으로 탄생한 터치리스 컴퓨터 소프트웨어Touchless Computing Software입니다. 추가 스위치를 연결할 필요없이 일반 웹캠이나 노트북 카메라 만으로도 머리, 안면근육, 또는 전신의 움직임을 인식하도록 접근성을 높였습니다. 카메라로 인식한 동작은 각각 마우스, 키보드, 혹은 조이스틱 입력 시그널로 전환돼 터치 없이도 컴퓨터를 자유롭게 제어할 수 있죠.

본래 UCL MotionInput은 코로나 19 의료진이 감염의 우려없이 컴퓨터를 공유할 수 있도록 개발됐습니다. 하지만 에어 제스처 기술은 의료진 뿐만 아니라 신체의 움직임이 자유롭지 못한 사람 누구나 사용할 수 있습니다. 손의 움직임 뿐만 아니라, 입 열고 닫기, 눈 깜빡이기 등 최소한의 움직임도 정확하게 인식할 수 있어 지체장애가 있는 사용자에게 특히 유용할 것이라고 인텔은 말합니다. 네트워크나 클라우드 연결 없이도 작동해 일상에서 폭넓게 활용될 수 있습니다.

UCL MotionInput은 웹캠이나 노트북 카메라만으로 머리, 안면근육, 또는 전신의 움직임을 인식할 수 있다. ©Intel

구글 l 네스트 허브 2세대Nest Hub 2nd Generation

구글은 2021년 3월에 퀵 제스처Quick Gestures 옵션이 탑재된 스마트 스피커, 네스트 허브 2세대Google Nest Hub 2nd Generation를 출시했습니다. 네스트 허브 1세대와 달리 2세대 기기는 내장된 카메라가 없습니다. 7인치 스마트 스크린 앞으로 손바닥을 가져다 대거나, 3m 거리 이내에서 손을 좌우로 길게 쓸어넘기면 음악을 재생하고 알람을 맞출 수 있죠. 구글의 저전력 기반 레이더 기술 솔리Soli로 구현된 네스트 허브의 움직임 감지Motion Sensing 기능입니다. 솔리Soli 기술은 수면 중 호흡까지 기록할 수 있을 만큼 정교하죠. 신체적 제약으로 매번 기기에 가까이 가기 어려운 사용자도 편리하게 사용할 수 있습니다.

퀵 제스처Quick Gestures 옵션이 탑재된 구글 네스트 허브 2세대 ⓒ Google

애플 l 애플워치 iOS 16 Assistive Touch

2021년 5월, 화면을 탭 하지 않고도 애플워치를 제어할 수 있는 기능을 선보였습니다. 엄지와 검지 맞대기Pinching 제스처로 항목을 이동하고, 주먹쥐기Clenching로 항목을 선택할 수 있습니다. 항목별 순차이동이 번거롭다면 손목을 흔들어 모션 포인터Motion Pointer를 활성화할 수 있죠. 포인터 역할을 하는 작은 공이 화면에 나타나면, 손목 움직임으로 공을 굴려 모션 포인터를 원하는 항목 위에 올려놓고 주먹쥐기Clenching로 선택하면 됩니다.

애플워치 iOS 16 AssistiveTouch 기능으로 화면을 탭 하지 않고도 애플워치를 제어할 수 있다. ⓒ Apple

눈의 움직임을 따라가는

아이트래킹Eye-tracking

애플 l 아이패드 전용 시선추적 기기MFi iPadOS 15 Eye-tracking Device

애플은 2013년에 스위치 제어Switch Control라는 운동능력Mobility 접근성 기능을 출시했습니다. 상지, 하지결손이 있는 사용자가 일반적인 터치 대신 물리적인 스위치를 연결해 애플 디바이스를 포인터로 제어할 수 있는 기능이었죠. 그리고 2021년 5월, iPadOS 15 부터 눈으로 아이패드를 조작할 수 있는 아이패드 전용 시선추적 기기Made For iPad (MFi) Eye-tracking Device와 서드파티 앱 지원을 시작했습니다. 아이패드에 시선추적 기기를 연결하면 물리적인 접촉 없이 포인터가 움직이고, 원하는 항목 위에 시선을 몇 초간 고정하면 탭 제스처를 인식합니다. 포인터의 모양, 색상대비, 속도 등은 사용자의 필요에 맞게 커스터마이징 할 수 있습니다.

눈으로 아이패드를 조작할 수 있는 아이패드 전용 시선추적 기기MFi TD Pilot ©Tobii Dynavox

구글 l 구글 어시스턴트 시선추적Google Assistant X Tobii Dynavox Snap Core First software

뉴스레터 지난호에서 소개해드린 구글 룩 투 스피크Google Look to Speak은 2020년에 출시된 구글의 시선추적 커뮤니케이션 앱입니다. 화면 터치 없이 안구의 움직임 만으로 원하는 문장을 선택해 소통할 수 있는 앱이었죠. 본 서비스가 출시되기 이전인 2020년에도 구글은 토비 디나복스 소프트웨Tobii Dynavox Software와 협력해 구글 어시스턴트Google Assistant의 접근성을 높였습니다. 언어나 손의 사용이 자유롭지 못한 사용자도 보완대체의사소통AAC[1] 태블릿과 앱에서 시선만으로 구글 홈Google Home을 제어할 수 있도록 했죠. AAC 메뉴는 선택이 간편하도록 일반적으로 타일 형태로 구성돼 있습니다. 그중 하나의 타일을 구글 어시스턴트Google Assistant에 할당하면 안구 움직임 만으로 명령을 내리거나 구글 홈Google Home을 제어할 수 있습니다.

[1] 보완대체의사소통Augmentative and Alternative Communication (AAC) 이란, 언어나 인지의 어려움이 있는 사람들의 의사소통을 보완하거나(Augment) 대체(Alternative)하는 기술이나 디바이스를 말합니다.

구글은 토비 디나복스Tobii Dynavox와 협력해 구글 어시스턴트에 시선추적 기술을 접목했다. ⓒ Google

목소리로 기기를 제어하는

보이스 컨트롤Voice Control

마이크로소프트 l 윈도우 11 보이스 엑세스Windows 11 Voice Access

마이크로소프트의 터치리스 기술은 Windows 7 음성인식Speech Recognition에서 시작됐습니다. 음성만으로 컴퓨터를 제어하거나 텍스트를 입력할 수 있는 기능이었죠. Windows 11 부터는 네트워크 연결 없이도 음성으로 컴퓨터를 조작할 수 있는 보이스 엑세스Voice Access를 개발하고 있습니다. 2021년 12월 윈도우 11 공개 베타 테스팅 프로그램Windows 11 Insider Preview Build 22518에 공개되었고, 현재 공식 출시에 앞서 테스트 단계에 있습니다.

네트워크 연결 없이도 음성으로 컴퓨터를 조작할 수 있는 윈도우 11 보이스 엑세스Voice Access ©Microsoft

애플 l 보이스컨트롤iPhone, iPad Voice Control

애플 보이스 컨트롤Voice Control은 탭, 스크롤 등의 제스처 대신 음성명령만으로 애플 기기를 조작할 수 있는 접근성 기능입니다. 각 항목에 숫자를 매기고 원하는 항목에 해당하는 숫자를 말하거나, 화면에 격자를 띄워 영역 별로 활성화 할 수 있죠. 와이파이 연결 없이 오프라인에서도 사용할 수 있습니다. 2022년 하반기에 명령어의 철자까지 커스터마이징 할 수 있는 보이스 컨트롤 스펠링 모드Voice Control Spelling Mode 업데이트를 앞두고 있습니다.