스마트폰의 대부분이 터치 디스플레이를 채용하고 있으며, 손가락으로 직관적 인 조작을 가능하게하고 있다. 그러나, 탭, 더블 탭, 롱 탭, 핀치 인, 핀치 아웃, 드래그, 제스처 등 손가락에 의한 조작이라고해도 그 종류는 다양하고, 스마트폰 측에서 어떤 작업을 수행했는지를 정확하게 판별해야 한다.
Google 제 스마트폰 인 Pixel 시리즈는 2020년 3월에 열린 업데이트에서, 터치 조작의 판별 정확도를 개선했지만, 도대체 어떤 시스템이 추가되었는지를 Google의 Android UX 팀의 연구원이 이에대해 설명하고있다.
스마트폰의 터치 디스플레이에 대부분 사용되고있는 정전 용량 방식의 터치 센서는 구동 전극과 감지 전극, 그리고 그 사이에 끼어있는 유리 등의 비번도성 유전체로 구성되어있다. 구동 전극과 감지 전극의 하나 하나는 매우작고, 한덩어리로 조합되어 전하를 유지하는 작은 커패시터 셀을 형성한다. 거기에 도전성의 손가락이 접촉하면 전하의 일부가 방출되어, 살짝 정전 용량이 저하되므로 손가락으로 만진 위치를 감지 할 수있다는 것이 정전 용량 방식의 원리이다.
정전 용량 방식의 터치 센서 셀은 디스플레이에 빽빽이 줄지어 있지만, 그래도 디스플레이의 픽셀보다는 훨씬 거칠게되어 있다는...예를 들어, Pixel 4의 디스플레이 해상도는 2280 픽셀 × 1080 픽셀이지만, 터치 센서는 32셀 × 15셀이다.
아래 이미지는, 왼쪽부터 탭 시, 길게 눌렀을 때, 플릭시의 터치 센서 셀에서의 판독 값을 시각화 한 GIF 애니메이션이다. 미세한 움직임에 차이는 있지만, 역시 터치 센서 감도 해상도가 거칠고, 각종 제스처를 정확하게 판별하기 어려운 경우도있다.
이 "정확한 제스처를 어떻게 판별하는가?"라는 문제에 대한 해결책으로, "터치시 압력"이 주목받고 있다. 그러나, 터치시 압력을 감지하는 데 필요한 하드웨어 센서 설계 및 구현에 매우 비용이 많이 들어가고, 인간에 의해 터치시 압력을 치밀하게 제어하는 것은 매우 어려운점이 있고, 지금까지 스마트폰으로의 도입은 보류되어왔다.
정전 용량 방식의 터치 센서는, 압력 자체의 변화에 반응하지 않지만, 디스플레이에서 몇 mm 이내의 손가락 사이의 거리의 변화에 매우 민감하게 반응하도록 조정되어있다. 즉, 손가락으로 디스플레이 위를 터치하고, 터치하는 곳의 중심 부근의 센서는 포화되지만, 손가락으로 터치하는 곳의 주위는 높은 다이내믹 레인지를 유지한다.
손가락에 힘을 실어 디스플레이를 힘껏 누르면, 손가락 표면이 변형되어 펼쳐진다. 이 변형의 특성은 사용자의 손가락 크기와 모양 및 화면에 대한 각도에 따라 다르고, 손가락의 움직임이나 축 압력에 의해 동적으로 변화한다. 즉, 정전 용량 방식의 터치 센서에 손가락 표면의 움직임을 읽고 분석하는 것으로, 사용자가 손가락에 걸리는 압력과 움직임을 간접적으로 감지 할 수 있다는 것이다.
그래서 Google은, 동적 변화를 분석하고 분류하는 기계 학습 알고리즘을 설계했다. Google이 설계 한 제스처 분류 모델의 아키텍처 개요가 밑에 있는 것으로, 센서에서 관측 된 신호 중 공간적 특징에 주목하는 회선 신경망(CNN)과 시간적 특징에 주목하는 회귀형 신경망(RNN)을 조합 한 모델로되어있다.
이 제스처 분류 모델은, 길게 누르거나 거의 힘을 가하지 않은 상태에서 길게 탭, 스크롤, 드래그 등의 입력 데이트 세트로 트레이닝되어있다. 이 모델은 2020년 3월 Pixel feature drops 제2탄으로 Pixel 시리즈에 도입 된 정전 용량 방식도 기존보다 정확하게 제스처를 판별 할 수있게 된 것.
Google의 Android UX 팀은 "기계 학습 알고리즘과 신중한 인터랙션 디자인의 통합에 의해, 사용자가 풍부한 터치 경험을 제공 할 수 있었습니다. 우리는 Pixel의 터치 경험을 세련시켜, 새로운 터치 조작을 탐구하기 위해 이러한 기능의 연구와 개발을 계속 해 나갈 예정입니다"라고 말하고있다.
