9월 마지막 주, 예년보다는 조금 늦게 시작된 가을의 초입에 서울에서부터 세 시간여를 달려 인간중심 지능형 시스템 연구실(HCIS Lab)을 이끌고 있는 김승준 교수와 연구팀을 만났다. 벽에 빈틈없이 붙어 있는 수많은 자료들과 정중앙에 자리한 회의 테이블, 높이 쌓인 자료에 파묻혀 컴퓨터 앞에서 일에 몰두한 연구원들. 업무에 파묻혀 바쁘게 돌아가는 회사 사무실과 다를 바 없어 보였지만, 연구팀의 컴퓨터 화면을 보는 순간 이곳이 바로 최첨단 AI 기술을 연구하는 곳임을 자각했다.

카네기 멜론 대학교에서 연구하던 시절, 자율주행 차량이나 로봇 등 지능형 물리 시스템이 점차 일상으로 다가오고 있지만 사용자들이 기술을 신뢰하지 못하거나 제대로 활용하지 못하는 경우를 많이 목격하면서, 김승준 교수는 인간과 컴퓨터 사이의 상호작용에서 신뢰가 얼마나 중요한 요소인지를 깨닫게 되었다. 이를 계기로 인간-컴퓨터 상호작용(HCI)과 인공지능(AI) 기술을 융합해, 인간과 지능형 물리 시스템 간의 상호작용을 사람 중심으로 설계하고 검증하는 학제 간 융합 연구를 하게 되었다. 인공지능, 로보틱스, 웨어러블 센서, IoT, 혼합현실(XR) 기술이 결합된 지능형 시스템에서 발생하는 문제를 해결하고, 인간의 특성에 맞게 최적화된 기술을 개발하는 데 중점을 둔 〈인간중심 지능형 시스템 연구실(HCIS Lab)〉이 설립된 배경이다. AI 기술이 빠르게 발전하고 다양한 물리적 환경에서 사람들과 상호작용하면서, AI가 사람들에게 실질적인 도움을 주고 안전하게 사용될 수 있도록 하는 것이 중요해졌기 때문이다.

김승준 교수와 HCIS 연구소가 진행하는 첫 번째 과제는 확장 현실(XR) 기반 체성감각 연구이다. 고유수용감각, 평형감각, 촉각과 같은 신체의 체성감각을 가상 환경에서도 자연스럽게 경험할 수 있도록 하는 기술을 개발하고 있는 것이다. 이를 위해 체성감각을 재현, 생성, 가공, 변조하는 인공지능 소프트웨어와, 이러한 감각을 정밀하게 제공할 수 있는 하드웨어 플랫폼을 설계하고 있다. 현실 세계의 물리적 감각을 가상 공간에서도 이질감 없이 경험할 수 있게 함으로써, 사용자의 몰입감과 상호작용 참여도를 극대화할 수 있다는 것이 이 연구의 특장점이다. 시각과 청각에만 초점을 맞춘 기존의 XR 연구와 달리, 보다 총체적인 체감 경험을 제공하는 데 중점을 두고 있다.
두 번째는 설명 가능한 AI(XAI) 연구이다. AI 시스템이 내린 결정과 그 과정에 대한 명확한 설명을 제공해, 사용자와 AI 간의 신뢰를 구축하고 협력을 촉진하는 연구를 진행하고 있다. 이는 특히 자율주행 차량, 금융 서비스, 의료 분야와 같이 인간의 생명과 안전, 재산에 직접적인 영향을 미치는 분야에서 중요한 역할을 한다. HCIS 연구소의 XAI 연구는 사용자의 상태와 맥락을 고려하여 개인화된 설명을 제공하는 데 중점을 두고 있으며, 이를 통해 기존 연구들보다 더 깊이 있는 인간 중심의 AI 설명 모델을 제안하고 있다.
세 번째는 인간-로봇 상호작용(HRI) 연구이다. 로봇과 자율주행 이동체와 같은 지능형 물리 시스템이 인간의 일상생활 공간에서 어떻게 효과적으로 상호작용할 수 있는지를 연구하고 있다. 특히, 로봇이나 자율주행 시스템이 사람의 행동이나 감정을 인식하고 이에 맞춰 유연하게 반응할 수 있는 인터랙션 모델을 개발하고 있다. 기술적 성능에 집중했던 기존 연구와 달리 사용자 경험의 질을 높이고, 사람의 상태와 의도를 정확히 파악해 이에 맞는 행동을 유도하는 데 중점을 두고 있다.

이번 연구에서 AI는 어떤 식으로 활용되었을까? 연구팀은 “AI를 이용해 자율주행 차량 내 탑승객들의 설명 요구 시점을 예측하고, 적절한 타이밍에 상황 설명을 제공하는 시스템을 개발하는 데 중점”을 두었다고 설명했다. 이를 위해 다양한 멀티모달 데이터를 수집해, 탑승객이 언제 설명을 필요로 하는지에 대한 예측 모델을 구축했다고 한다. 특히 차량의 내부 데이터와 사용자의 생리적 데이터(그림 1)를 주요 특징으로 사용해, 탑승객이 자율주행 차량의 행동에 대해 설명을 요구하는 순간을 실시간으로 파악한 점은 중요한 연구 성과이다. 이를 통해 탑승객의 요구를 반영한 상황 인식 기반의 설명 제공 시스템을 구축했으며, 이러한 데이터와 분석 결과는 AI 모델을 통해 설명의 타이밍을 예측하는 데 활용되었다.
또한 머신러닝을 활용하여 다양한 센서 데이터(차량의 위치와 속도, 탑승객의 생리적 신호, 차량 내부의 카메라 영상 등, 그림 2 참고)를 통합하고 분석해 차량의 행동에 대한 설명이 필요한 시점을 파악하고, 자동차의 운전 결정에 대한 설명을 제공할 수 있는 가능성을 보였다. 이를 통해 탑승객의 불안감을 줄이고, 차량에 대한 신뢰를 높일 수 있었다.

하지만 연구 과정이 순탄치만은 않았다. 고품질의 HCI 데이터 확보가 어려웠기 때문이다. 특히 자율주행 차량 내부의 다양한 센서 데이터를 정확하게 수집하고, 이를 탑승객의 설명 요구와 연결하여 분석한다는 것이 큰 도전이었다고 한다. 자율주행 차량 내에서 탑승객의 상태를 정확히 파악하기 위해서는 카메라, LiDAR, 생리적 센서 등 여러 종류의 센서를 활용해야 했고, 이로 인해 데이터의 양과 복잡성이 크게 증가했기 때문이다.
연구팀은 Wizard-of-Oz 방법을 사용하여 실제 도로 환경에서 탑승객의 자연스러운 행동을 관찰하고 기록할 수 있는 실험 환경을 조성해 이 문제를 해결했다. 이 방법을 통해 데이터의 신뢰성을 확보하고, 다양한 센서를 차량 내외부에 설치해 차량의 움직임과 탑승객의 상태를 동시에 기록한 것이다.
이와 더불어 머신러닝 모델을 활용하여 설명 요구 시점을 예측하고, 탑승객의 생리적 신호, 차량의 행동과 설명 요구 시점 간의 특징 중요도를 분석했다. 이러한 접근 방식을 통해 탑승객이 설명을 필요로 하는 시점 예측 정확도에 미치는 특징들의 중요도를 알 수 있었다.

최근 연구팀은 "Flip-Pelt" 기술(그림 3)을 개발하였다. Flip-Pelt는 모터로 구동되는 펠티어 소자를 활용하여, VR 환경에서 빠른 열 자극과 압력 피드백을 동시에 제공하는 기술이다. 기존의 열 피드백 장치들이 느린 반응 시간으로 인해 현실감이 떨어졌던 문제를 해결하고자, Flip-Pelt는 사전 가열되거나 냉각된 소자를 신속하게 반전시켜 빠른 시점에 정확한 열 자극을 전달할 수 있도록 설계되었다.
이 기술은 온도와 압력 자극을 통합하여, 사용자에게 더욱 사실적인 촉각 경험을 제공한다. 예를 들어, VR에서 뜨거운 물건이나 차가운 금속을 만질 때, Flip-Pelt는 이러한 감각을 실제와 유사하게 구현하여 몰입감을 극대화한다. 이는 단순한 게임이나 엔터테인먼트뿐만 아니라 의료, 교육, 훈련 등 다양한 분야에 적용될 수 있으며, 특히 수술 시뮬레이션이나 재활 치료에서 효과적인 도구로 활용될 수 있다.

HCIS는 앞으로도 신체 감각의 가상 재현 및 확장, 체성감각 제공 플랫폼 구축, 현실과 가상 간의 체화 경험 통합 연구를 진행할 것이라고 한다. 가상세계와 현실을 연결하여 교육, 재활, 훈련 등 다양한 분야에서 사용자가 동등하거나 더 나은 경험을 할 수 있도록 만드는 것이 목표라고 답하는 김승준 교수와 연구팀들의 눈빛이 그 어느 때보다 또렷하고 기대에 가득 차 있다. 이들의 이러한 열정과 몰입이 인간을 더 잘 이해하는 AI, 인간이 더 깊이 신뢰할 수 있는 AI 환경을 이끌 것이라는 예감이 들었다.