청각장애인에게
음악의 즐거움을 전하다

청각장애인들도 음악을 들을 수 있다?

텔레비전에서 음악 프로그램을 보면 흥겨운 음악에 맞춰 춤을 추고 싶어질 때가 많다. 음악을 듣고 흥을 느끼고 그에 맞춰 춤을 추는 것은 사람이라면 누구나 가지고 있는 본성이다. 그런데, 소리를 제대로 듣지 못하는 청각장애인들이 음악을 들을 수 있는 방법이 있을까?
음악은 규칙적이며 리듬감 있는 소리로 이루어져 있다. 소리는 그 진원으로부터 진동의 형태로 공기를 타고 귀까지 전달된다. 그리고 귀 속에 있는 청각기관이 이를 진동을 받아들여 우리는 소리를 듣게 된다. 이 중 청각기관이 제대로 작동하지 않는 청각장애인들은 소리를 제대로 들을 수 없다. 그러나 과학적으로 소리가 진동의 형태로 전달된다는 사실은 바뀌지 않는다. 이 진동을 느끼게 해 준다면 귀로 듣지 않아도 충분히 음악을 느낄 수 있게 된다.

음악을 함께 누릴 수 방안을 연구하다

GIST 융합기술학제학부 ‘팀 지스트’는 음악과 춤의 즐거움을 소리를 듣지 못하는 청각장애인들이 함께 누릴 수 있도록 하는 방안을 구현하는 연구팀이다. 융합기술학제학부 홍진혁 교수를 필두로 김경중, 이지현, 송은성 교수가 함께 지도를 맡고 있다.
팀 지스트의 연구는 단순히 소리로 된 음악을 전달하는 데 그치지 않고, ‘청각장애인들이 음악을 실감나게 즐길 수 있도록 할 수 있을까’하는 방안을 구체화하는 데까지 이르고 있다. 소리를 느끼게 만드는 기술, 소리를 시각적으로 보여주는 기술, 즐겁게 소리와 친해지는 방법 등 다양한 기술 연구를 통해 청각장애인들이 음악을 입체적으로 즐길 수 있는 방안을 구현해 내고 있다.

청각장애 없이 음악을 느끼는 기술

팀 지스트의 대표적인 연구 결과물 햅틱 밴드는 음악을 진동으로 바꾸어 주는 장치다. 손목에 착용하면 외부 공연 음악(사운드)을 감지해 엔벨롭 팔로어(최저음 분석), 트랜션트(리듬 시작 부분), 음악의 빠르기(BPM) 등의 요소를 분석해 햅틱의 강도와 진동수로 변환해 준다. 리듬 중심으로 사운드 분석-진동 변환을 통해 공연 감상을 지원하는 도구로 활용할 수 있다. AI 수어댄서 소리토끼는 AI를 통해 노랫말을 수어 댄스로 변환해 시각적으로 보여주는 플랫폼이다. 리듬에 맞춰 생동감 있는 수어 댄스로 음악을 입체적으로 느낄 수 있게 해 준다. 2023년 배리어프리 음악축제인 ‘나다 뮤직페스티벌 2023’에 공개돼 큰 인기를 끌기도 했다.
이외에도 소리를 보고 만지고 느끼고 만들어 보는 도구인 ‘비즈햅 신디사이저’, 다양한 소리 캐릭터가 등장하는 음악 교육 및 악기 연주 프로그램인 ‘Viz-stage 음악 교육 도구’, 시각과 촉각으로 즐기는 댄스 게임인 ‘댄스 with 저스트댄스’ 등은 청각장애인들이 음악과 춤을 더욱 친숙하고 즐겁게 배울 수 있도록 해 준다.

청각장애인들과 함께 음악을 듣는 세상으로

팀 지스트의 이러한 연구 성과는 2023년 11월, 서대문농아복지관과 양천 구수어통역센터에서 리빙랩을 운영하며 그 우수성을 검증했고, 청각장애인(농·난청인)과 비청각장애인이 함께 어울리는 비영리 컨퍼런스 ‘2023 소통이 흐르는 밤’에서 시연돼 큰 반향을 일으켰다. 참가자들은 음악을 온몸으로 느끼며 즐거운 시간을 가졌다.
팀 지스트를 이끌고 있는 홍진혁 교수는 “현재의 연구 성과에 만족하지 않고, 앞으로 청각장애인들의 음악 감상 플랫폼을 더욱 발전시키고 확장시킬 계획”이라고 밝혔다. 팀 지스트는 최근 청각장애인을 위한 전문적인 재활 치료 센터를 보유한 ‘소리의원’과 양해각서를 체결하고, 실제 현장에서 지속적으로 실증되고 업데이트되는 것을 목표로 긴밀히 협력할 예정이다. 팀 지스트의 연구가 발전된다면 앞으로 청각장애인들과 함께 함께 음악을 들으며 소통하는 세상을 기대해도 좋을 듯하다.