아리랑TV

29일 오후 3시 아리랑TV ‘With Science, We Live’ 5회는 ‘AI의 진화’에 대해 주한별 서울대학교 컴퓨터공학부 교수가 손단(대한민국), 애런(Aron/미국), 메간(Megane/프랑스), 비스(BIZYR/태국) 등 글로벌 패널들에게 설명한다.

주 교수는 ‘AI는 어떻게 인간을 이해하고 예측하게 되는가’를 주제로 강연을 펼친다.

주 교수는 “AI가 진정 인간과 공존하기 위해서는 인간의 행동, 의도, 감정을 이해해야 한다”고 강조하며, 이를 위한 핵심 조건은 바로 ‘현실 세계에서 수집한 새로운 데이터’라고 말한다.

서울대학교 비주얼 컴퓨팅 연구실은 실제 주거 환경을 그대로 구현한 실험공간 ‘파라홈(ParaHome)’에서 인간과 사물, 인간과 로봇 사이의 정교한 상호작용 데이터를 수집 하고 있다.

아리랑TV

40대 이상의 카메라와 3D 센서를 통해 동작, 표정, 접촉, 이동 등 수많은 정보가 디지털화되고, 이 데이터를 통해 AI는 인간 행동의 패턴과 의도를 학습하게 된다.

주 교수는 “AI가 인간처럼 움직이고, 상황을 이해하며, 심지어 다음 행동까지 예측할 수 있도록 만드는 것이 우리의 목표”라고 말한다.

주한별 교수는 KAIST에서 컴퓨터공학을 전공하고, 미국 카네기멜런대학교에서 로보틱스 박사 학위를 받았으며, Meta(Facebook) AI 리서치에서 연구 과학자로 활동한 이력을 가지고 있다.

또 2018년 CMU 파놉틱 스튜디오(Panoptic Studio)에서 500대의 카메라를 이용해 얼굴·손·전신 움직임을 통합 추적하는 ‘토탈 캡처(Total Capture)’ 시스템을 제안하며 최우수 학생 논문상을 수상한 바 있다.

아리랑TV

현재는 서울대에서 ‘사람-사물-공간’의 3D 상호작용 데이터를 수집·학습시키는 신개념 AI 시스템을 개발 중이다. 이는 기존의 단순 동작 인식을 넘어, 협업 가능한 예측형 AI를 구현하려는 시도다. 연구팀은 단순한 작업 명령이 아닌, “방 청소해” 같은 추상적 지시도 스스로 해석하고 행동할 수 있는 범용 AI 모델을 실험 중이다.

대형 언어모델(ChatGPT 등)과 비전 모델이 결합 된 시스템은 정확한 프로그래밍 없이도, 언어와 시각 정보만으로 로봇을 작동시킬 수 있다. 실제로 연구실에서는 로봇팔과 휴머노이드를 활용한 실험이 활발히 이루어지고 있으며, “AI가 스스로 상황을 파악하고 움직이는 시대”가 가시권에 들어왔음을 보여준다.

주한별 교수는 “앞으로의 AI는 인간의 몸짓, 감정, 의도까지 해석해야 진정한 도우미가 될 수 있다”며 “SF 영화에서만 보던 장면들이 현실이 되는 시대를 향해 나아가고 있다”라고 전한다.

패널들은 “AI가 사람의 행동을 예측한다는 게 놀랍다”, “이제는 AI가 무섭기보다 흥미롭다” 라는 반응을 보이며 강연 내내 뜨거운 관심을 드러냈다.

아리랑TV ‘With Science, We Live는’아리랑TV를 통해 매주 화요일 오후 3시에 방송되며, 아리랑TV 공식 유튜브 채널에서도 시청할 수 있다.