Our research focuses on brain-inspired computational intelligence technologies, i.e. biointelligence. We use mathematical modeling, computer simulations, and cognitive experiments to build models of cognitive information processing at the molecular, neural, and whole-brain scales. These evolutionary computational models are then used to develop human-competitive learning and inference machines for solving real-world problems in artificial intelligence and cognitive brain science.
서울대학교 컴퓨터공학부 바이오지능 연구실 (Biointelligence Laboratory)은 1997년 장병탁 교수님께서 설립하신 연구실입니다. ‘바이오지능’이란 바이오 특히 두뇌 구조로부터 영감을 얻은(brain-inspired) 계산 지능(computational intelligence) 기술을 의미합니다. 저희 연구실에서는 인간수준의 지능(human-level intelligence) 구현을 최종 연구 목적으로 하며 이를 위하여 분자/뉴런/두뇌 구조를 아우르는 다양한 수준에서의 인지 정보처리 모델을 구축하기 위해 기계학습 기반의 수학/통계적 모델, 컴퓨터 시뮬레이션, 인간 인지 실험 등을 수행하고 있습니다. 바이오지능이 학제적인 특성이 강한 연구주제이기 때문에 장병탁교수님께서는 컴퓨터공학부뿐 아니라 인지과학/뇌과학/생물정보학 등 3개 협동과정의 교수직을 겸직하고 계시며 각 분야에 대하여 열정적으로 연구를 진행하고 계십니다. 현재 20여명의 석사, 박사 및 석박사 통합과정 학생들은 컴퓨터공학, 인지과학, 뇌과학, 생물정보학 등 다양한 분야의 전공자들로 구성되어 있으며 컴퓨터비전, 의학, 생물학 등 다양한 분야의 연구실과의 협동 연구 및 정기적인 국, 내외 학회 참석을 통해 자신의 능력을 펼치고 있습니다.
연구실 소개에 간략하게 언급한 바와 같이 저희 연구실의 연구 주제는 분자/뉴런/두뇌 구조 수준에서의 인지 정보처리를 위한 계산 모델 연구이며 이를 위해 아래 그림 1과 같이 크게 3가지로 구성된 주제의 연구를 진행하고 있습니다.
I. 인지적 계산(Cognitive Computation)
인간의 인지(cognition) 현상은 다양한 형태의 멀티모달 특성을 갖는 외부자극을 지각(perception)하고 이를 처리하는 과정을 포함합니다. 인지적 계산(Cognitive computation)은 이러한 인간의 인지 현상을 모사하는 계산 모델을 구축하기 위한 수학적 계산 모델 연구 및 언어-시각 연상(association) 인지와 관련된 다양한 인간 실험들을 포함하고 있습니다. Cognitive computation의 세부 연구 내용은 다음과 같이 구성되어 있습니다.
I-1. 언어-시각 번역(Language-Vision Translation)
인간의 두뇌에서는 감각기관으로부터 입력된 시각, 청각, 촉각 등 다양한 형태(modality)의 자극을 인식하고 입력된 자극의 개념(concept) 혹은 의미를 인지하고 기억하는 과정이 진행됩니다. 그리고 유사한 의미를 갖는 다양한 형태의 자극들 간의 연상작용이 발생하며 유사한 자극이 입력되면 기억되어 있는 의미에 대한 리콜(recall)현상이 발생합니다. 저희 연구실에서는 이러한 일련의 과정 중 특히 언어-시각 학습과정에 대하여 언어-시각 정보의 연상작용을 번역(translation)의 측면으로 해석하고 이를 모델링하는 기술을 연구합니다. 특히 언어-시각 번역은 다양한 대량의 비디오 데이터 베이스를 구축하고(Videom project) 비디오 스트림으로부터 언어(Text)-시각(이미지)의 번역 및 리콜 현상을 표현하는 모델을 연구합니다. 그림 2는 유아용 만화 비디오 데이터와 언어-시각 정보간의 연상기반의 개념(concept) 모델의 예를 보여주고 있습니다.
I-2. 인지 기억 게임(Cognitive Memory Game)
인간이 영화를 시청할 때는 특정 장면과 장면에 해당하는 대사를 연상해서 기억하며 스토리를 이해하게 됩니다. 저희 연구실에는 언어-시각 연상관계 모델을 이용하여 인간들이 영화를 보면서 발생하는 시각-언어 연상 기억 현상을 모사하도록 학습시키는 기술을 연구하고 있으며 이를 위해 그림 3과 같이 인간 피험자들에 대한 멀티모달 인지 기억 게임(multimodal cognitive memory game) 프레임워크를 개발하여 활용하고 있습니다. 또한 EEG장비를 이용하여 비디오를 시청하며 발생하는 인지과정과 두뇌활동간의 연관관계 분석을 진행하고 있으며 효율적인 실험을 위해 별도의 전용공간을 구축하였습니다(그림 4).
I-3. 인지 로보틱스 (Cognitive Robotics)
저희 연구실에서는 멀티모달 인지 정보처리 계산 모델을 이용하여 인간의 행동을 학습 및 추론하고 이를 로봇에 적용하는 인지 로보틱스 연구를 수행하고 있습니다. 최근에는 TU뮌헨과의 협력을 통해 사용자가 주방에서 요리하는 행동을 비디오를 통해 학습하여 이를 모사하는 주방조리 로봇을 연구하고 있습니다. 효과적인 연구 수행을 위해 아이트래커, 촬영 카메라, 키넥트, 로봇(나오, 다윈) 등을 획득하여 전용 연구 공간을 설치 운영 중입니다.
II. 진화연산 기반의 기계학습 모델(Learning and Evolution)
저희 연구실에서는 멀티모달 인지 정보처리 현상을 모델링하기 위하여 하이퍼네트워크(hypernetwork)라는 고차 확률 그래프 기반의 기계학습 모델을 제안하였으며 이를 위한 진화연산 기반의 효율적인 학습기법을 연구하고 있습니다.
하이퍼네트워크는 분자 컴퓨팅을 위한 시뮬레이션 모델로서 2004년에 처음 제안되었으며 멀티모달 인지 정보처리를 위한 모델로서뿐만 아니라 패턴인식, 텍스트 마이닝, 멀티모달 정보 검색, 생물정보학 등에 널리 사용되고 있습니다. 하이퍼네트워크 모델은 랜덤 하이퍼그래프를 이용하여 인자들간의 고차 연관관계를 표현하는 모델로서 수많은 sparse code들의 population으로 정의되며 그림 5는 두뇌의 구조를 하이퍼네트워크로 표현한 예를 보여주고 있습니다. 하이퍼네트워크는 모델의 특성상 멀티모달 연상관계를 용이하게 모델링할 수 있을 뿐 아니라 데이터의 특성이 변화하는 환경에서도 강건하게 학습 가능하도록 유연한 모델 구조를 지니고 있다.
하이퍼네트워크는 인자의 조합으로 표현되는 복잡하고 거대한 문제공간을 표현하기 때문에 이를 효율적으로 학습하기 위해 진화연산 기반의 학습기법을 적용한다. 이 진화연산 기반의 모델 학습 방법은 순차적 베이지안 샘플링 과정으로 설명되며 이를 이용한 증분적 기법을 통해 지속적으로 증가하는 데이터에 대한 학습이 가능하다.
III. 분자수준의 추론(Molecular Inference) - DNA 컴퓨팅
하이퍼네트워크는 모델을 구성하는 하이퍼에지들을 ATGC의 염기서열을 이용하여 인코딩함으로써 DNA 분자 컴퓨팅으로 in vitro 상에서 구현 가능하다. 아래 그림 5는 숫자 5와 6을 나타내는 데이터를 학습한 하이퍼네트워크를 DNA로 구현하여 이를 5와 6을 구분하는 문제에 적용한 예이다.
저희 연구실은 박사후 과정 연구원 2명으로 포함하여 다양한 전공을 가진 20여명의 석박사 과정 학생들로 구성되어 있습니다. 저희 교수님께서는 학생들의 자율적인 연구진행을 적극적으로 권장하고 계십니다. 그러므로 학생들간 자율적으로 연구수행 및 세미나가 진행되며 이를 통해 학생 개인의 독립적인 연구자적 역량을 강화할 수 있습니다. 연구원들 간에는 선후배간의 관계 이상으로 끈끈한 정이 있으며 어려운 일은 서로 돕고 즐거운 일은 공유하는 화기애애한 분위기를 유지하고 있습니다.연구 측면 외에도 저희 연구실에서는 연구원들간의 단합을 위하여 계절마다 연구실 행사를 주최하고 있는데 봄, 가을에는 등산 및 체육대회 여름과 겨울에는 각각 산/바다 및 스키장에서 MT를 개최합니다.또한 저희 교수님께서는 학문 분야의 동향 파악을 매우 중시하시므로 중요한 국제학회에 학생을 참여하는 것을 적극 지원해주십니다. 마지막으로, 저희 연구실은 활발한 국내외 연구기관과의 교류를 통하여 기계학습 인공지능 분야뿐 아니라 인지과학, 뇌과학 분야에 더 많은 공헌을 하고자 노력할 것입니다. 연구실 소개의 기회를 주신 KOSEN 관계자 분들께 감사 드리며, 지금 이 글을 읽고 계신 모든 분들께도 감사 드립니다.
저희 연구실은 서울대학교 제2공학관(302동) 314-1호에 위치하고 있습니다.
연구에 관심과 열정이 있으신 분들에게 저희 연구실은 언제나 열려 있습니다.
전화: 82-2-880-1847
팩스: 82-2-875-2240
Home page: http://bi.snu.ac.kr
E-mail: jwha@bi.snu.ac.kr, ymyi@bi.snu.ac.kr
서울대학교 컴퓨터공학부 바이오지능 연구실 (Biointelligence Laboratory)은 1997년 장병탁 교수님께서 설립하신 연구실입니다. ‘바이오지능’이란 바이오 특히 두뇌 구조로부터 영감을 얻은(brain-inspired) 계산 지능(computational intelligence) 기술을 의미합니다. 저희 연구실에서는 인간수준의 지능(human-level intelligence) 구현을 최종 연구 목적으로 하며 이를 위하여 분자/뉴런/두뇌 구조를 아우르는 다양한 수준에서의 인지 정보처리 모델을 구축하기 위해 기계학습 기반의 수학/통계적 모델, 컴퓨터 시뮬레이션, 인간 인지 실험 등을 수행하고 있습니다. 바이오지능이 학제적인 특성이 강한 연구주제이기 때문에 장병탁교수님께서는 컴퓨터공학부뿐 아니라 인지과학/뇌과학/생물정보학 등 3개 협동과정의 교수직을 겸직하고 계시며 각 분야에 대하여 열정적으로 연구를 진행하고 계십니다. 현재 20여명의 석사, 박사 및 석박사 통합과정 학생들은 컴퓨터공학, 인지과학, 뇌과학, 생물정보학 등 다양한 분야의 전공자들로 구성되어 있으며 컴퓨터비전, 의학, 생물학 등 다양한 분야의 연구실과의 협동 연구 및 정기적인 국, 내외 학회 참석을 통해 자신의 능력을 펼치고 있습니다.
연구실 소개에 간략하게 언급한 바와 같이 저희 연구실의 연구 주제는 분자/뉴런/두뇌 구조 수준에서의 인지 정보처리를 위한 계산 모델 연구이며 이를 위해 아래 그림 1과 같이 크게 3가지로 구성된 주제의 연구를 진행하고 있습니다.
I. 인지적 계산(Cognitive Computation)
인간의 인지(cognition) 현상은 다양한 형태의 멀티모달 특성을 갖는 외부자극을 지각(perception)하고 이를 처리하는 과정을 포함합니다. 인지적 계산(Cognitive computation)은 이러한 인간의 인지 현상을 모사하는 계산 모델을 구축하기 위한 수학적 계산 모델 연구 및 언어-시각 연상(association) 인지와 관련된 다양한 인간 실험들을 포함하고 있습니다. Cognitive computation의 세부 연구 내용은 다음과 같이 구성되어 있습니다.
I-1. 언어-시각 번역(Language-Vision Translation)
인간의 두뇌에서는 감각기관으로부터 입력된 시각, 청각, 촉각 등 다양한 형태(modality)의 자극을 인식하고 입력된 자극의 개념(concept) 혹은 의미를 인지하고 기억하는 과정이 진행됩니다. 그리고 유사한 의미를 갖는 다양한 형태의 자극들 간의 연상작용이 발생하며 유사한 자극이 입력되면 기억되어 있는 의미에 대한 리콜(recall)현상이 발생합니다. 저희 연구실에서는 이러한 일련의 과정 중 특히 언어-시각 학습과정에 대하여 언어-시각 정보의 연상작용을 번역(translation)의 측면으로 해석하고 이를 모델링하는 기술을 연구합니다. 특히 언어-시각 번역은 다양한 대량의 비디오 데이터 베이스를 구축하고(Videom project) 비디오 스트림으로부터 언어(Text)-시각(이미지)의 번역 및 리콜 현상을 표현하는 모델을 연구합니다. 그림 2는 유아용 만화 비디오 데이터와 언어-시각 정보간의 연상기반의 개념(concept) 모델의 예를 보여주고 있습니다.
I-2. 인지 기억 게임(Cognitive Memory Game)
인간이 영화를 시청할 때는 특정 장면과 장면에 해당하는 대사를 연상해서 기억하며 스토리를 이해하게 됩니다. 저희 연구실에는 언어-시각 연상관계 모델을 이용하여 인간들이 영화를 보면서 발생하는 시각-언어 연상 기억 현상을 모사하도록 학습시키는 기술을 연구하고 있으며 이를 위해 그림 3과 같이 인간 피험자들에 대한 멀티모달 인지 기억 게임(multimodal cognitive memory game) 프레임워크를 개발하여 활용하고 있습니다. 또한 EEG장비를 이용하여 비디오를 시청하며 발생하는 인지과정과 두뇌활동간의 연관관계 분석을 진행하고 있으며 효율적인 실험을 위해 별도의 전용공간을 구축하였습니다(그림 4).
I-3. 인지 로보틱스 (Cognitive Robotics)
저희 연구실에서는 멀티모달 인지 정보처리 계산 모델을 이용하여 인간의 행동을 학습 및 추론하고 이를 로봇에 적용하는 인지 로보틱스 연구를 수행하고 있습니다. 최근에는 TU뮌헨과의 협력을 통해 사용자가 주방에서 요리하는 행동을 비디오를 통해 학습하여 이를 모사하는 주방조리 로봇을 연구하고 있습니다. 효과적인 연구 수행을 위해 아이트래커, 촬영 카메라, 키넥트, 로봇(나오, 다윈) 등을 획득하여 전용 연구 공간을 설치 운영 중입니다.
II. 진화연산 기반의 기계학습 모델(Learning and Evolution)
저희 연구실에서는 멀티모달 인지 정보처리 현상을 모델링하기 위하여 하이퍼네트워크(hypernetwork)라는 고차 확률 그래프 기반의 기계학습 모델을 제안하였으며 이를 위한 진화연산 기반의 효율적인 학습기법을 연구하고 있습니다.
하이퍼네트워크는 분자 컴퓨팅을 위한 시뮬레이션 모델로서 2004년에 처음 제안되었으며 멀티모달 인지 정보처리를 위한 모델로서뿐만 아니라 패턴인식, 텍스트 마이닝, 멀티모달 정보 검색, 생물정보학 등에 널리 사용되고 있습니다. 하이퍼네트워크 모델은 랜덤 하이퍼그래프를 이용하여 인자들간의 고차 연관관계를 표현하는 모델로서 수많은 sparse code들의 population으로 정의되며 그림 5는 두뇌의 구조를 하이퍼네트워크로 표현한 예를 보여주고 있습니다. 하이퍼네트워크는 모델의 특성상 멀티모달 연상관계를 용이하게 모델링할 수 있을 뿐 아니라 데이터의 특성이 변화하는 환경에서도 강건하게 학습 가능하도록 유연한 모델 구조를 지니고 있다.
하이퍼네트워크는 인자의 조합으로 표현되는 복잡하고 거대한 문제공간을 표현하기 때문에 이를 효율적으로 학습하기 위해 진화연산 기반의 학습기법을 적용한다. 이 진화연산 기반의 모델 학습 방법은 순차적 베이지안 샘플링 과정으로 설명되며 이를 이용한 증분적 기법을 통해 지속적으로 증가하는 데이터에 대한 학습이 가능하다.
III. 분자수준의 추론(Molecular Inference) - DNA 컴퓨팅
하이퍼네트워크는 모델을 구성하는 하이퍼에지들을 ATGC의 염기서열을 이용하여 인코딩함으로써 DNA 분자 컴퓨팅으로 in vitro 상에서 구현 가능하다. 아래 그림 5는 숫자 5와 6을 나타내는 데이터를 학습한 하이퍼네트워크를 DNA로 구현하여 이를 5와 6을 구분하는 문제에 적용한 예이다.
저희 연구실은 박사후 과정 연구원 2명으로 포함하여 다양한 전공을 가진 20여명의 석박사 과정 학생들로 구성되어 있습니다. 저희 교수님께서는 학생들의 자율적인 연구진행을 적극적으로 권장하고 계십니다. 그러므로 학생들간 자율적으로 연구수행 및 세미나가 진행되며 이를 통해 학생 개인의 독립적인 연구자적 역량을 강화할 수 있습니다. 연구원들 간에는 선후배간의 관계 이상으로 끈끈한 정이 있으며 어려운 일은 서로 돕고 즐거운 일은 공유하는 화기애애한 분위기를 유지하고 있습니다.연구 측면 외에도 저희 연구실에서는 연구원들간의 단합을 위하여 계절마다 연구실 행사를 주최하고 있는데 봄, 가을에는 등산 및 체육대회 여름과 겨울에는 각각 산/바다 및 스키장에서 MT를 개최합니다.또한 저희 교수님께서는 학문 분야의 동향 파악을 매우 중시하시므로 중요한 국제학회에 학생을 참여하는 것을 적극 지원해주십니다. 마지막으로, 저희 연구실은 활발한 국내외 연구기관과의 교류를 통하여 기계학습 인공지능 분야뿐 아니라 인지과학, 뇌과학 분야에 더 많은 공헌을 하고자 노력할 것입니다. 연구실 소개의 기회를 주신 KOSEN 관계자 분들께 감사 드리며, 지금 이 글을 읽고 계신 모든 분들께도 감사 드립니다.
저희 연구실은 서울대학교 제2공학관(302동) 314-1호에 위치하고 있습니다.
연구에 관심과 열정이 있으신 분들에게 저희 연구실은 언제나 열려 있습니다.
전화: 82-2-880-1847
팩스: 82-2-875-2240
Home page: http://bi.snu.ac.kr
E-mail: jwha@bi.snu.ac.kr, ymyi@bi.snu.ac.kr