KOSEN 한인과학기술자네트워크

본 연구실의 주용 연구분야는 지능형비젼처리 분야와 차세대 비디오압축 기술분야로 나누어져 있습니다. 지능형비젼처리 분야는 주로 인식 및 식별에 중점을 두고 있고 차세대 비디오압축 기술분야는 영상의 다양한 형태에 따른 화질 개선에 중점을 두고 있습니다.

2-1. 지능형비젼처리 연구
2-1-1. Video Super-Resolution (VSR)
전통적 데이터 보간법에 의한 영상확대 시 발생하는 화질의 열화와 시각적 불편함을 해결하기 위해 딥뉴럴네트워크를 이용한 새로운 영상 확대 알고리즘을 연구하고 있습니다. 특히 비디오 데이터의 해상도 확장 시 양호한 화질의 확대된 비디오 데이터로의 변환을 주로 연구하고 있으며 최근에는 아래 그림과 같은 그룹 기반의 새로운 딥뉴럴네트워크를 연구하여 그 성능을 검증하고 있으며 IEEE ICPR 등 학술대회에 발표하고 있습니다.

2-1-2. DeepFake Detection for Fake Media
딥페이크는 GAN의 출현으로 자연스러운 영상생성이 가능해 짐으로써 다양한 얼굴(인물)의 합성이 가능하게 되어 가짜 뉴스의 중요한 수단이 되고 있습니다. 본 연구실에서는 이러한 영상 및 비디오 기반 딥페이크 영상을 보다 정확하게 검출하는 연구를 트랜스포머(Transformer) 기반으로 제안하였으며 이를 통해 최근 연구보다 그 성능이 우수함을 보이고 있습니다.

2-1-3. Real-time Facial Expression Recognition (FER)
본 연구 분야는 사람의 감정을 검출하고 분석하는 연구 분야로 영상정보를 통하여 사람의 감정상태를 예측하고자 하는 기술분야입니다. 주로 얼굴의 표정을 사용하여 연구가 진행되고 있으며 최근에는 아래 그림과 같은 다중비디오특징 융합구조를 가지는 다중깊이네트워크(Mutli-depth Neural Network)를 제안하여 Q1급 국제전문학술지에 게재 하였습니다. 이후 실제 상황에서 얼굴표정 인식 성능을 높이기 위한 연구를 지속하고 있습니다.

2-1-4. Depth Estimation
깊이 추정(depth estimation)은 두 장의 중첩된 영상을 통해 사람의 눈이 거리를 측정하는 원리를 이용하여 1장의 거리정보를 추출한 영상을 생성하는 과정으로 전통적으로 특징 정합 기법에 의존해 왔으나 최근 5~6년 전부터 딥러닝 구조를 활용하고 있으며 특히 GAN 구조를 활용하여 단안카메라에서 깊이(거리) 정보를 생성하는 알고리즘을 연구하고 있습니다.

2-1-5. Object Detection
객체 검출(object detection) 분야는 실생활에서 사람이 인식 가능한 다양한 사물을 식별하여 위치 정보까지 추출을 하는 기술로 본 연구실에서 small object 검출 성능이 대부분의 딥러닝 구조에서 발생하고 있는데 이를 해결하고자 좀 더 다양한 정보를 학습하는 구조를 연구하고 있습니다. 그 결과로 올해 과학기술정보통신부/연구재단/한국전자통신연구원이 주최한 “DNA+드론 챌린지 2021-데이터 챌린지 부문” 부분에서 대상인 과학기술정보통신부 장관상을 수상하였습니다.

2-2. 차세대 비디오압축 기술
2-2-1. Versatile Video Coding (VVC) 표준 기술
HEVC표준기술의 다음 기술로 각광받고 있는 최신 비디오압축 표준 기술인 Versatile Video Coding (VVC) 기술의 표준화에 한국전자통신연구원(ETRI)와 참여하고 있으며, 데이터의 압축효율을 높이기 위해 화면 간 예측 기법 제안 및 개선을 위해 지속적으로 연구를 수행하고 있습니다.

 

2-2-2. Deep Neural Network (DNN)-based Video Coding 기술
1] CNN 기반 양방향 예측(Bi-prediction) 기법 : 본 연구분야는 한국전자통신연구원(ETRI)과 공동연구를 수행하는 영역으로 현재 진행 중인 Versatile Video Coding (VVC) 기술 중 DNNVC 그룹에 그 결과물을 기고하고 있습니다. 모든 비디오압축 기술에서는 복호화된 두 화면을 움직임 추정을 위한 참조프레임으로 활용하게 되는데 이 때 참조프레임 관련 정보를 개선하여 압축효율을 개선하는 알고리즘을 연구하고 있으며 본 연구의 결과는 2021년 10월 JVET 미팅에 기고가 되어 발표하였습니다. 또한 부화소 움직임 추정 모듈도 딥러닝으로 개선하여 효율을 높이고 있습니다.

2] CNN 기반 고속 화면 간 예측 기법 : 대부분의 비디오압축 표준 기술에서 화면 간 예측(inter prediction) 부분이 매우 많은 복잡도를 보여주는데 이는 실시간 압축이 필요한 분야에서는 매우 불리한 단점이 되고 있습니다. 본 연구실에서는 이러한 화면 간 예측(inter prediction) 모듈의 복잡도를 줄이고 실시간성을 좀 더 지원하기 위하여 아래와 같은 DNN 구조를 이용하여 화면 간 블록 구조를 예측하는 연구를 수행하고 있으며 도출된 결과들을 국제학술지에 게재하고 있습니다.