[숙명여자대학교] 지능형비젼처리연구실
2021-11-01
org.kosen.entty.User@566d6e3a
김병규(deepminds)
- 1102
- 3
- 2
숙명여자대학교 ICT융합학부 IT공학전공 소속인 지능형비젼처리연구실(IVPL)은 비젼 기반 정보처리 및 딥러닝 전문가이신 김병규 교수의 지도 아래 12년 간 다양한 연구를 진행해 오고 있습니다. 본 연구실의 가장 큰 특징은 글로벌연구자를 지향하는 학위 과정과 프로그램들이며 이를 위해 IIT Roorkee (India), IIT Bhubaneswar (India), Indian Institute of information Technology (Kalyani), University of Akron (USA), La Trobe University (Melbourne Victoria Australia), Nanchang Hangkong University (China), University of Sheffield (UK) and University of Macedonia (Greece) 등 세계 유수한 연구실들과 실질적인 교류를 진행하고 있습니다. 특히 인도 IIT의 연구실들과 다양한 연구 논문 및 국제협력 과제 도출 등의 협력을 수행하고 있는 상황입니다.
지금까지 박사 4명, 석사 6명을 배출하였으며 현재는 박사과정 2명, 석사과정 5명(진학예정 2명 포함), 학부연구원 1명이 시각지능 관련 딥러닝 메커니즘과 새로운 네트워크 구조 연구에 임하고 있습니다.
지금까지 박사 4명, 석사 6명을 배출하였으며 현재는 박사과정 2명, 석사과정 5명(진학예정 2명 포함), 학부연구원 1명이 시각지능 관련 딥러닝 메커니즘과 새로운 네트워크 구조 연구에 임하고 있습니다.
본 연구실의 주용 연구분야는 지능형비젼처리 분야와 차세대 비디오압축 기술분야로 나누어져 있습니다. 지능형비젼처리 분야는 주로 인식 및 식별에 중점을 두고 있고 차세대 비디오압축 기술분야는 영상의 다양한 형태에 따른 화질 개선에 중점을 두고 있습니다.
2-1. 지능형비젼처리 연구
2-1-1. Video Super-Resolution (VSR)
전통적 데이터 보간법에 의한 영상확대 시 발생하는 화질의 열화와 시각적 불편함을 해결하기 위해 딥뉴럴네트워크를 이용한 새로운 영상 확대 알고리즘을 연구하고 있습니다. 특히 비디오 데이터의 해상도 확장 시 양호한 화질의 확대된 비디오 데이터로의 변환을 주로 연구하고 있으며 최근에는 아래 그림과 같은 그룹 기반의 새로운 딥뉴럴네트워크를 연구하여 그 성능을 검증하고 있으며 IEEE ICPR 등 학술대회에 발표하고 있습니다.
딥페이크는 GAN의 출현으로 자연스러운 영상생성이 가능해 짐으로써 다양한 얼굴(인물)의 합성이 가능하게 되어 가짜 뉴스의 중요한 수단이 되고 있습니다. 본 연구실에서는 이러한 영상 및 비디오 기반 딥페이크 영상을 보다 정확하게 검출하는 연구를 트랜스포머(Transformer) 기반으로 제안하였으며 이를 통해 최근 연구보다 그 성능이 우수함을 보이고 있습니다.
본 연구 분야는 사람의 감정을 검출하고 분석하는 연구 분야로 영상정보를 통하여 사람의 감정상태를 예측하고자 하는 기술분야입니다. 주로 얼굴의 표정을 사용하여 연구가 진행되고 있으며 최근에는 아래 그림과 같은 다중비디오특징 융합구조를 가지는 다중깊이네트워크(Mutli-depth Neural Network)를 제안하여 Q1급 국제전문학술지에 게재 하였습니다. 이후 실제 상황에서 얼굴표정 인식 성능을 높이기 위한 연구를 지속하고 있습니다.
깊이 추정(depth estimation)은 두 장의 중첩된 영상을 통해 사람의 눈이 거리를 측정하는 원리를 이용하여 1장의 거리정보를 추출한 영상을 생성하는 과정으로 전통적으로 특징 정합 기법에 의존해 왔으나 최근 5~6년 전부터 딥러닝 구조를 활용하고 있으며 특히 GAN 구조를 활용하여 단안카메라에서 깊이(거리) 정보를 생성하는 알고리즘을 연구하고 있습니다.
객체 검출(object detection) 분야는 실생활에서 사람이 인식 가능한 다양한 사물을 식별하여 위치 정보까지 추출을 하는 기술로 본 연구실에서 small object 검출 성능이 대부분의 딥러닝 구조에서 발생하고 있는데 이를 해결하고자 좀 더 다양한 정보를 학습하는 구조를 연구하고 있습니다. 그 결과로 올해 과학기술정보통신부/연구재단/한국전자통신연구원이 주최한 “DNA+드론 챌린지 2021-데이터 챌린지 부문” 부분에서 대상인 과학기술정보통신부 장관상을 수상하였습니다.
2-2-1. Versatile Video Coding (VVC) 표준 기술
HEVC표준기술의 다음 기술로 각광받고 있는 최신 비디오압축 표준 기술인 Versatile Video Coding (VVC) 기술의 표준화에 한국전자통신연구원(ETRI)와 참여하고 있으며, 데이터의 압축효율을 높이기 위해 화면 간 예측 기법 제안 및 개선을 위해 지속적으로 연구를 수행하고 있습니다.
1] CNN 기반 양방향 예측(Bi-prediction) 기법 : 본 연구분야는 한국전자통신연구원(ETRI)과 공동연구를 수행하는 영역으로 현재 진행 중인 Versatile Video Coding (VVC) 기술 중 DNNVC 그룹에 그 결과물을 기고하고 있습니다. 모든 비디오압축 기술에서는 복호화된 두 화면을 움직임 추정을 위한 참조프레임으로 활용하게 되는데 이 때 참조프레임 관련 정보를 개선하여 압축효율을 개선하는 알고리즘을 연구하고 있으며 본 연구의 결과는 2021년 10월 JVET 미팅에 기고가 되어 발표하였습니다. 또한 부화소 움직임 추정 모듈도 딥러닝으로 개선하여 효율을 높이고 있습니다.
2-1. 지능형비젼처리 연구
2-1-1. Video Super-Resolution (VSR)
전통적 데이터 보간법에 의한 영상확대 시 발생하는 화질의 열화와 시각적 불편함을 해결하기 위해 딥뉴럴네트워크를 이용한 새로운 영상 확대 알고리즘을 연구하고 있습니다. 특히 비디오 데이터의 해상도 확장 시 양호한 화질의 확대된 비디오 데이터로의 변환을 주로 연구하고 있으며 최근에는 아래 그림과 같은 그룹 기반의 새로운 딥뉴럴네트워크를 연구하여 그 성능을 검증하고 있으며 IEEE ICPR 등 학술대회에 발표하고 있습니다.
딥페이크는 GAN의 출현으로 자연스러운 영상생성이 가능해 짐으로써 다양한 얼굴(인물)의 합성이 가능하게 되어 가짜 뉴스의 중요한 수단이 되고 있습니다. 본 연구실에서는 이러한 영상 및 비디오 기반 딥페이크 영상을 보다 정확하게 검출하는 연구를 트랜스포머(Transformer) 기반으로 제안하였으며 이를 통해 최근 연구보다 그 성능이 우수함을 보이고 있습니다.
본 연구 분야는 사람의 감정을 검출하고 분석하는 연구 분야로 영상정보를 통하여 사람의 감정상태를 예측하고자 하는 기술분야입니다. 주로 얼굴의 표정을 사용하여 연구가 진행되고 있으며 최근에는 아래 그림과 같은 다중비디오특징 융합구조를 가지는 다중깊이네트워크(Mutli-depth Neural Network)를 제안하여 Q1급 국제전문학술지에 게재 하였습니다. 이후 실제 상황에서 얼굴표정 인식 성능을 높이기 위한 연구를 지속하고 있습니다.
깊이 추정(depth estimation)은 두 장의 중첩된 영상을 통해 사람의 눈이 거리를 측정하는 원리를 이용하여 1장의 거리정보를 추출한 영상을 생성하는 과정으로 전통적으로 특징 정합 기법에 의존해 왔으나 최근 5~6년 전부터 딥러닝 구조를 활용하고 있으며 특히 GAN 구조를 활용하여 단안카메라에서 깊이(거리) 정보를 생성하는 알고리즘을 연구하고 있습니다.
객체 검출(object detection) 분야는 실생활에서 사람이 인식 가능한 다양한 사물을 식별하여 위치 정보까지 추출을 하는 기술로 본 연구실에서 small object 검출 성능이 대부분의 딥러닝 구조에서 발생하고 있는데 이를 해결하고자 좀 더 다양한 정보를 학습하는 구조를 연구하고 있습니다. 그 결과로 올해 과학기술정보통신부/연구재단/한국전자통신연구원이 주최한 “DNA+드론 챌린지 2021-데이터 챌린지 부문” 부분에서 대상인 과학기술정보통신부 장관상을 수상하였습니다.
2-2-1. Versatile Video Coding (VVC) 표준 기술
HEVC표준기술의 다음 기술로 각광받고 있는 최신 비디오압축 표준 기술인 Versatile Video Coding (VVC) 기술의 표준화에 한국전자통신연구원(ETRI)와 참여하고 있으며, 데이터의 압축효율을 높이기 위해 화면 간 예측 기법 제안 및 개선을 위해 지속적으로 연구를 수행하고 있습니다.
2-2-2. Deep Neural Network (DNN)-based Video Coding 기술
1] CNN 기반 양방향 예측(Bi-prediction) 기법 : 본 연구분야는 한국전자통신연구원(ETRI)과 공동연구를 수행하는 영역으로 현재 진행 중인 Versatile Video Coding (VVC) 기술 중 DNNVC 그룹에 그 결과물을 기고하고 있습니다. 모든 비디오압축 기술에서는 복호화된 두 화면을 움직임 추정을 위한 참조프레임으로 활용하게 되는데 이 때 참조프레임 관련 정보를 개선하여 압축효율을 개선하는 알고리즘을 연구하고 있으며 본 연구의 결과는 2021년 10월 JVET 미팅에 기고가 되어 발표하였습니다. 또한 부화소 움직임 추정 모듈도 딥러닝으로 개선하여 효율을 높이고 있습니다.
지능형비젼처리연구실(IVPL)에서의 생활은 기본적으로 매우 자유롭고 또한 연구활동에 대한 교수님의 전폭적인 지원을 받고 있습니다. 자유로운 분위기 속에서 팀웤을 중요시 하여 연구 주제 및 기술개발 과제 등을 소규모 팀 형태로 조직화되어 수행하는 분위기입니다. 같이 토론하여 많은 것을 배울 수 있는 구조이죠! 저희 연구실 홈페이지를 보시면 아시겠지만 글로벌 연구자 양성이라는 목표에 걸맞게 국제적인 연구 결과들은 저명 국제학술대회에 발표 또는 국제전문학술지에 게재하는 과정 전주기를 경험해 볼 수 있는 것이 매우 큰 장점입니다. 또한 실력 있는 선배들을 통해 후배들은 다양한 연구의 경험과 분야에 대한 견해를 나누며 자신의 연구분야를 결정하게 됩니다.
매주 1회의 교수님과의 식사를 통해 연구와 생활 등에 대한 다양한 의견을 나눌 수 있으며 이를 통해 나온 의견은 바로 적용하여 개선하는 구조를 가지고 있습니다. 또한 연구 세미나를 통하여 전문적인 토론 및 지도를 경험할 수 있고 이를 통해 글로벌 연구자로 성장하는 자신을 경험하고 있습니다.
연구관련 인프라는 아무래도 비젼과 딥러닝을 연구하는 연구실이니만큼 GPU서버(4식) 3대를 보유하고 있으며, 학생연구원 개인 별로 GPU서버(1식)가 지급되어 기초 연구를 수행할 수 있도록 하고 있으며 나머지 개인 사무용 PC나 노트북 등은 충분히 지급이 됩니다.
연구개발 과제는 매년 약 2억원 정도의 정부 및 산업체 연구개발 과제를 수주하여 수행하고 있으며 실제 산업체에서 요구되는 딥러닝 기술의 적용과 서비스 구축 등 실무에 가까운 기술개발 과제를 수행하고 있으며 이러한 과제들을 경험함으로써 연구 이론을 산업 현장에 직접 적용할 때 고려해야 할 다양한 문제점을 경험하고 해결하는 능력을 키울 수 있습니다.
현재 석사 및 박사 졸업 선배들은 ㈜nVidia Korea, 한국전자통신연구원(ETRI), Offino(미국 실리콘밸리), 국내 삼성전자, 코스콤, 한국보험개발원 등 대기업, 정부출연연구소, 글로벌전문 기업 등에 진출하여 맹활약하고 있으며, 현직에서의 주요한 실무를 세미나 등을 통해서 지속적으로 교류를 하고 있습니다.
지능형비젼처리연구실(IVPL)은 숙명여자대학교 새힘관102호/명신관417D호에 위치하고 있으며 컴퓨터비젼과 딥러닝 구조 및 이론에 깊이를 더해 보고 싶은 분들, 이론을 통한 실제 산업 영역에 적용하는 기술을 경험하고 배우고 싶은 분들은 지금 도전하십시오. 교수님과 저희 실원들은 여러분들의 도전을 언제나 환영합니다! 저희 지능형비젼처리연구실(IVPL)에 대한 더 자세한 사항은 아래 연락처 또는 홈페이지(https://ivpl.sookmyung.ac.kr)의 문의처로 편하게 연락 주시면 감사하겠습니다.
■ 연구실 홈페이지 : https://ivpl.sookmyung.ac.kr■ 주소 : (04310) 서울시 용산구 청파로 47길 100 숙명여자대학교 명신관417D호
■ 연락처 : 최영주 박사과정 (yj.choi@ivpl.sookmyung.ac.kr)
귀 연구실 연구 결과가 국내 IT산업 전반에 밑 받침이 되고 있겠습니다! 중국 코로나에 더 조심하시고 홧팅!