KOSEN 한인과학기술자네트워크

안녕하세요. MPEG 2 이상은 제대로 공부하지 않아 자세히는 모르지만, JPEG2000 가 Wavelet 을 기초로하고 MPEG4 역시 마찬가지인걸로 봐서 말씀드립니다. JPEG 2000 의 경우 이제 표준화가 끝났는데, 압축을 하기 전에 유저가 특정부분의 선명도를 높이기 위해 그 부분을 선택할 수 있는 기능이 있는데, 이 부분이 ROI 입니다. 그리고 압축과정에서 ROI 부분은 원 이미지의 bit 를 그대로 쓸수도 있지요 (8 bit in the case of image). 이처럼, MPEG4 의 경우도 object 들을 분리할수 있는 정보가 인코딩에 포함되어 있을 거라 생각합니다. 문제는 segmentation 이 얼마나 정확한가이겠지요. 더 자세히 알게되면, 다시 올리겠습니다. 그럼, >MPEG의 전문가님들께 여쭙고 싶습니다. > >현재 제가 하는 일은 압축된 동영상에서 움직이는 객체(주로 사람)를 추출(segment)하는 일입니다. 거꾸고 말하면 배경을 분리(subtraction)해 내는 일이지요. 소위 'Background Subtraction'이라 불리웁니다. > >목표는 압축 scheme(MPEG, H261, etc)에 관계없이 robust한 객체추출이 가능케하는 것입니다. 압축된 영상은 그 압축정도에 따라 상당히 이미지의 질이 떨어져서 보통의 영상알고리즘을 적용하기가 힘이 듭니다. MPEG의 경우는 blocking effect가 심하지요. > >원래의 raw video를 압축옵션을 달리하여, 압축정도가 다른 여러개의 MPEG(MPEG-1)화일을 생성시킵니다. 그 MPEG영상을 다시 image sequence로 decode(split)해서 한장 한장의 image를 차례대로 분석을 하지요. > >제가 가진 의문점은 상위버전의 MPEG(MPEG-4, MPEG-7)들은 이미 객체에 관련된 정보가 미리 encode가 되어 있는데(맞습니까?) 이러한 정보를 객체추출(segment)에 이용할 수 있는가 하는 것입니다. > >압축 scheme에 관계없이 적용하는 것이 목표이지만, 위의 사실을 꼭 알고싶어서 이렇게 장문의 request를 올립니다. 관련 논문이나 웹페이지를 알려주셔도 고맙겠습니다.

다음글은 제가 MPEG 관련전문가에게 받은 답장입니다. ------------------------------------------------------- 음... 결론적으로 MPEG-4에서 Object들을 Segment하는 작업은 아주 어렵습니다. 현재 USC의 한 교수님께서 아키요의 영상으로 이를 수행하시는 예를 보실 수 있는데 대부분의 객체 영상은 아직 블루스크린 혹은 수동 초기화 방식을 통해 얻어지고 있습니다. 그리고 이러한 객체 추출은 MPEG-4 코어가 아닌 전처리 과정에 속합니다. ------------------------------------------------------- >안녕하세요. > >MPEG 2 이상은 제대로 공부하지 않아 자세히는 모르지만, JPEG2000 가 Wavelet 을 기초로하고 MPEG4 역시 마찬가지인걸로 봐서 말씀드립니다. > >JPEG 2000 의 경우 이제 표준화가 끝났는데, 압축을 하기 전에 유저가 특정부분의 선명도를 높이기 위해 그 부분을 선택할 수 있는 기능이 있는데, 이 부분이 ROI 입니다. 그리고 압축과정에서 ROI 부분은 원 이미지의 bit 를 그대로 쓸수도 있지요 (8 bit in the case of image). 이처럼, MPEG4 의 경우도 object 들을 분리할수 있는 정보가 인코딩에 포함되어 있을 거라 생각합니다. 문제는 segmentation 이 얼마나 정확한가이겠지요. > >더 자세히 알게되면, 다시 올리겠습니다. >그럼, > > >>MPEG의 전문가님들께 여쭙고 싶습니다. >> >>현재 제가 하는 일은 압축된 동영상에서 움직이는 객체(주로 사람)를 추출(segment)하는 일입니다. 거꾸고 말하면 배경을 분리(subtraction)해 내는 일이지요. 소위 'Background Subtraction'이라 불리웁니다. >> >>목표는 압축 scheme(MPEG, H261, etc)에 관계없이 robust한 객체추출이 가능케하는 것입니다. 압축된 영상은 그 압축정도에 따라 상당히 이미지 질이 떨어져서 보통의 영상알고리즘을 적용하기가 힘이 듭니다. MPEG의 경우는 blocking effect가 심하지요. >> >>원래의 raw video를 압축옵션을 달리하여, 압축정도가 다른 여러개의 MPEG(MPEG-1)화일을 생성시킵니다. 그 MPEG영상을 다시 image sequence로 decode(split)해서 한장 한장의 image를 차례대로 분석을 하지요. >> >>제가 가진 의문점은 상위버전의 MPEG(MPEG-4, MPEG-7)들은 이미 객체에 관련된 정보가 미리 encode가 되어 있는데(맞습니까?) 이러한 정보를 객체추출(segment)에 이용할 수 있는가 하는 것입니다. >> >>압축 scheme에 관계없이 적용하는 것이 목표이지만, 위의 사실을 꼭 알고싶어서 이렇게 장문의 request를 올립니다. 관련 논문이나 웹페이지를 알려주셔도 고맙겠습니다.

제가 알기에 MPEG4에서는 배경과 foreground가 분리가 인코딩단계에서 될 수 있도록 되어 있지만, 현실적으로 분리해서 인코딩하는 예는 거의 없는 것으로 알고 있습니다. MPEG4를 사용할때 여러 level에서 encoding을 할 수 있는데, 대개는 낮은 level (MPEG2와 다르지 않은)에서의 인코딩만을 주로 하는 것으로 압니다. 따라서, 이론적으로는 background와 foreground가 분리되고, segment분리가 지원되지만 현실적으로 얻을수 있는 동영상 화일들 중에 이런 분리가 제대로 되어 있는 예는 구하기 어려울 것입니다. >MPEG의 전문가님들께 여쭙고 싶습니다. > >현재 제가 하는 일은 압축된 동영상에서 움직이는 객체(주로 사람)를 추출(segment)하는 일입니다. 거꾸고 말하면 배경을 분리(subtraction)해 내는 일이지요. 소위 'Background Subtraction'이라 불리웁니다. > >목표는 압축 scheme(MPEG, H261, etc)에 관계없이 robust한 객체추출이 가능케하는 것입니다. 압축된 영상은 그 압축정도에 따라 상당히 이미지의 질이 떨어져서 보통의 영상알고리즘을 적용하기가 힘이 듭니다. MPEG의 경우는 blocking effect가 심하지요. > >원래의 raw video를 압축옵션을 달리하여, 압축정도가 다른 여러개의 MPEG(MPEG-1)화일을 생성시킵니다. 그 MPEG영상을 다시 image sequence로 decode(split)해서 한장 한장의 image를 차례대로 분석을 하지요. > >제가 가진 의문점은 상위버전의 MPEG(MPEG-4, MPEG-7)들은 이미 객체에 관련된 정보가 미리 encode가 되어 있는데(맞습니까?) 이러한 정보를 객체추출(segment)에 이용할 수 있는가 하는 것입니다. > >압축 scheme에 관계없이 적용하는 것이 목표이지만, 위의 사실을 꼭 알고싶어서 이렇게 장문의 request를 올립니다. 관련 논문이나 웹페이지를 알려주셔도 고맙겠습니다.