KOSEN 한인과학기술자네트워크

특허데이터는 얼굴인식과 관련된 CPC(Cooperative Patent Code)를 기반으로 검색식을 작성하였고, 특허검색사이트인 위즈도메인에서 수집하였다. 우리나라에서 선진특허분류라고 불리는 CPC는 미국과 유럽 특허청이 2년여간 공동으로 개발한 특허분류체계로 62개국 회원국이 공동으로 사용하고 있던 IPC(International Patent Classification) 코드체계를 확장하여 개발되었다. IPC에 비해 4배 이상 그 수가 증가하고 최신기술을 반영할 수 있는 섹션을 추가함으로써 기술분류의 효율성 및 매칭 적합성을 향상시킨 코드이다.

총 26만여 개의 CPC 중 얼굴인식과 관련된 코드는 <표 1>과 같다. 요약설명은 CPC 정의서[16]에서 발췌하여 요약하였다. G06K는 데이터 인식 및 표현과 관련된 기술코드이고 그 하위코드인 G06K9는 인쇄 또는 필기 문자 또는 패턴을 인식하는 방법 및 장치와 관련된 기술코드이다. G06K9의 하위코드 중 얼굴인식기술 코드는 G06K9/00221와 그 하위코드이다. 상기 코드는 얼굴인식의 일반적인 과정과 대응되는 코드와 얼굴인식의 세부분야인 감정인식기술과 관련된 코드로 구성되어 있다. 얼굴인식은 얼굴영역검출에서 시작하여 눈, 코, 입, 눈썹, 턱 등 얼굴특징이 변화하는 각 부위 60여 곳을 분석하여 특징을 추출하고 얼굴 DB와 매칭하는 절차로 구성된다. G06K9/00228와 이하 하위코드는 얼굴검출(Detection), G06K9/00268와 이하 하위코드는 특징추출(Feature), G06K9/00288와 이하 하위코드는 얼굴분류(Classification)와 관련된 코드이다. 나머지 코드는 감정인식(Expression) 코드이다.

특허에는 다수의 CPC코드가 부여되어 있는데 기술을 가장 잘 설명하는 코드를 첫 코드로 부여한다. 따라서 본 고에서는 첫 코드가 <표 1>에 제시한 코드인 특허를 수집하였으며, 2018년 12월 31일까지 미국특허청(USPTO)에 등록된 특허를 수집한 결과 총 1,908건이 수집되었다.

분석목적에 따라 특허 DB에서 필요한 속성정보 수집이 필요하다. 본 고에서는 출원일, 등록번호, 명칭, 출원인, 출원인 국가, CPC, 피인용수, 피인용특허리스트, 인용특허수, 인용특허리스트, 권리 상태 속성정보를 수집하였다. 특허 속성정보는 비교적 정형화된 데이터이기 때문에 데이터정제 과정이 거의 필요 없어 손쉽게 분석에 사용되기도 한다. 그러나 출원인 분석을 위해서는 경우에 따라 노동집약적인 데이터정제 과정이 필요하다. 본 고에서는 출원인 데이터에 대하여 대소문자 통일, 기업명과 자주 등장하는 구두점 제거 등 사소한 데이터정제 작업을 실시하였고, 동일한 기업을 지칭하는 다양한 표기를 대표명칭으로 변경하는 작업을 수행하였다. 후자의 작업은 분석대상 특허 건수에 따라 복잡도가 증가하고 시간이 많이 소요되며 모회사, 자회사, 지사, 인수합병 등의 관련 정보도 함께 필요한 작업이다.

(그림 2)는 얼굴인식 특허분석 내용을 보여주고 있다. 기술동향 분석에서는 연도별 특허건수 증가 추세, 세부기술 비중 변화, 특허포기율 변화, 그리고 주요 CPC 분석에서 얼굴인식 분야와 타 기술과의 연관성을 살펴보았다. 기술동향 분석에서는 지금까지 등록된 전체 특허를 분석하여 기술의 변화를 파악하고자 하였다. 그러나 주요 출원국 및 출원인 분석, 주요 특허분석의 경우, 권리 포기된 특허보유는 의미가 없고 주요 특허일 수 없으므로 유효 특허만을 선별하여 분석하였다.

(그림 2)

얼굴인식 특허분석 절차 및 구성

주요 출원국 및 출원인 분석에서는 양적 측면에서 특허수 기준의 주요 출원국 및 출원인을 살펴보았으며, 질적 측면에서는 출원인 간 인용 네트워크 분석을 통해 영향력 있는 출원인을 분석하였다. 미국 특허청은 출원인과 심사관에게 선행기술의 출처를 명시하도록 지침서에 제시하고 있기 때문에 인용관계는 기술의 연결관계를 파악할 수 있는 중요한 정보로 활용될 수 있다. 인용관계 네트워크에서 출원인의 구조적 위치는 출원인의 영향력을 나타낸다[17]. 네트워크분석에서 노드의 파워를 측정하는 지표로는 중심성 지표가 있다. 본 연구에서는 출원인 인용관계 네트워크에서 연결중심성, 아이겐벡터중심성, 매개중심성 지표를 측정하여 주요 출원인을 분석하였다. 연결중심성은 노드에 직접 연결된 링크 수로 산출되며, 이때 링크는 인용관계를 나타내고 링크가 많다는 것은 인용을 많이 받고 있음을 의미하므로 영향력 있는 출원인으로 볼 수 있다. 아이겐벡터중심성은 연결된 링크 수뿐만 아니라 연결된 노드의 중요도도 함께 고려한다. 여기서 노드의 중요도는 인접한 노드와 연결된 링크 수로 측정되며 역시 인용 정도를 나타낸다. 즉, 인용을 많이 받는 출원인과 인용관계를 갖는 출원인은 인용을 적게 받는 출원인과 인용관계를 갖는 출원인에 비해서 더 영향력이 있다는 해석이다. 매개중심성은 네트워크 상의 임의 두 노드 간 최단 경로에 위치하는 횟수로 산출되고 정보흐름에 대한 통제력을 나타내는 지표이다. 여기서는 기술 흐름 및 연결을 통제하는 지표로 해석할 수 있으며, 제어 및 통제력이 높은 출원인은 연결중심성과 아이겐벡터중심성에서 도출된 출원인과는 다른 관점에서 영향력 있는 출원인으로 볼 수 있다. 박준형 등은 중심성 지표가 기업의 성과와 통계적으로 유의미한 상관을 가짐을 분석하기도 하였다[14].

마지막으로 주요 특허분석에서도 출원인 인용관계 네트워크 분석과 유사한 분석을 수행함으로써 주요 특허를 살펴보았다. 이때 노드가 특허라는 점이 다를 뿐이다. 특허 인용관계 네트워크는 이론상 가능한 인용관계에 비해 실제 인용관계가 매우 적은, 네트워크 분석 용어로 표현하면 밀도가 매우 낮은 네트워크이다. 이런 경우 아이겐벡터중심성을 계산하기 위해서 필요한 인접행렬의 역행렬이 존재하지 않는다. 인접행렬은 노드 간 연결유무를 표현하고 있는 행렬이다. 따라서 특허 인용관계 네트워크에서도 인접행렬의 역행렬이 존재하지 않아 주요 특허분석에서 아이겐벡터중심성 지표는 제외하였다.

(그림 3)은 출원기준 연도별 특허 건수를 보여주고 있다. 얼굴인식 분야 첫 특허는 1986년에 출원되었으며, 그 후 10년 동안 한 자리 숫자의 특허가 출원되는 기술의 태동기에 있었다. 본격적인 특허출원은 1990년대 중 후반부터 시작되어 2010년 초까지 꾸준히 증가하여 성장기에 있었다. 1996년부터 2012년까지 연평균증가율은 약 18%로 전체 특허 증가율 3.8%에 비해서 가파르게 상승하였다. 2012년 이후부터는 특허활동이 증가하지 않고 정체기에 있으며 기술의 성숙단계에 진입한 것으로 보인다.

(그림 3)은 세부기술 비중도 보여주고 있다. 얼굴분류분야 특허는 2010년 이후 증가한 반면 얼굴 검출 분야 특허는 감소하였다. 감정인식 분야 특허는 2010년 이후 시작되어 점차적으로 증가하고 있음을 볼 수 있다. 특허는 출원 후 심사를 거쳐 등록 승인되고 그 결과가 특허 DB에 반영되기까지 통상 2~3년이 소요된다고 알려져 있다. 따라서 최근 3년(2016~2018년) 기술성과 변화를 살펴보기 위해서 등록되지 않은 출원특허까지 고려하여 살펴보았다. <표 2> 역시 (그림 3)과 동일하게 최근으로 올수록 얼굴분류와 감정인식 분야 특허활동이 증가하고 있음을 보여주고 있다.

(그림 3)

연도 및 세부기술별 미국 등록특허 동향

1999년 이전 특허는 특허 존속기간 20년이 지나 권리가 만료되었다. 그 이후에도 권리를 포기한 특허를 제외하면 총 유효특허 건수는 1,631건이었다. (그림 4)는 얼굴인식 특허의 연도별 포기 비율을 보여주고 있다. 특허 포기율은 전체 특허 건수 대비 포기된 특허 건수의 비율로 계산되었다. 2003년까지 40%대 후반으로 높다가 점차 감소하여 2011년 이후에는 2% 이하로 급격하게 떨어졌다. 특허유지 비용발생에도 불구하고 포기율이 극적으로 낮아진 것은 얼굴인식기술의 중요성이 증가하고 있음을 간접적으로 시사한다.

(그림 4)

특허포기 비율

특허는 검색 및 관리 편리를 위하여 CPC와 같은 분류체계를 사용하는데, 하나의 특허에는 다수의 CPC 코드가 부여되어 있다. 얼굴인식 분야 특허에도 1,219개의 코드가 평균 4.5개씩 할당되어 있었다. 얼굴인식 기술 CPC로 분류된 <표 1>에 제시한 코드들을 제외하고 상위 빈도의 CPC를 분석하였다[(그림 5) 참조]. 최빈도에 해당되는 195개의 특허에 부여된 ‘G06G2207/30210’은 영상분석 및 영상향상 기술 코드의 하위 코드로 영상 품질조사 기술에 해당되는 코드이다. 50개 이상의 특허에서 포함된 다른 코드 역시 대부분 영상분석, 영상인식, 영상전처리, 영상생성 등과 관련된 기술코드로 얼굴인식 과정에서 필요한 영상처리기술들이다. 이외에 얼굴인식 활용분야로 해석되는 컴퓨터보안, 진단영상 및 방송카메라 기술과 관련된 코드들이 있었다.

(그림 5)

부 CPC 빈도

전체 특허 기준 상위 5개 출원국은 미국, 일본, 한국, 대만, 중국 순이었다[<표 3> 참조]. 2010년까지 누적특허로는 일본이 1위였지만 2011년 이후 기준 미국이 1위로 변경되었으며, 중국과 대만의 순위도 뒤바뀌었다. 최근 3년 출원특허를 살펴보면 중국이 3위까지 올라와 이 분야에서 중국의 기술력이 커가고 있음을 알 수 있었다.

(그림 6)은 전체 누적특허에서 상위 5개 출원국의 연도별 특허 건수를 보여주고 있다. 미국은 연도별 특허활동이 지속적으로 상승 추세에 있으며, 일본은 2010년대에 들어와서 정체기에 머무는 것으로 보인다. 한국은 2013년에 전년대비 특허활동이 2배 증가한 후 그 상태를 유지하고 있다. 중국의 경우 2014년과 2016년 갑작스런 특허활동 증가가 있었다. 세부기술로 살펴보면 얼굴검출과 특징추출 분야에서는 일본이 1위이지만 2위인 미국과 큰 차이가 없다. 얼굴분류와 감정인식 분야에서는 미국이 2위와 2배 이상의 차이로 압도적 1위를 차지하고 있으며 얼굴분류 분야에서 2위는 일본이고, 감정인식 분야에서 2위는 한국이다.

(그림 6)

특허 건수 기준 Top 5 출원국 특허 동향

<표 4>와 (그림 7)은 양적 측면에서 주요 출원인 동향을 보여준다. 전체 특허 수 기준 5위 이내에 일본기업 3개가 포함되어 있다. 카메라 등 광학기기 제품을 출시했던 캐논, 후지, 삼성이 1위부터 3위를 차지하고 있으며, 이들 기업들은 영상검출 및 특징추출과 같은 영상처리기술 특허를 비교적 많이 보유하고 있었다. 최근에는 삼성과 IBM의 순위가 상승한 것을 볼 수 있으며, 최근 3년 출원특허 기준 중국기업인 텐센트가 처음으로 5위 이내에 포함되었다.

(그림 7)

특허 건수 기준 Top 10 출원인 특허 동향

세부기술별 상위 출원인은 <표 5>와 같다. 얼굴검출 분야에서는 후지에서 캐논으로 1위가 변경되었으며, 특징추출 분야에서는 최근 삼성의 약진이 눈에 띈다. 상기 두 분야에서 최근 3년 출원특허에서 2위가 텐센트였으며, 이외에 구글, 아마존, 페이스북 등 글로벌 IT 기업들도 활발하게 특허를 출원하고 있었다. 얼굴분류 분야에서는 1위가 캐논이며, 최근 3년 출원특허에서 1위는 삼성이다. 감정인식분야는 특허수가 작아서 경쟁우위를 판단하기 어렵고 현재 글로벌 기업과 전문기업들이 경쟁하면서 입지를 다지고 있는 분야로 보인다.

(그림 8)은 출원인 인용관계 네트워크를 일부 시각화 결과이다. 전체 네트워크에서 연결 가중치가 높은 링크만을 유지하였다. 여기서 노드는 출원인이고 링크는 출원인 간 인용관계이다. 노드 크기는 전체 네트워크에서 직접 연결된 링크 수와 비례하며 링크 굵기로 표현된 가중치는 인용하는 횟수이다. 화살표 방향은 인용방향이다. 인용관계 네트워크에서 영향력 있는 출원인을 도출하면 <표 6>과 같다. 직접적 인용관계만 고려하는 연결중심성 관점과 인용을 많이 받는 출원인이 인용하는 경우 더 영향력 있다고 판단하는 아이겐벡터중심성 관점으로 보든 영향력 있는 출원인의 상위 순위는 큰 변화 없이 1위는 마이크로소프트였으며, 그 다음 삼성, 캐논 순이었다. 마이크로소프트는 전체 특허수 기준 4위였지만 영향력은 1위로 상승하였다. 삼성과 캐논은 양적 및 질적 측면 모두에서 상위에 위치하고 있었다. 매개중심성 지표로 측정된 영향력에서는 구글이 3위로 단순 인용이 많이 되는 특허보다는 상대적으로 중재 기술을 많이 보유하고 있음을 알 수 있었다.

(그림 8)

출원인 인용관계 네트워크

<표 7>은 연결중심성 관점에서 영향력 있는 특허 상위 10개를 보여주고 있다. 1위는 IBM이 출원한 특허로 디지털 이미지에서 중립 감정을 갖는 얼굴을 자동 검출하는 방법에 관한 특허이다. (그림 9)는 1위 특허를 직접적으로 인용한 특허와의 관계를 시각화한 결과이다. 주로 얼굴분류와 감정인식 분야 특허에서 많이 인용하고 있었다. 상위 10개의 영향력 있는 특허 중 얼굴분류 분야 특허가 가장 많이 포함되어 있었다.

(그림 9)

특허 인용관계 네트워크(연결중심성 Top 1)

<표 8>은 매개중심성 관점에서 영향력 있는 특허 상위 10개를 보여주고 있다. 1위는 허니웰 특허로 3D 모델링 기반 얼굴신원 확인에 관한 특허이다. (그림 10)은 1위 특허가 다른 특허 사이를 중재하는 모습을 보여주고 있다. 얼굴분류 분야에 속한 특허를 중간에 두고 특징추출 및 감정인식 분야 특허가 서로 연결되어 있으며, 얼굴검출 분야 특허는 특징추출 분야의 특허를 거쳐 얼굴분류 분야 특허와 이어지고 있다. 이는 얼굴인식의 일반적 과정과 크게 다르지 않다. 매개중심성 관점에서의 영향력 있는 특허도 얼굴분류 분야의 특허가 다수 포함되어 있어 얼굴인식 분야의 중심 기술이 얼굴분류 기술임을 알 수 있었다.

(그림 10)

특허 인용관계 네트워크(매개중심성 Top 1)

마지막으로 연결중심성과 매개중심성 모두에서 영향력 있는 10위 이내 특허로 선정된 특허를 조사해 보니 총 4개 특허가 존재하였다. 허니웰과 Fotonation의 얼굴분류 분야 특허와 디지털옵틱스의 얼굴분류와 감정인식 분야 특허였다.