KOSEN 한인과학기술자네트워크

설명 가능한 인공지능 (eXplainable AI, XAI) 동향

 

이동진, voinaimir82@gmail.com

인하대학교, 전기공학과

 

Key words

Explainable artificial intelligence, Deep learning, EXplainable model, Explanation interface, Explanation effectiveness, 설명 가능한 인공지능, 딥러닝, 설명가능 모델, 설명 인터페이스, 설명 효율성

 

1. 개요

최근 인공지능 분야는 학술적 연구단계를 넘어 비즈니스에 적용 가능한 수준으로 빠르게 발전하면서 산업계에서의 활용도가 높아지고 있다. 인공지능 기술은 앞으로 2-3년에 걸쳐 상용화가 진전되어 2020년경에는 자율주행차, 의료, 로봇, 금융, 보험, 군사정보 등 다양한 플랫폼에서 활용될 것으로 기대된다[1]. 지금까지 인공지능은 인지, 의사결정, 예측등의 정보를 제공할 때 결과만 알려주고 도출한 최종 결과의 근거, 도출과정의 타당성 등을 논리적으로 설명할 수 없는 점이 한계로 지적됐다. 이런 방식을 범죄 위험성 판단이나 인사 평가, 군사작전, 의료, 보험, 금융 등 신뢰를 기반으로 하는 시스템에 적용할 경우 효율성은 높일 수 있겠지만 공정성, 신뢰성, 정확성을 확보했다고 하긴 어렵다. 유럽연합은 2018년부터 General Data Protection Regulation에 의거하여 알고리듬에 의해 자동으로 결정된 사안에 대해서는 회사에서 설명을 제공하도록 강제하고 있고, 미국에서는 회사가 내린 신용카드 발급, 주택 담보 대출 등의 주요 금융결정에 대해서 이유를 제시하도록 법적으로 강제하고 있다[2]. 이러한 필요성에 따라 사용자에게 시스템의 개별 의사결정에 대한 설명을 제공하고, 사용자가 인공지능 시스템의 전반적인 강점 및 약점을 이해하도록 도와주는 설명 가능한 인공지능(eXplainable AI, XAI) 기술이 주요 연구분야로 주목받고 있고, 미국에서는 방위고등연구계획국(DARPA: Defense Advanced Research Projects Agency)의 주도하에 활발한 연구가 진행되고 있다.

그림 1은 XAI의 개념도를 나타낸다. XAI는 기존의 빅데이터 분석 알고리듬을 통한 분류？예측 뿐 아니라 의사결정에 대한 인과관계를 분석하여 적절한 근거를 찾고 ICT, 심리, 언어 분야 등의 학제 간 융？복합적 기술개발을 통해 인공지능 모델의 의사결정 결과를 사용자 레벨에서 설명하는 인공지능 기술이다. XAI 개발을 통해 사용자가 AI 시스템의 의사결정을 이해하고, 결과를 신뢰하여 효과적으로 업무를 수행할 수 있도록 도와줌으로써 의료, 법률, 금융 등 다양한 분야에 인공지능이 도움이 되고 사람들의 인공지능에 대한 불안감을 해소할 수 있는 계기가 될 것으로 기대된다.



그림 1. XAI 개념도 (출처: DAPRA presentation)

2. DAPRA XAI 개발 전략

DAPRA의 XAI 연구는 ‘설명가능 모델’과 사용자를 위한 ‘설명 인터페이스’로 이루어진다 (그림 1). ‘설명가능 모델’ 개발은 기존의 머신러닝 기술을 변형하거나 새로운 머신러닝 기술개발을 통해 고차원의 학습능력을 유지하면서 설명가능성을 향상시키는 연구를 수행하며, 심층 설명 학습(deep explanation), 해석 가능한 모델(interpretable models), 모델 귀납(model induction) 등의 가능한 전략을 통해 개발된다[2,3]. ‘설명 인터페이스’ 개발은 HCI (human-computer interaction) 기술을 이용하여 모델의 의사결정에 대한 설명을 사용자가 이해할 수 있는 방식으로 표현하는 연구이다. ‘설명 인터페이스’는 설명가능성과 정정가능성의 2가지 원칙이 충족되어야 한다[2,3].

표 1. 설명가능 모델개발 전략

심층설명학습	변형된 혹은 하이브리드 형태의 딥러닝 기술개발 은닉계층의 노드가 의미 있는 속성을 나타내도록 심층 신경망이 설명 가능한 특징들을 학습하도록 하는 기술. 예) 개와 고양이의 이미지에서각 은닉 노드가 귀 모양, 꼬리 모양, 입의 위치 등을 나타내도록 학습해 서 모델이 어떤 이미지를 개라고 판단했을 때 활성화 된 은닉 노드를 통해 판단의 근거를 알 수 있음[2].
해석 가능한 모델	구조화된, 해석 가능한 인과관계 모델을 구축하는 연구 BPL(bayesian program learning) 모델: 작은 조각들의 조합으로 표현하도록 학습하는 방법. 예) 글자를 생성하는 모델을 학습할 때 글자를 획으로 나누어서 가장 그럴 듯한 획의 조합으로 생성하도록 함[2]. 확률적 And-OR 그래프 기반 모델: 입력 데이터의 특징을 관계 그래프로 생성하여 분류 결과에 연결된 노드로부터 분류근거 확인. AND-OR 그래프를 통해 터미널 노드에 도달하기까지 거친 노드들을 분석할 수 있으며, 분류된 이미지와 매핑되는 특징(스케치, 색, 텍스쳐, 주요 객체 위치 등)을 식별하여 설명 가능[4].
모델 귀납	임의의 블랙박스 모델을 설명 가능한 모델로 추론하는 기술 LIME (local interpretable model-agnostic explanations): 임의의 블랙박스 모델을 이미 설명이 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명 가능 하게 만드는 방법. 예) 이미지를 분류하는 블랙박스 모델이 어떤 이미지를 개라고 판단했다면 이미 설명 가능한 다른 모델의 개에 대한 설명 즉, 개를 표현하는 픽셀들을 주어진 이미지와 대조하여 어느 부분이 개라고 판단한 근거인지 제시할 수 있음[2].

 

3. XAI를 위한 딥러닝 기술

딥러닝 모델의 설명 및 예측을 위한 대표적인 2가지 해석기법은 1) sensitivity analysis (SA)와 2) Layer-wise relevance propagation (LRP) 이다[5]. SA는 딥러닝 모델에서 국소적인 입력 변화에 대한 예측결과의 변화량을 정량화하여 입력이미지의 어떤 부분이 딥러닝 모델의 결과 도출에 큰 영향을 비쳤는지 설명하는 방법이다[5]. LRP는 딥러닝 모델에서 예측 결과로부터 역전파 형태로 신경망의 각 계층 별 기여도를 측정할 수 있는 방법으로, 각 계층의 기여도를 히트맵 형태로 시각화하여 직관적으로 이해할 수 있다[2]. LRP 기술은 특히 질병진단 등에 유용하게 쓰일 수 있는데 MR과 같은 의료 영상을 보고 질병을 진단할 때, 어떤 부분이 그 질병으로 진단하는 데에 근거가 되었는지 의료 영상에 표시해 진단의사가 참고할 수 있도록 하여 진단의 효율을 높일 수 있다.



그림 2. 설명 및 예측을 위한 해석 기법 [5]

4. XAI의 설명 효율성 평가

 

개발된 XAI에 대한 테스트와 평가를 수행하기 위해 1) XAI 개발자에게 풀어야 할 관련 분야 문제를 제시하고, 2) XAI 개발자는 설명가능 모델을 활용하여 사용자에게 의사결정 과정과 최종결론 이유에 대해 설명을 제시하며, 3) 평가자는 XAI의 임무수행 역량과 설명의 효과성을 평가해야 한다[3,6].

표 2. XAI의 설명 효율성 평가[3]

항목	XAI 평가지표
User Satisfaction	Clarity of the explanation (user rating) Utility of the explanation (user rating)
Mental Model	Understanding individual decisions Understanding the overall model Strength/weakness assessment ‘What will it do’ prediction ‘How do I intervene’ prediction
Task Performance	Does the explanation improve the user’s decision, task performance? Artificial decision tasks introduced to diagnose the user’s understanding
Trust Assessment	Appropriate future use and trust
Correctability (Extra Credit)	Identifying errors Correcting errors Continuous training

 

5. 결론

인공지능 기술은 소비자 관점에서 스마트폰에서 벗어나 스피커, 스마트 TV, 스마트냉장고 등 다양한 기기에 폭 넓게 보급될 것으로 전망된다. 또한, 세계 인공지능 시장에서 기업용 시장의 비중은 2016년 71%에서 2025년 91%까지 높아질 것으로 전망되며(출처: Tractica), 의료, 금융, 자동차 분야의 시장이 크게 확대될 것으로 예상된다. 이 외에도 시각디자인용 인공지능(MS, Seeing AI), 패션 코디네이터 인공지능(아마존, 에코 룩)등 특정 분야에 특화된 인공지능 확대도 예상된다.

광범위한 분야에서 인공지능이 활용됨에 따라, 인간과 인공지능 간의 상호작용을 보다 효율적이고 편리하게 하는 기법에 대한 관심이 증가하고 있고, 그 일환으로 XAI 기술에 대한 연구가 더욱 활성화 되고 있다. XAI는 금융, 보험, 군사 등 다양한 분야에서 사용자로부터 신뢰를 얻고 사회적 수용을 위한 공감대 형성 방안이 될 것으로 예상한다. 또한, XAI를 활용함으로써 1) 시스템의 성능저하 요인 파악 및 학습 모델 간 정량화된 비교를 통해 최적의 학습 모델을 도출함으로써 AI 시스템의 성능향상을 도모할 수 있고, 2) 빅데이터로부터 기존에 알 수 없었던 법칙, 전략 등을 도출하여 사용자가 통찰력을 습득할 수 있으며, 3) AI 시스템의 잘못된 결과로 인한 분쟁 발생 시 원인파악이 가능하여 법적 책임 판단근거로서의 효과가 기대된다[4].

References

 

1. 조성선, 김용균, “AI First, AI Everywhere로 전개되는 인공지능”, 정보통신기술진흥센터, 2018.05.09.

2. 한지연, 최재식, “설명가능 인공지능”, 한국소음진동공학회, 27(6), 8-13, 2017. 11

3. Defense Advanced Research Projects Agency, DARPA "Explainable Artificial Intelligence (XAI)". DARPA presentation. DARPA. Retrieved 17 July 2017

4. 금융보안원, “설명 가능한 인공지능 [eXplainable AI, XAI] 소개, 2018.03.23

5. W Samek, T Wiegand, KR Müller - arXiv preprint arXiv:1708.08296, 2017 - arxiv.org

6. 한국정보화진흥원, “미 국방연구원 ‘설명가능 인공지능(XAI)’, 2018.02