동향

인공지능 프로세서 컴파일러 개발 동향

분야

전기/전자,정보/통신

발행기관

한국전자통신연구원

발행일

2021.04.

URL


본 고에서는 전 세계적으로 널리 개발되고 있는 인공지능 프로세서와 그의 컴파일러 동향에 관해 살펴보았으며, 컴파일러의 내부를 구성하는 명령어 기반 IR 및 DNN/BLAS 기반 방법 등에 관해 기술하였다.
마지막으로는 ETRI에서 수행하고 있는 AB9 전용 연산자를 활용한 ONNX 처리 과정 및 검증 환경을 제시하였다

KEYWORDS AI Processor, AI Compiler, Deep Learning Framework

ABSTRACT
The rapid growth of deep-learning applications has invoked the R&D of artificial intelligence (AI) processors. A dedicated software framework such as a compiler and runtime APIs is required to achieve maximum processor performance.
There are various compilers and frameworks for AI training and inference.

In this study, we present the features and characteristics of AI compilers, training frameworks, and inference engines. In addition, we focus on the internals of compiler frameworks, which are based on either basic linear algebra subprograms or intermediate representation.

For an in-depth insight, we present the compiler infrastructure, internal components, and operation flow of ETRI’s “AI-Ware.” The software framework’s significant role is evidenced from the optimized neural processing unit code produced by the compiler after various optimization passes, such as scheduling, architecture-considering optimization, schedule selection, and power optimization. 

We conclude the study with thoughts about the future of state-of-the-art AI compilers. 

<목차>

Ⅰ. 서론

Ⅱ. 컴파일러 개발 동향
1. Arm NN/ArmCL
2. Intel OpenVINO/nGraph
3. Android Neural Networks
4. AMD ROCm
5. NVIDIA TensorRT
6. Xilinx Vitis AI

Ⅲ. DNN/BLAS 기반
1. CPU 기반
2. GPU 기반
3. BLAS 성능

Ⅳ. 중간표현(IR) 기반
1. TensorFlow XLA
2. ONNX-MLIR

Ⅴ. ETRI NPU 컴파일러 환경
1. AI-Opt
2. AI-Ware
3. AB9 Operator
4. 동작 및 검증

Ⅵ. 결론

* 출처 : ETRI 전자통신동향분석 제36권 제2호 통권 189호 2021년 4월호
          인공지능 프로세서 컴파일러 개발 동향
          김진규, 김혜지, 조용철, 김현미, 여준기, 한진호, 권영수┃인공지능프로세서연구실

* 자세한 내용은 첨부된 파일을 참고하여 주시기 바랍니다.

 

리포트 평점  
해당 콘텐츠에 대한 회원님의 소중한 평가를 부탁드립니다.
0.0 (0개의 평가)
평가하기
등록된 댓글이 없습니다.