마지막으로는 ETRI에서 수행하고 있는 AB9 전용 연산자를 활용한 ONNX 처리 과정 및 검증 환경을 제시하였다
KEYWORDS AI Processor, AI Compiler, Deep Learning Framework
ABSTRACT
The rapid growth of deep-learning applications has invoked the R&D of artificial intelligence (AI) processors. A dedicated software framework such as a compiler and runtime APIs is required to achieve maximum processor performance.
There are various compilers and frameworks for AI training and inference.
In this study, we present the features and characteristics of AI compilers, training frameworks, and inference engines. In addition, we focus on the internals of compiler frameworks, which are based on either basic linear algebra subprograms or intermediate representation.
For an in-depth insight, we present the compiler infrastructure, internal components, and operation flow of ETRI’s “AI-Ware.” The software framework’s significant role is evidenced from the optimized neural processing unit code produced by the compiler after various optimization passes, such as scheduling, architecture-considering optimization, schedule selection, and power optimization.
We conclude the study with thoughts about the future of state-of-the-art AI compilers.
<목차>
Ⅰ. 서론
Ⅱ. 컴파일러 개발 동향
1. Arm NN/ArmCL
2. Intel OpenVINO/nGraph
3. Android Neural Networks
4. AMD ROCm
5. NVIDIA TensorRT
6. Xilinx Vitis AI
Ⅲ. DNN/BLAS 기반
1. CPU 기반
2. GPU 기반
3. BLAS 성능
Ⅳ. 중간표현(IR) 기반
1. TensorFlow XLA
2. ONNX-MLIR
Ⅴ. ETRI NPU 컴파일러 환경
1. AI-Opt
2. AI-Ware
3. AB9 Operator
4. 동작 및 검증
Ⅵ. 결론
* 출처 : ETRI 전자통신동향분석 제36권 제2호 통권 189호 2021년 4월호
인공지능 프로세서 컴파일러 개발 동향
김진규, 김혜지, 조용철, 김현미, 여준기, 한진호, 권영수┃인공지능프로세서연구실
* 자세한 내용은 첨부된 파일을 참고하여 주시기 바랍니다.
추천 리포트
-
[동향보고서] 임베디드 인공지능 SW 기술맵 동향
-
[동향보고서] 인공지능 학습용 영상 데이터 기술 동향
-
[동향보고서] 미국 CSET, 인공지능 인력 보고서 발표
-
[동향보고서] 국가 인공지능 연구지수 : 혁신을 향한 경쟁
-
[동향보고서] 병렬 컴퓨팅 기반 인공지능 프로세서 기술 동향
-
[동향보고서] 미국, 인공지능 시스템의 사이버 보안 강화 방안 발표
-
리포트 평점
해당 콘텐츠에 대한 회원님의 소중한 평가를 부탁드립니다. -
0.0 (0개의 평가)