서비스형 엣지 머신러닝 기술 동향
Trend of Edge Machine Learning as-a-Service
서울SW-SoC융합R&BD센터 책임연구원/센터장
나중찬 (J.C. Na, njc@etri.re.kr)
전승협 (S.H. Jeon, shjeon00@etri.re.kr) 지역ICT융합연구실 책임연구원
ABSTRACT
The Internet of Things (IoT) is growing exponentially, with the number of IoT devices multiplying annually. Accordingly, the paradigm is changing from cloud computing to edge computing and even tiny edge computing because of the low latency and cost reduction. Machine learning is also shifting its role from the cloud to edge or tiny edge according to the paradigm shift. However, the fragmented and resource-constrained features of IoT devices have limited the development of artificial intelligence applications. Edge MLaaS (Machine Learning as- a-Service) has been studied to easily and quickly adopt machine learning to products and overcome the device limitations. This paper briefly summarizes what Edge MLaaS is and what element of research it requires.
KEYWORDS
AutoML, Edge ML as-a-Service, Edge ML model compilation, MLOps, hardware-aware NAS, hardware-aware pruning, hardware-aware quantization
Ⅰ. 서론
머신러닝(ML: Machine Learning) 모델의 학습 및 추 론 개발 프로세스는 대규모의 컴퓨팅 자원과 편리 한 개발환경을 제공하는 클라우드 컴퓨팅 아키텍처 의 도움으로 더욱 대중화되어 왔다. 하지만 클라우 드 서비스의 지리적 요인으로 인한 지연, 개인정보 보호 또는 최종 노드의 처리 기능 제한으로 머신러 닝 업무는 천천히 엣지로 이동하는 패러다임의 변 화를 가져오고 있다. 사물 인터넷 영역이 계속 확장 됨에 따라 엣지 컴퓨팅 또한 중요성이 커지고 있다. 이러한 패러다임 변화에 맞춰서 클라우드에서 머 신러닝 개발을 효율화하는 도구를 서비스로 제공했 던 서비스형 머신러닝은 엣지 디바이스 또는 초소 형 엣지 디바이스의 잠재력을 극대화하기 위한 새 로운 기술과 도구들을 반영함으로써 서비스형 엣지 머신러닝으로의 확장이 진행 중이다[1].
본고에서는 먼저 Ⅱ장에서 서비스형 엣지 머신러 닝 개요를 살펴보고, Ⅲ과 Ⅳ장에서는 서비스형 엣 지 머신러닝 플랫폼과 이를 구성하는 주요 기술 동 향에 관해 살펴보며, 마지막으로 Ⅴ장에서 결론을 맺도록 한다.