KOSEN 한인과학기술자네트워크

닫기

더 많은 혜택을 위해
로그인 하세요.

동향

동향

Transformer를 활용한 인공신경망의 경량화 알고리즘 및 하드웨어 가속 기술 동향

2023-10-01 org.kosen.entty.User@1114f1f2 운영자(kosenadmin)

분야

전기/전자

발행기관

한국전자통신연구원

발행일

2023-10-01

URL

https://ettrends.etri.re.kr/ettrends/204/0905204002/

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

Ⅰ. 서론
Ⅱ. 신경망 경량화 기술의 배경
Ⅲ. Transformer 기반 모델의 경량화
Ⅳ. 경량화를 위한 AI 반도체 기술
Ⅴ. 결론 및 맺음말
약어 정리

추천 리포트

리포트 평점  
해당 콘텐츠에 대한 회원님의 소중한 평가를 부탁드립니다.
0.0 (0개의 평가)
평가하기
등록된 댓글이 없습니다.
목록
목록