10-6. EfficientNet

 Compound Scaling

- 네트웍의 깊이(Depth), 필터 수(width), 이미지 Resolution크기를 함께 최적으로 조합하여 모델 성능 극대화

   => 깊이로 resNet이 이득을 봄

- 그러나 단순한 depth의 양으로는 한계가 있어 엔지니어링 테크닉으로 한계 극복 노력

 

EfficientNet architect

- 필터 수 변경 : channels를 wider

- 네트웍 깊이 변경 : deepper

- 이미지 resolution : 224x224 => 512x512가 더 성능이 좋음

=> compound scaling은 이 3요소를 조합하여 모델 개선

 

개별 scaling 요소에 따른 성능 향상 테스트

                        필터수 변경                                깊이 변경                                이미지 resolution 변경

- 필터수, 네트웍 깊이를 일정 수준 이상 늘려도 성능향상 미비, resource는 더욱 많이 듬

- 단, Resolution이 경우 어느정도 약간씩 성능 향상이 지속.

- ImageNet 데이터 세트 기준 80% 정확도에서 개별 scaling 요소를 증가시키더라도 성능향상이 어려움

=> 체감 한계가 있어서 최적화로 성능향상 필요

 

최적 scaling 도출 기반 식

- depth, width, resolution에 따른 FLOPS 변화를 기반으로 최적 시 도출

- width, resolution은 2배가 되면 flops는 4배가 됨(그래서 제곱을 곱함)

 

- 3가지 scaling Factor를 동시 고려하는 compound scaling 적용

- 최초에는 승수를 1로 고정하고 grid search기반으로 a, b, r의 최적 값을 찾아냄.

   EfficientNetB0의 경우 a = 1.2, b = 1.1, r = 1.15

- 다음으로 a, b, r을 고정하고 승수를 증가시켜가면서 efficient B1 ~ B7까지 Scale up 구성

최적화된 architect로 최적화된 resource로 최적화된 속도, 성능을 냄