13-2. Semantic Segmentation FCN

FCN (Fully Convolutional Network for Semantic Segmentation)

평이한 느낌이지만 당시, classification에 flatten한 fully connected가 필수였지만 이 모델은 convolution만으로 이루어진 모델임.

 

Semantic Segmentation Encoder-Decoder Model

- 원본 이미지를 convolution으로 차원 축소하여 응축된 정보를 가지고, 이를 다시 복원하면서 필요한 정보를 학습

- 이렇게 학습된 정보를 기반으로 segmentation 수행

축소하면서 사이즈는 줄어들지만 채널 깊이는 깊어짐

응축된 상태에서 재창조, 재해석 추구

feature map 정보를 upsampling하면서 masking 정보를 하면서 prediction 모델의 weight를 채움

 

Fully connected layer vs Fully convolutional layer

imageNet은 classification할 object가 1000개 생김

그런데 가변적인 image size가 들어오기 때문에 좀더 융통성있는 convolution으로 하면 좋다.

grid by grid별로 cat의 정보가 있는 것

각 pixel에 확률값이 있고, 확률값이 우세하면 cat으로 classification

 

 

FCN (Fully Convolutional Network for Semantic Segmentation)

 

마지막의 fully connected를 fully convolution으로 설정

3번째로 32x32로 쭉 늘리면서 복원을 함

masking 정보와 gtbox 정보를 매칭하면서 학습시킴

 

개별 pixel을 학습 시키면서 weight도 적용, upsampling도 weight 적용

 

32x upsampling을 통한 pixel wise prediction

32배 upsampling하면서 뭉개진 형태가 됨

그래서 de-convolution을 통해서 최대한 비슷하게 복구하는 방법 찾음

Feature map 혼합 pixel wise prediction

- con7을 2배시켜서 2x2로 만들어서 pool4이랑 합치고, 합친 concat pool을 16x upsampling 해서 prediction한게 FCN 16s

- con7을 4배시켜서 4x4로 만들어서 2배 pool4이랑 pool3이랑 합치고, 합친 concat pool을 8x upsampling 해서 prediction한게 FCN 8s

 

	FCN-32s	FCN-16s	FCN-8s
IOU	59.4%	62.4%	62.7%