Coarse to fine strategy 이란

What is Coarse to Fine?

"Coarse to Fine" usually refers to the hyperparameter optimization of a neural network during which you would like to try out different combinations of the hyperparameters and evaluate the performance of the network.

 

같은 Network여도 hyperparameter에 따라 성능이 달라진다. 따라서 network의 설계가 완료되었으면 최적의 hyperparameter를 찾는 작업이 필요하다.

가장 무식하지만 완벽한 방법은 여러 hyperparameter의 서로 다른 경우의 수에 대해 evaluate하여서 최고의 성능을 내는  hyperparameter를 찾는것이다

 

예) network의 hyperparameter가 alpha, beta 두개가 있을때,

(alpha = 0.1, beta = 0.1), (alpha = 0.2, beta = 0.1), (alpha = 0.1, beta = 0.2), ..... (alpha = 2.5, beta = 1.0) ....

 

그러나 실제 hyperparmater의 개수는 여러개이고 각각이 가질 수 있는 값의 범위는 굉장히 넓어 위와같이 모든 경우의 수를 고려한다는 것은 불가능한 일이다.

 

각 hyperparameter를 "coarse"한 값의 grid로 (값의 단위로) discretize 해주어(예, alpha = 1,2,3,4)이들의 조합을 evaluate하여 네트워크 성능의 변화를 측정한다.

위의 조합에서 가장 좋은 성능을 낸 hyperparameter 값을 선택하여(예, alpha = 2), 좀더 "finer"한 optimize를 진행한다. (예, alpha = 2.2, 2.3, 2.4, 2.5)

 

위의 방법을 Coarse to Fine이라고 한다.

 

 

아래는 내 생각이다.

비단 hyperparameter optimization 뿐만아니라 여러 분야에서도 general하게 쓰이는 용어같다.

 

예를들어 dog를 찾는 detection task에서 coarse-to-fine strategy를 생각해보면, 일단 coarse한 기준으로 dog 후보군들을 먼저 찾고 그 이후 좀 더 fine한 기준으로 걸러내어 최종적인 dog detection을 한다와 비슷한 내용을 가지고 있을것이다.

 

 

Reference

https://datascience.stackexchange.com/questions/47921/what-is-coarse-to-fine-in-the-context-of-neural-networks

What is Coarse-to-Fine in the context of neural networks?