강화학습과 능동진동제어의 결합

강화학습은 최적제어 (optimal control)와 동일한 목표를 갖고 있다.

 

둘의 목표는 "주어진 문제에서 최적의 답을 찾는 것"이다.

 

그럼에도 이 둘을 구분짓는 것은 "제어하려는 대상의 모델을 모르고도 제어가 가능하냐"인 것 같다.

 

물론 최적제어 내에서도 적응제어 (adaptive control)의 개념이 있지만, 강화학습만큼 유연하지는 않다.

 

강화학습과 심층신경망 (deep neural network)를 결합할 시 아주 복잡한 대상의 액션도 묘사할 수 있으므로, 최적제어보다 더 복잡하고 다양한 대상체에 대해 유연한 제어가 가능하다.

 

 

능동진동제어에서 최적제어가 주로 사용되어왔고 관련된 연구는 매우 많다.

 

능동진동제어에 강화학습을 결합한 연구는 최근에 들어서야 이뤄지고 있는 걸로 보이며, 주로 랜덤한 형태의 기진원이 있을 경우를 대상으로 하는 것 같다.

 

기진원이 랜덤할 경우 거의 model-free가 되는 셈이기 때문인 것 같다.

 

마찬가지로 임의의 대상체에서 제대로 제어가 가능한 능동진동제어 시스템을 만들려면 강화학습과의 결합은 반드시 필요할 것 같다는 생각이 든다. 

 

능동진동제어를 위한 강화학습 알고리즘에 순환신경망 (RNN: Recurrent Neural Network)과 주파수 분석에 대한 정보를 추가적으로 반영하면 더 효과적인 학습이 가능할 것 같다는 생각도 든다.