Energy Management Strategy based on Optimal Control Using Reinforcement Learning for Connected Electrified Vehicles

Abstract

국문 요지

최적 제어 이론 기반에 강화학습을 적용한 커넥티드 전동화 차량의 에너지 관리 전략

최적 제어 이론에서 비롯된 하이브리드 전기 자동차 (Hybrid Electric Vehicle)의 에너지 관리 전략인 ECMS(Equivalent Consumption Minimization Strategy)는 많은 연구들을 통해 최적의 해를 가질 수 있다고 증명되었다. ECMS가 최적의 해를 갖기 위해서는 전기 에너지 가치를 결정하는 제어 매개 변수인 등가요소를 운전 환경에 따라 이상적으로 결정해야 한다. 하지만, 차량이 주행을 마칠 때까지 전기 에너지의 가치를 정확하게 평가할 수 없기 때문에 주행 전에 제어 매개 변수를 적절하게 결정할 수 없다. 따라서, ECMS는 성능은 우수하지만, 이러한 문제 때문에 실제 자동차에 적용이 될 수 없었다. 이 문제를 해결하기 위해 본 논문은 딥 큐 러닝 (Deep Q-learning) 알고리즘을 활용하여 실시간으로 등가요소를 추정하는 지능형 제어 개념을 제안한다. 강화학습 알고리즘 중 하나인 딥 큐 러닝 알고리즘은 심증 신경망 (Deep Neural Network)을 사용하여 최대 보상을 받는 최상의 제어 매개 변수를 결정할 수 있다. 제안된 제어 개념은 인공 지능 (Artificial Intelligence)을 기반으로 하이브리드 전기 자동차의 에너지 관리를 위해 미래 주행 정보를 활용하여 최적의 제어 매개 변수를 추정한다. 이후 추정된 제어 매개변수를 활용해 최적 제어 이론에 기반한 ECMS가 주행 중 소모되는 에너지 최소화를 위한 시스템 제어를 수행한다. 이를 통해 성능은 우수하지만 실제 자동차에 적용되기 어려웠던 ECMS가 AI를 기반으로 실현 가능한 제어 개념이 될 수 있다. 본 논문은 비교 연구를 통해, 제안된 지능형 제어기가 심층 신경망을 활용하지 않는 큐 러닝 (Q-learning) 알고리즘 기반의 제어기와 IEEE VTS Challenge 2018에서 가장 우수한 성능을 보여준 적응형 제어기보다 우수한 성능을 갖는 다는 것을 보여준다.

키워드: 전동화 차량, 하이브리드 전기 자동차, 에너지 관리 전략, 적응형 에너지 관리 전략, 강화학습, 딥 큐 러닝, 등가 소모량 최소화 전략 (ECMS), 폰트리아긴 최소 원리 (PMP) |ABSTRACT

Energy Management Strategy based on Optimal Control Using Reinforcement Learning for Connected Electrified Vehicles

Woong Lee Dept. of Mechanical Engineering The Graduate School Hanyang University

Equivalent Consumption Minimization Strategy (ECMS), an energy management strategy for hybrid electric vehicles (HEVs) that originated from optimal control theory, has been known to generate an optimal solution. For an optimal solution, the equivalent factor, called costate, that determines the value of electric energy, should ideally be set according to the driving scenarios. The main problem when realizing the control concept into real-world applications is that the value of electric energy cannot be exactly evaluated until the vehicle has finished driving, so the control parameters cannot be properly estimated before driving. To address this obstacle, this paper proposes an intelligent control concept that estimates the costate in real-time using the deep Q-learning algorithm. One of the reinforcement learning algorithms, the deep Q-learning method, which is specialized for model-free control, determines the best control parameter with maximum reward using the deep neural networks. The proposed control concept estimates the control parameter related to future driving information or stochastic conditions for energy management of HEVs using Artificial Intelligence (AI). Thereafter, when the estimated costate is provided, the ECMS based on optimal control theory performs deterministic control. This allows ECMS, which has great potential but was difficult to implement in real-world applications, to become a feasible control concept using AI. Through comparative studies, the proposed intelligent controller shows better performance than both the Q-learning based-controller and the adaptive controller, which showed the best performance in IEEE VTS Challenge 2018.

Keyword: Electrified Vehicle, Hybrid Electric Vehicle (HEV), Energy Management Strategy, Adaptive Energy Management Strategy, Reinforcement Learning, Deep Q-learning, Equivalent Consumption Minimization Strategy (ECMS), Pontryagin’s Minimum Principle (PMP)