A Real-Time Energy Management Strategy for Fuel Cell Electric Vehicles using Stochastic Dynamic Programming

Abstract

친환경 자동차의 비중이 높아지면서 하이브리드 자동차, 배터리 전기차와 함께 수소전기차의 연구 개발이 활발하게 이루어지고 있다. 수소전기차는 전기 에너지로만 구동된다는 점에서 전기자동차로 분류되지만 두 가지의 에너지원인 수소연료전지와 배터리로부터 전기 에너지를 공급받는다는 점에서 하이브리드 자동차에 적용되는 제어 전략을 활용할 수 있다. 최적 제어 이론 중 하나인 폰트리아긴 최소 원리는 수소전기차의 에너지 분배 전략을 수립하는데 아주 적합한 것으로 잘 알려져 있다. 두 에너지를 하나의 등가에너지로 표현하여 이를 최소화하는 제어 개념을 가진 등가 소모량 최소화 전략은 폰트리아긴 최소 원리를 기반으로 표현될 수 있으며 높은 성능과 실차 적용 가능성을 보여주었다. 하지만 미래 주행 정보가 없을 경우 최적성을 유지하면서 올바른 제어 변수를 선정할 수 없다는 점과 미래 정보가 주어진다 하더라도 이를 실시간으로 활용하는 방법을 고안해내야 한다는 점 등 아직 해결해야할 과제가 남아있다. 이러한 문제들을 해결하고자 적응형 등가 소모량 최소화 전략, 확률적 동적 계획법, 심층 Q 신경망 기반의 강화학습 알고리즘 등을 활용한 연구들이 진행되어 왔다. 본 논문에서는 서포트 벡터 머신을 통해 주행 정보를 활용하는 방법을 제시하고 확률적 동적 계획법을 활용한 폰트리아긴 최소 원리 기반의 등가 소모량 최소화 전략을 제안한다. 제안하는 제어기의 성능은 폰트리아긴 최소 원리 기반 제어기, 적응형 등가 소모량 최소화 전략 기반 제어기, 그리고 심층 Q 신경망 기반의 강화학습 알고리즘을 활용한 제어기와 비교함으로써 최적의 가까운 우수한 성능을 보여준다. 또한 교통 상황을 고려한 가상 운전 환경에서 제안하는 제어기가 배터리 에너지를 관리함과 동시에 규칙 기반 제어기 대비 약 6.84%의 성능 향상을 보임으로써 그 실효성을 검증하였다. 따라서 제안하는 제어기는 수소전기차의 실시간 에너지 관리 전략의 한 가지 방안이 될 것으로 생각된다.|As the proportion of eco-friendly vehicles increases in the automobile market, research and development of fuel cell electric vehicles along with hybrid electric vehicles, battery electric vehicles have been actively conducted. In general, fuel cell electric vehicles are classified as electric vehicles in a large category in that they are driven only by electric motors. However, since fuel cell electric vehicles can be considered a hybrid system in that electrical energy is supplied from two energy sources: fuel cell stacks and a battery, the control strategy applied to hybrid electric vehicles can be applied to the fuel cell electric vehicles. Pontryagin’s minimum principle, one of the optimal control theories, is well known to be very suitable for designing an energy management strategy for fuel cell electric vehicles. It is expressed similarly to the equivalent consumption minimization strategy so called ECMS, showing high performance and applicability to real-world vehicles. However, there are still challenges to be solved, such as the inability to select the correct control variable while maintaining optimality without future driving information, and the need to devise a method to utilize future driving information in real time even when it is given. To solve these problems, many studies on adaptive ECMS, stochastic dynamic programming, reinforcement learning, etc. have been conducted. In this article, a method to utilize driving information using a support vector machine was presented, and an equivalent consumption minimization strategy based on Pontryagin’s minimum principle using stochastic dynamic programming was proposed. The performance of the proposed controller showed excellent performance close to optimal by comparing it with the controller based on Pontryagin’s minimum principle, adaptive equivalent consumption minimization strategy, and the controller using reinforcement learning based on deep Q-network. In addition, the effectiveness of the proposed controller was validated by managing the battery SOC within a defined range in a virtual driving environment considering traffic conditions and showing a performance improvement of about 6.84% compared to the rule-based controller. Therefore, the proposed controller can be considered to be a promising solution in the real-time energy management strategy for fuel cell electric vehicles.