Probability-based Feasible Search for Constrained Global Optimization using Sequential Kriging Surrogate Model

Abstract

Most optimization techniques have been developed in forms of unconstrained optimization and expended often to a constrained optimization to treat design requirements. In cases when the number of constraints is a few, constraints are likely linear, or a problem has large feasible region, the techniques are beneficial. However, design problems have recently become complicate and nonlinear and the number of constraints has been increased according to the development of new technologies. These changes can make feasible region small or disconnected, then the current techniques cannot search the optimum satisfying all of the constraints. In these cases, current methods emphasizing on an objective are limited because constraints determine the success or failure of a system. Therefore, it is necessary to develop a new technique that focuses on constraints. In this research, a constrained global optimization technique based on kriging surrogate model is performed. Because the model gives an expected value as well as a mean squared error (MSE) at any points, many techniques based on the surrogate model have been developed. Representatively, the efficient global optimization (EGO) method defined by an expected improvement (EI) is well-known as an efficient and robust method regardless of initial sample sets. However, because EGO method is developed for unconstrained optimization, it is needed to accompany with constraint handling methods for penalty to infeasible region. It cannot obtain an optimum solution in cases of small or disconnected feasible regions. Therefore, a new optimization technique that can find an optimum over small or disconnected feasible region using information of constraints is needed. In this dissertation, a comparative study of current optimization techniques for constrained global optimization is performed. Based on this study, important factors of constrained global optimization are investigated and importance of constraints is justified. Then a new probability-based feasible search for constrained global optimization is proposed. The proposed method performs global optimization with a sampling criterion based on probabilities obtained from kriging surrogate model. The sampling criterion consists of three concepts; improvement of objective, boundary and feasible sampling concepts. The proposed criterion selects a point to fill the feasible region evenly for enhancement of accuracy of feasible region that is defined by kriging surrogate models of constraints. And then another sample point is likely to be located on the feasible boundary lines of active constraints. Since all of these processes are performed to improve objective, it is named as improvement-boundary-feasible (IBF) sampling criterion. The proposed method based on IBF criterion is able to search improved feasible point statistically, which is why the method is called probability-based feasible search. It has several advantages as follows. Firstly, the accuracy of approximation in the feasible region is enhanced due to feasible sampling. It is observed that the proposed method provides robust solution even if the initial sample set has lack of information in the feasible region. Secondly, the optimum solution is generally located along the boundary line because the relation between objective and constraints has trade-off. In this case, the boundary sampling makes the optimum solution accurate. Thirdly, feasible sampling includes space-filling concept based on MSE, which is very efficient for a multivariate problem and alleviates the singularity of correlation matrix in kriging surrogate model. Finally, sampling criterion for search is united without any parameters and provides robust optimum solution regardless of problem properties. For validation, EGO based methods are compared with the proposed method through three mathematical examples with nonlinear constraints. The comparison criteria are efficiency and robustness of the optimization and surrogate model. As a result, the method shows better performance than other methods. Especially, the efficiency and robustness of kriging surrogate model is the best and it can always provide the global optimum solution. Also two engineering problems with many constraints are successfully and efficiently resolved. At last, the proposed method is employed to optimize two engineering applications such as a superconducting magnetic energy storage system and deep-seabed pilot miner. The optimum solution of each problem is achieved successfully and its results are discussed.|최적설계 기법은 주로 제한조건이 없는 문제를 기반으로 개발되어, 제한조건의 만족도를 보장하는 기법을 추가하는 형태로 발전하였다. 하지만 기술의 발전에 따라 시스템의 설계가 복잡해졌고 설계에서 고려할 제한조건의 수, 제한조건의 비선형이 증가하게 되어 설계 범위에 비해 매우 좁은 유용영역 또는 불연속적인 유용영역이 발생하게 되었다. 이러한 설계는 기존의 최적설계 기법으로 제한조건을 만족하는 설계점을 찾지 못할 수도 있다. 이는 최적설계 관점에서 목적함수의 개선량, 최적점의 탐색 유무를 떠나 유용한 설계점이 없다는 것을 의미하며 설계의 실패를 의미한다. 따라서 기존의 최적화 기법 발전과는 다른 제한조건의 정보를 중심으로 최적설계를 수행하는 기법의 연구가 필요하다. 본 연구에서는 크리깅 대체모델 기반 전역최적설계 기법에 대한 연구를 수행한다. 크리깅 대체모델은 예측 응답뿐만 아니라 통계적 예측 오차를 제공하기 때문에 이를 기반으로 많은 순차 전역최적설계 기법이 연구되었다. 개선확률의 기대값을 이용한 EGO (efficient global optimization) 기법이 대표적이며 효율적이고 강건한 전역 최적해를 제공한다고 알려져 있다. 하지만 EGO 기법은 비제약조건 최적화 척도로써 제한조건 최적화를 수행하기 위해 다른 제한조건 처리기법과 연동이 필요하다. 이러한 최적설계 방법은 제한조건의 만족여부 만을 판단할 뿐 제한조건의 정보를 활용하지 않고 목적함수의 정보만을 이용해 최적설계를 수행하기 때문에 비선형적인 제한조건, 많은 제한조건을 가진 경우 또는 유용영역이 좁아 초기 유용점이 없는 경우 제한조건의 부정확한 근사에 의해 제한조건을 만족하는 설계점을 찾지 못할 수도 있다. 따라서 본 연구에서는 제한조건의 정보를 고려하여 유용영역 기반의 설계점을 찾고 이를 개선하는 새로운 유용영역 탐색법을 제안한다. 본 연구에서는 먼저 기존 기법들에 대한 비교 연구를 수행하여 대체모델기반 순차 최적화 기법의 특성 및 장단점을 파악한다. 이를 바탕으로 제한조건 최적화 문제를 위해 고려되어야 할 중요한 요소들을 파악하고 제한조건 정보의 필요성을 확인한다. 이를 기반으로 제한조건 최적화 문제에 중요한 세가지 개념을 선정, 제한조건의 정보를 고려하는 새로운 탐색 기법을 제안한다. 제안된 개념은 유용영역 (feasibility) 내부를 충진, 크리깅 대체모델의 정확도를 높이고, 정확한 모델을 기반으로 실제 최적해가 존재하는 유용영역의 경계(boundary)를 탐색한다. 또한 이 모든 과정은 목적함수가 개선(improvement)되는 방향으로 탐색된다는 세가지 개념을 기반으로 IBF 탐색 척도를 제안한다. 크리깅 대체모델의 확률만으로 이루어진 IBF 탐색 척도를 이용, 설계점을 얻고 크리깅 모델을 보정하는 일련의 최적화 알고리즘으로 최적화가 진행된다. 이를 크리깅 대체모델의 확률기반 유용영역 탐색 기법이라 명명한다. 제안된 기법의 장점은 다음과 같다. 최적화 과정의 설계점들은 목적함수를 개선하며 동시에 유용영역 내부에 실험점을 위치하여 최적화가 전역최적점에 도달하지 못하고 종료하더라도 제한조건을 만족하는 다른 대안의 설계를 제안한다는 장점이 있다. 또한 제한조건이 비선형적이고 유용영역이 좁거나 불연속적인 문제에 대해 최적해의 정확도가 높고, 최적화 초기 유용영역 내부의 충진기반 탐색을 진행하여 기존 기법들보다 초기 실험점의 변동에 강건하고, 대체모델의 효율과 강건성 관점에서 좋은 성능을 보인다. 또한 확률 통계량들로 이루어진 하나의 통합척도로써, 매개변수가 없어 다양한 문제에 강건한 결과를 보인다. 제안된 기법의 검증을 위해 3개의 수학 예제에 적용하여 기존 기법들과 비교하였다. 최적화 효율성, 강건성 그리고 크리깅 대체모델의 효율성 및 강건성에 대해 성능을 비교하였으며 그 결과 비선형 제한조건이 존재하는 경우, 유용영역이 불연속적인 경우 제안하는 기법이 우수함을 확인하였다. 다변수 및 다중 제한조건을 갖는 2개의 공학적 예제에서도 제안하는 기법이 효율적으로 최적해를 탐색하였다. 마지막으로 2개의 공학 문제에 대해 제안한 기법으로 전역최적설계를 수행하였고 그 결과를 고찰하였다.; improvement of objective, boundary and feasible sampling concepts. The proposed criterion selects a point to fill the feasible region evenly for enhancement of accuracy of feasible region that is defined by kriging surrogate models of constraints. And then another sample point is likely to be located on the feasible boundary lines of active constraints. Since all of these processes are performed to improve objective, it is named as improvement-boundary-feasible (IBF) sampling criterion. The proposed method based on IBF criterion is able to search improved feasible point statistically, which is why the method is called probability-based feasible search. It has several advantages as follows. Firstly, the accuracy of approximation in the feasible region is enhanced due to feasible sampling. It is observed that the proposed method provides robust solution even if the initial sample set has lack of information in the feasible region. Secondly, the optimum solution is generally located along the boundary line because the relation between objective and constraints has trade-off. In this case, the boundary sampling makes the optimum solution accurate. Thirdly, feasible sampling includes space-filling concept based on MSE, which is very efficient for a multivariate problem and alleviates the singularity of correlation matrix in kriging surrogate model. Finally, sampling criterion for search is united without any parameters and provides robust optimum solution regardless of problem properties. For validation, EGO based methods are compared with the proposed method through three mathematical examples with nonlinear constraints. The comparison criteria are efficiency and robustness of the optimization and surrogate model. As a result, the method shows better performance than other methods. Especially, the efficiency and robustness of kriging surrogate model is the best and it can always provide the global optimum solution. Also two engineering problems with many constraints are successfully and efficiently resolved. At last, the proposed method is employed to optimize two engineering applications such as a superconducting magnetic energy storage system and deep-seabed pilot miner. The optimum solution of each problem is achieved successfully and its results are discussed.