Attention-Based Deep Learning Methods for Sequence Forecasting and Labeling

Abstract

Nowadays, data is ubiquitous in our daily life, especially sequence data. Therefore, experts in many fields need to analyze data. For example, we can estimate or predict the value of a particular state, based on observable sequence data from the past and present. Common applications are weather prediction, stock prediction, State-of-Health (SOH) estimation of a Lithium-ion (Li-ion) battery, etc. In addition, we can also perform sequence labeling tasks. Common applications are Seizure prediction in medical field and Named Entity Recognition (NER) and Part-of-Speech (POS) Tagging in Natural Language Processing (NLP) field. One of the most commonly used deep learning models for processing sequence data is the Recurrent Neural Network (RNN). It can process input sequences with their internal state. However, the RNN-based method and its variants do not consider the relationship between series and the difference in the contribution of the states at different time steps to the final prediction results. We first introduce Temporal Attention (TA). We proposed a TA mechanism that selects the relevant time series based on our assumption that the hidden state at the last time step has the most impact on the final prediction. We used this method to model the Li-ion battery dataset. Next, we present the Dynamic Spatial-Temporal Attention (DSTA) mechanism. We proposed a model to combine Dynamic-Spatial Attention (DSA) and TA that can not only consider the effects of states at different time step on the results, but also consider the effects of different features in the space domain. We also used this model to model the Li-ion battery dataset. Moreover, we designed an attention mechanism that can build a pyramid model to solve the nested NER problem. The pyramid model can cleverly transform the nested NER problem into multiple sequence labeling problems. Compared with the previous approach using Convolutional Neural Network (CNN) layer with a Bidirectional Long Short-Term Memory (Bi-LSTM), our Multi-Head Adjacent Attention (MHAA) based pyramid model not only obtains better performance by considering the dependence of two adjacent inputs, but also inference faster than the original pyramid model.|오늘날 데이터, 특히 시퀀스 데이터는 일상 생활에서 어디에나 존재한다. 따라서 다양한 분야에서 데이터분석이 필요한다. 예를 들어, 과거와 현재의 관측 가능한 시퀀스 데이터를 기반으로 특정 상태의 값을 추정하거나 예측할 수 있다. 일반적인 애플리케이션은 날씨 예측, 재고 예측, 리튬 이온 (Li-ion) 배터리의 건강 상태 (SOH) 추정 등이 있다. 또한 시퀀스 라벨링 작업도 수행할 수 있다. 일반적인 응용 프로그램은 의료 분야의 발작 예측과 자연어 처리 (NLP) 분야의 개체명 인식 (NER) 및 품사 (POS) 태깅이다. 시퀀스 데이터 처리에 가장 일반적으로 사용되는 딥 러닝 모델은 Recurrent Neural Network (RNN) 이다. 내부 상태로 입력 시퀀스를 처리할 수 있다. 그러나 RNN 기반 방법과 그 변형은 시리즈 간의 관계와 최종 예측 결과에 대한 서로 다른 시간 단계의 상태 기여도 차이를 고려하지 않는다. 먼저 Temporal Attention (TA)을 소개한다. 우리는 마지막 시간 단계의 상태가 최종 예측에 가장 큰 영향을 미친다는 가정을 기반으로 해당 시계열을 선택하는 TA 메커니즘을 제안했다. 이 방법을 사용하여 리튬 이온 배터리 데이터 세트를 모델링했다. 다음으로 Dynamic Spatial-Temporal Attention (DSTA) 메커니즘을 제시한다. 우리는 결과에 대한 다른 시간 단계의 상태 효과를 고려할 수 있을 뿐만 아니라 공간 영역에서 다른 시리즈의 효과도 고려할 수 있는 동적 공간 어텐션과 시간 어텐션을 결합하는 모델을 제안했다. 이 모델을 사용하여 리튬 이온 배터리 데이터 세트를 모델링했다. 또한 중첩 NER 문제를 해결하기 위해 피라미드 모델을 구축할 수 있는 Attention 메커니즘을 설계했다. 피라미드 모델은 중첩 NER 문제를 여러 시퀀스 레이블링 문제로 적합하게 변환할 수 있다. Bidirectional Long Short-Term Memory (Bi-LSTM)와 함께 Convolutional Neural Network (CNN) 레이어를 사용하는 이전 접근 방식과 비교하여 우리의 Multi-Head Adjacent Attention (MHAA) 기반 피라미드 모델은 종속성을 고려하여 더 나은 성능을 얻을 뿐만 아니라 두 개의 인접한 입력에 대한 추론이지만 원래 피라미드 모델보다 더 빠르게 추론한다.