Agri-food sales prediction with contrastive learning and Self-attention model

학위논문(석사) -- 서울대학교대학원 : 농업생명과학대학 농경제사회학부(지역정보학전공), 2022. 8. 최영찬.본 연구는 농식품 판매량 시계열의 특성을 반영한 판매량 예측 모델을 개발하는 것을 목표로 한다. 이를 위해 1)변동성이 높은 농식품 판매량 데이터에 적합하며 2)다양한 주기의 동적으로 변하는 계절성을 포착 가능하고 3) 다수의 시계열의 관계를 고정된 수의 파라미터 만으로 반영할 수 있는 방법을 제안하였다. 농식품 시계열의 비선형 패턴을 잡아내기 위해서 셀프-어텐션 모델을 활용했다. 해당 모델은 장, 단기의 비선형 패턴을 잡아내기에 용이하며 시점에 대한 정보를 주는 방법을 조정하여 다양한 계절적 패턴을 포착할 수 있다. 또한 다수 판매 시계열 데이터를 고려하기 위해 대조학습을 활용해 상품 시계열 데이터의 결합 분포를 학습했다. 그리고 이 과정에서 학습한 잠재변수를 판매량 예측에 전이하여 활용했다. 모델의 개발과 검증은 A 생활협동조합의 농식품 판매 시계열 데이터를 통해 이루어 졌다. A 생협의 농식품 판매 시계열 데이터는 변동성이 크고 다양한, 그리고 변하는 계절적 패턴을 보여 본 연구 모델의 검증에 적합한 특성을 가지고 있다. 이 데이터를 이용해 본 연구에서 제안한 전이학습 방법, 모델 구조의 예측 성능을 기존 연구에서 활용한 모델과 비교하였고 일, 주, 월 단위 판매량 예측에서 더 높은 R^2, 더 낮은 평균 오차를 보였다. 본 연구는 상품 판매 시계열 데이터와 모델의 적합성을 검증했으며 다수의 상품 판매 시계열 데이터의 정보를 하나의 모델로 학습했고 이를 판매량 예측에 전이하는 것을 시도했다. 또한 딥러닝 기반 시계열 모델 중 가장 높은 예측 성능을 보인 셀프-어텐션 기반 모델을 농식품 판매량 시계열 데이터에 적용하였고 데이터의 특성에 맞게 개량 하였다는 의의를 가지고 있다.This study aims to develop a sales prediction model that reflects the characteristics of the agri-food sales time series. To this end, we proposed a method that 1) is suitable for highly volatile agri-food sales data, 2) can capture dynamically changing seasonality of various cycles, and 3) can reflect the relationship of multiple time series with only a fixed number of parameters. A self-attention model was used to capture the non-linear pattern of the agri-food time series. This model can capture non-linear patterns and can model various seasonality by adjusting positional encoding methods. In addition, to jointly model multiple sales time series data, the joint distribution of product time series data was learned using contrast learning. And the latent variables learned in this process were transferred to sales prediction. "A" consumer cooperative's agri-food sales time series data was used for the model's development and validation. Agri-food sales time-series of A consumer cooperative demonstrates the characteristics suitable for validating this research model, as they show high volatility and various and changing seasonal patterns. The Pretraining method and model proposed were compared with previous methods Using this data. The result shows that proposed methods outperform previous methods in daily, weekly, and monthly sales prediction.제 1 장 서 론 1 제 1 절 연구 배경 1 제 2 절 연구 내용 3 제 2 장 문헌연구 5 제 1 절 상품 판매량 예측 연구 5 제 2 절 인공신경망 기반 농식품 판매량 예측 연구 8 제 3 절 인공신경망 기반 농식품 판매량 시계열 예측 연구 9 제 3 장 데이터와 연구 방법 11 제 1 절 활용 데이터 11 제 2 절 인공신경망 모델 14 제 3 절 순환신경망 모델 17 제 4 절 셀프-어텐션 기반 모델 20 제 5 절 전이학습 26 제 6 절 대조학습 27 제 7 절 연구모델 32 제 8 절 분석 및 평가 방법 37 제 4 장 연구 결과 및 해석 41 제 1 절 탐색적 데이터 분석 41 제 2 절 전이 학습 여부에 따른 예측 성능 비교 52 제 3 절 Positional encoding에 따른 예측 성능 비교 53 제 4 절 모델 구조에 따른 예측 성능 비교 54 제 5 장 결론 및 논의 57 참고문헌 60석