LLMs Are Zero-Shot Time Series Forecasters

2310.07820

시계열을 문자 인코딩 하여 LLM에 적용한 논문
LLM
Zero Shot
paper review
Author

dotpyo

Published

September 23, 2023

Abstract

시계열을 ’숫자 문자열’로 인코딩하면, 시계열 예측을 자연어 처리에서의 다음 토큰 예측과 같이 구성할 수 있다는 접근으로 시작한다. 따라서 저자들은 GPT-3, LLaMA-2 모델과 같은 LLM 이 zero-shot 시계열 추정(extrapolate)의 비교가능한 수준에서, 또는 시계열 학습을 목적으로 만들어진 모델을 상회하는 능력을 보임을 발견했다. 이러한 성능을 촉진하기 위해서 본 논문에서는 시계열 데이터를 효과적으로 토큰화 하는 방법과 토큰에 대한 이산적 분포를 매우 유연한 밀도의 연속값으로 전환하는 방법을 제안한다. 저자들은 시계열에 대한 LLM의 성공이 단순성 및 반복에 대한 편향과 함께 multi-modal distributions을 자연스럽게 표현하는 LLM의 능력에 있다고 주장하는데 이는 많은 시계열에서 두드러지는 특징이며 특히 반복되는 계절 추세에서 그러하다는 점에서 본 논문의 주장과 상통한다.

  • 이산분포(불연속분포)는 가능한 결과가 뚜렷하고 분리되어있는 확률 분포를 의미한다. 예를 들면 특정 토큰이 시퀀스에서 발생할 확률과 같다.
  • 연속값은 반대로, 어떤 실수에서 온도나 주가와 같은 특정 범위를 취할 수 있는 값을 말한다.
  • 이산분포를 연속값으로 전환함으로써 저자는 LLM이 고정된 토큰의 집합에 국한되지 않고 가능한 다양한 값을 나타낼 수 있는 예측을 생성할 수 있음에 초점을 맞춘다.

또한 연구진은 본 논문에서 LLM이 누락된 비-수학적 데이터를 자연스럽게 처리하는 방법과 텍스트 정보를 수용하는 방법을 보이며 QA를 예측 결과를 설명하는데 도움이 되도록 사용한다. 모델의 크기와 시계열 성능은 일반적으로 비례하지만 이를 밝혀내는 과정에서 연구진은 GPT-4가 토큰 개수로 인해 GPT-3보다 더 좋지 않은 성능과 나쁜 불확실성 교정 성능을 보임을 알아낸다. 이는 RLHF와 같은 정렬 중재(alignment intervention method)의 결과일 수 있다; 사용자가 GPT-4를 이용하여 정렬하던 과정에서 오류 또는 보정이 제대로 이루어지지 않았을 가능성을 명시한다.

We argue the success of LLMs for time series stems from their ability to naturally represent multimodal distributions, in conjunction with biases for simplicity, and repetition, which align with the salient features in many time series, such as repeated seasonal trend

  1. Multimodal distribution, 여러개의 peak와 mode가 있는 확률분포로 여러개의 그룹 또는 데이터의 패턴이 존재함을 나타낸다.
  2. modality란 양식, 양상이라는 뜻으로 어떤 형태로 나타나는 현상 또는 ’그것을 받아들이는 방식’을 말한다. LLM은 텍스트로 된 입력을 받아왔는데 텍스트만이 아닌 다른 양식들(사진, 소리 등)을 학습하거나 표현할 수 있게 발전해왔다. 예를 들어, OpenAI의 DALL-E 2는 대표적인 multi-modal AI인데 사용자가 문장을 입력하면 모델이 이해한 바를 그림 또는 사진으로 표현한다. DALL-E 2는 기존 이미지들을 개체별로 나누고 이름을 부여한 다음, 위치와 색상, 어떤 동작을 하고 있는지를 이해하고 이미지를 설명하는데 이용된 텍스트 간의 관계를 학습한다.
  3. 따라서 LLM에서의 Multimodal distribution은 LLM이 다중양식을 학습했을 때 보일 수 있는 확률분포다.
  4. 단순성 및 반복에 대한 편향이 중요한 이유는 다양한 유형의 분포가 내재되어있는 시계열의 특징 때문이다. 시계열에서는 추세를 단순화하고, 반복을 찾아내어 경향을 파악해야 하기 때문에 해당 편향을 유지해야만 한다.

  • Reinforcement Learning by Human Feedback 의 약자로 LLM의 alignment intervention method다.

  • 정렬 (alignment) 이란 LLM을 사용자에게 적합하게 조율하는 과정으로 사용자와의 상호작용 사이에서 이루어진다. 따라서 말 그대로 RLHF: 사람의 피드백에 의한 강화학습은 사용자가 프롬프트로 하는 미세조정이라고 볼 수 있겠다. (확인 필)

  • \(^*\) 하지만 Meta AI에서 발표한 LIMA (Less Is More for Alignment) 논문은 LLM의 Pre-training이 중요하다고 하는데 주장을 살펴보기 위해 논문을 읽어볼 필요가 있다.