timeseries6 Mamba (2023) 논문 리뷰 Mamba 논문의 이름은 Mamba: Linear-Time Sequence Modeling with Selective State Spaces다. (링크) 저자는 Albert Gu, Tri Dao다. Mamba는 State Space Model을 활용한 본격적인 NLP 모델이다. Absract 현재 딥러닝 분야의 흥미로운 애플리케이션 대부분을 구동하는 Foundation 모델은 거의 대부분 Transformer 아키텍처와 그 핵심인 어텐션 모듈을 기반으로 한다. Linear Attention, gated convolution, recurrent models, structured state space model (SSM)과 같은 많은 subquadratic-time 아키텍처가 긴 시퀀스에서 Transfor.. 2025. 8. 26. S4 (2022) 논문 리뷰 S4 논문의 제목은 Efficiently Modeling Long Sequences with Structured State Spaces다. (링크) 저자는 Albert Gu, Karan Goel, Christopher Ré다. Gitub: 링크 Structured State Space Sequence Model이라 S4라고 불린다. 이번 논문에서도 역시나 Albert Gu가 쓴 논문이다. 제목에서부터 알 수 있듯이 HiPPO와 다르게 효율성에 중점을 둔 모델이다. Abstract시퀀스 모델링의 주된 목표는 단일한 원칙에 입각한 모델로 다양한 모달리티의 데이터를, 특히 long-range dependencies 장기 의존성을 가지는 데이터, 모델링하는 것이다. RNNs, CNNs 그리고 트랜스포머 모델들.. 2025. 7. 2. ARIMA와 ARCH 계열 모델들 정리 ARIMA는 autoregressive integrated moving average의 줄임말로 자기상관성 (autocorrelation)과 이동평균 (moving average)와 차분 (differencing)를 이용한 예측 모델이다. SARIMA는 위 ARIMA 모델에 seasonality 계절성을 추가한 모델로 seasonal ARIMA이다. 기본적으로 ARMA (autoregressive moving average)모델은 stationary time series 시계열의 정상성을 가정한다. 이는 곧 이때 정상성 (Stationary)은 시계열 데이터가 시간의 흐름에 따라서 평균과 분산이 변하지 않음을 의미한다. 시계열 자료는 추세 (trend)가 있는 경우가 많은데 이를 차분 (differ.. 2025. 5. 18. HiPPO (2020) 논문 리뷰 HiPPO 논문의 이름은 HiPPO: Recurrent Memory with Optimal Polynomial Projections다. (링크) 저자는 Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Re다. 구버젼 Gihub: 링크 신버젼 Github: 링크 HiPPO는 시계열 데이터 혹은 sequential data에서 순서에 따라서 정보를 누적하는 문제를 풀고자 하는 논문이다. 전 직장에서 동료들의 도움으로 읽었던 논문인데 다시 한 번 정리한 리뷰다. 저자들이 물리학 베이스인 것으로 알고 있어서 수식이 난무한다. Abstract:Sequential data 순차적 데이터 학습의 핵심 문제는 더 많은 데이터를 처리함에 따른 cumula.. 2025. 5. 17. Wave 파동 기본 개념 정리 모든 시계열 자료가 그런건 아니겠지만 wave 파동으로 해석할 수 있다. 이때 파동에 대한 관련된 개념, 특히 물리학적인 개념들을 다 까먹어서 가볍게 정리하고자 한다. 시계열 뿐만 아니라 Music transformer나 Voice transfer, Music recommendation 등에도 관심이 있다보니 겸사겸사 공부하고자 한다. 시계열뿐만 아니라 신호 signal은 frequency domain으로 볼 때가 많은데 이때 어느정도 파동에 대한 기본 지식을 알아야 하기 때문이다. Wave 파동 Wave 파동이란 평형상태 equilibrium으로부터 진동 vibration 혹은 oscillation이 퍼져 나가는 현상이다.즉 물질 자체가 아니라 에너지가 퍼져 나가는 형태다. 1. 파동의 분류파동은.. 2025. 4. 28. Time Series Analysis 개요 개요 Time Series data 시계열 데이터는 이름 그대로 시간의 흐름에 따른 데이터를 의미한다. 기온, 주가, 센서 데이터 등등이 시계열 데이터다. 시계열 데이터는 다음과 같은 특징을 지닌다. 추세 (Trend): 장기적인 증가 또는 감소의 경향 부동산 가격의 지속적인 상승 등계절성 (Seasonality): 일정한 주기(시간 단위)마다 반복되는 패턴 월별 아이스크림 판매량 증가 (여름)순환성 (Cyclic): 장기적인 경기 요인에 의한 변화 (비정기적) 경제 호황과 불황불규칙성 (Irregular/Noise): 예측 불가능한 요소 자연재해, 갑작스런 정책 변화 등 정상성 (Stationary):시계열 데이터가 시간의 흐름에 따라서 평균과 분산이 변하지 않음을 의미한다. 이 정상성을 만족하느냐 .. 2025. 4. 23. 이전 1 다음
