MFFMs (2024) 논문 리뷰

MFFMs라고 본인이 임의로 부르는 논문의 원래 제목은 Multimodal Financial Foundation Models (MFFMs)-Progress, Prospects, and Challenges다. (링크)

 

저자는 Xiao-Yang Liu Yanglet, Li Deng다. 

 

텍스트, 차트, 테이블, 오디오 등의 다양한 소스에서 오는 멀티모달 데이터를 어떻게 금융 분야에서 응용할 수 있을지를 다룬, 어떻게 보면 서베이 논문에 가까운 논문이다. 

 

Abstract

BloombergGPT 및 FinGPT와 같은 금융 LLM은 금융 서비스의 특정 영역에서 그 잠재력을 입증했다. 이러한 초기 언어 중심적 접근 방식을 넘어, Multimodal Financial Foundation Models 멀티모달 금융 기반 모델 (MFFMs)은 fundamental data 기본 데이터, market 시장 데이터, data analytics 데이터 분석, 거시경제 및 alternative 대체 데이터(예: 자연어, 오디오, 이미지 및 비디오)를 포함한 interleaved 끼워진 멀티모달 금융 데이터를 소화할 수 있다. ACM AI for Finance 워크숍에서 발표된 본 논문에서는 MFFM의 progress, prospects and challenges 진행 상황, 전망 및 과제를 설명한다. MFFMs가 수많은 금융 업무 및 데이터와 관련된 근본적인 복잡성을 더 깊이 이해하도록 돕고, 금융 서비스 및 투자 프로세스 운영을 간소화할 것이라고 믿는다.

 

 

 

 

 

2. Multimodal Financial Data

텍스트, 숫자, 차트, 테이블 (표), 이미지, 오디오 그리고 비디오 데이터를 효과적으로 그리고 효율적으로 통합하여 활용하여 분석하고자 한다.  In business, finance, accounting, and auditing 비즈니스, 재무, 회계, 감사 분야에서는 다음을 포함한다. 

• Textual data: news articles, reports, earnings calls, and social media data expressing sentiment of investors and market participants.
• Numerical data: stock prices, supply and demands of share orders, financial ratios, economic indicators, and other quantitative metrics. 

• Chart data: visual representations of trends, patterns, and forecasts.
• Tabular data: structured datasets, such as balance sheets and income statements.
• Market data: real-time information about trades, volumes, and market sentiment.
• Images and videos: visual content related to market events, advertisements, or product launches, which can influence investor behavior.
• Audio data: podcasts, interviews, or analyst calls that provide insights into market trends.

 

2.1. Earning Conference Calls (ECCs)

 

실적 컨퍼런스 콜은 오디오와 텍스트 데이터를 포함한다. 

 

 

2.2. Monetary Policy Calls (MPC)

 

MPC는 인플레이션, 고용, 물가 안정, 금리와 관련된 경제적 목표를 달성하고자 하는 중앙은행의 향후 행동에 대한 귀중한 통찰력을 제공한다. 분석가와 정책 입안자는 MPC의 시각적, 청각적, 텍스트적 단서를 활용할 수 있다. 

 

 

2.3. Financial Reports

 

10-K, 10-Q, Zacks reports 같은 구조화된 금융 보고서를 의미한다. 

 

 

2.4. Market Information

 

시장 정보는 회사 주가 및 시장 주문의 변화를 추적하는 시계열 데이터, 주요 시장 통찰력을 전달하는 수치형 재무 지표, 그래픽 이미지 (예: 기술 지표 차트), 회사의 운영 성과를 반영하는 표 형식의 데이터, 그리고 위에서 구조화된 시계열 및 표 형식 데이터의 본질과 속성을 설명하는 자연어를 포함한다.

 

 

2.5. Financial News

 

뉴스의 full articles 혹은 headlines를 포함한다.

 

 

2.6. Climate Data for Commodity Trading

 

상품 거래에 있어서 필요한 데이터인 기후 데이터. 

곡물이나 카카오 등의 선물 거래가 있을 수 있겠다.

 

 

3. Multimodal Financial Applications

 

3.1. Financial Analysis

 

방대한 양의 데이터를 활용해서 한번에 넓은 범위의 태스크를 처리하긴 어렵다.

다양한 재무적 시나리오에 대한 효율적인 분류, 검색, 분석 및 권장을 통해 데이터 처리 및 의사 결정 정확성을 향상시킬 수 있다.

궁극적으로 투자자가 대규모 데이터에 대한 정보에 입각한 의사 결정을 내릴 수 있도록 지원한다.

 

 

3.2. ESG Rating

 

ESG는 Environmental (E), Social (S), Government (G)의 약자들을 합친 말로,

ESG rating은 지속 가능성에 대한 평가를 의미한다.

 

3.3. Financial Decision Making

 

텍스트, 오디오, 시계열 데이터를 모두 합친 멀티모달 접근 방법으로 trading decision 트레이딩 결정을 향상시킬 수 있다.

 

 

3.4. Alternative Data Analysis 

 

초과 수익률인 알파 탐색과 팩터 탐색 및 생성 등에 사용할 수 있다.

 

 

3.5. Potential Use Scenatios

 

• Financial services: 사업 운영, 투자, 인수합병, 감사, 규정 준수 및 규제와 같은 중요한 비즈니스 의사 결정
• Search agent: 업무와 재무적 시나리오에 맞는 정보 검색

• Event Prediction: 금융 분야에서의 중요한 이벤트 예측
• Robo-advisor:  최소한의 인적 개입으로 알고리즘 기반의 자동화된 재무 계획 및 투자 관리를 제공
• Report generation: 보고서 생성
• Compliance: LLM을 AI 규정 준수에 통합하여 규제 및 윤리 요건을 관리

 

4. MFFMs: Progress and Prospects 

 

4.1 Progress 

Multimodal Financial Foundation Model:
• Open-FinLLMs (논문 링크) made substantial contributions by openly releasing several continuously pre-trained models for financial applications. Leveraging diverse data sources, including textual information from news and reports, numerical datasets like stock prices and financial ratios, visual insights from charts and images, and even audio and video conten —Open, Open-FinLLMs enable a better understanding of market dynamics.

• FinTral (논문 링크) is a suite of SOTA multimodal large language models (LLMs) built upon the Mistral-7b model and tailored for financial analysis.

Datasets:
• MDRM : This dataset has both audio recordings and corresponding text transcripts from the 2017 earnings calls of 500 major companies listed on the S&P 500 and traded on U.S. stock exchanges. There are a total of 280 companies with 572 data points.
• MACE : MAEC is another dataset containing both text and audio for the ECC, covering a total of 3,443 data points between 2015 and 2018 from 1,213 companies.
• M&A Calls : This dataset collected Merger and Acquisition (M&A) calls for the time period ranging from 2016 to 2020. There are a total of 816 M&A conference calls spanning over 545 hours.
• Fin-Fact : A Benchmark Dataset for Multimodal Financial Fact Checking and Explanation Generation.
• FinSet : a 20 billion token, the high-quality multimodal dataset we build for financial LLM training, where it integrates textual, numerical, tabular, and image data.

 

위 데이터는 모두 멀티모달 데이터로 대차대조표나 주가, 뉴스 등의 데이터가 필요하다면 별도로 찾아야 한다.

 

Benchmark:
• FinBen : The first extensive open-source evaluation benchmark, including 36 datasets spanning 24 financial tasks, covering seven critical aspects: information extraction (IE), textual analysis, question answering (QA), text generation, risk management, forecasting, and decision-making.
• MME-Finance : a bilingual open-ended and practical usage-oriented Visual Question Answering (VQA) benchmark.
• FFAMA : an open-source benchmark for financial multilingual multimodal question answering (QA). It includes 1,758 meticulously collected question-answer pairs from university textbooks and exams, spanning 8 major subfields in finance including corporate finance, asset management, and financial engineering.

 

5. Challenges and Oppurtunities

5.1. Proprieary Data

 

Structured and Unstructured

 

5.2. Financial Math Calculations and Reasoning

 

5.3. Benchmark Misinformation and Hallucination

 

5.4. Financial Regulation Interpretation

 

5.5. XBRL and Common Domain Model (CDM)

 

XBRL(eXtensible Business Reporting Language)은 재무 데이터 생성, 배포 및 분석을 간소화하도록 설계된 디지털 비즈니스 보고를 위한 개방형 국제 표준이다. SEC 사이트에 가보면 XBRL 로 만들어져있음을 확인할 수 있다. 

 

5.6. Agentic Workflow

 

• Generative search engines: FinGPT search agent
• XBRL agent
• Decision-making agent

 

5.7. Ethical Challenges

 

Persistent ethical issues:

 

• Data security and privacy
• Copyright infringement
• Systematic bias
• Transparency, explainability, and accountability

Newly-emerging ethical issues:

 

• truthfulness
• sycophancy
• compliance with professional norms

Reinforcement Learning from Human Feedback (RLHF)은 윤리적 문제에 대한 돌파구가 될 수 있다.