“FinGPT: Enhancing Sentiment-Based Stock Movement Prediction with Dissemination-Aware and Context-Enriched LLMs”

论文地址：https://arxiv.org/pdf/2412.10823

摘要

金融情感分析对于解读新闻如何影响股价具有关键作用，大型语言模型（LLM）由于其强大的文本分析能力而被广泛应用于这一领域。然而，现有的模型往往侧重于新闻内容本身，而忽略了新闻的传播广度，这在一定程度上削弱了对短期股价变动预测的精确性。此外，当前的方法通常缺乏足够的背景信息和清晰的指导方针，这也制约了LLM解析能力的充分发挥。

本文介绍了一种基于数据驱动的新方法，旨在通过结合新闻的传播范围、上下文信息以及具体的指令来增强LLM对股票价格趋势的情感分析预测。该方法通过对相关公司新闻进行聚类分析以评估其影响程度，并提供更加丰富的提示信息。同时，我们建立了一个专门用于调整模型参数的数据集，用以优化LLM的表现。实验结果表明，这种方法能够使预测准确性得到大约8%的提升。

简介

金融市场对新闻报道和社交媒体动态极为敏感，情感分析已成为现代金融预测中的重要工具。传统的情感分类方法通常仅将情感划分为正面、负面和中性三类，而大型语言模型（LLMs）的引入则显著提升了情感分析的精度和深度解析能力。不过，现有的多数方法主要集中在单个新闻条目的内容上，忽略了新闻传播的广泛性和相关背景信息，这在一定程度上限制了LLMs的表现。

本文介绍了一种创新的方法，通过聚类与公司相关的新闻报道来评估其传播范围及其产生的影响，从而强化短期股价预测的准确性。研究结果表明，这种方法能够使预测的准确率提升8%。该方法通过整合更全面的上下文数据，为LLMs提供了更丰富的信息基础，进而改善了对市场情绪的理解和预测。

01相关工作

利用文本和新闻进行股票价格预测并非新概念，已有研究展示了如何使用社交媒体帖子和历史数据来预估市场价格。大型语言模型（LLMs）能够深入解析金融文本，识别新闻资料中的复杂关联，从而提高股票价格预测的准确性。LLMFactor（2024）项目通过知识引导的提示实现了短期股价预测，并提供了实时且可解释的结果。Elahi和Taghvaei（2024）则将金融数据与新闻报道相结合，运用检索增强技术来进行3到6个月的长期预测。

本研究特别关注于数据准备阶段，考虑了新闻传播对于股价波动的影响，为LLMs设计了更加精准的指导指令。我们采用了一种标准的LLM指令调优框架，以数据组织作为基础，结果显示出了显著的性能提升。该方法不仅改进了预测效果，还展现了其在多个应用领域的广泛潜力。

02问题设置和总体框架

目标

通过分析新闻情绪来预测每周的股票价格趋势，使用12个分类标签（U1-U5和D1-D5+）来表示不同强度的上涨或下跌。

依据

参考上周的股价表现、最新的新闻报道以及公司基本面信息（包括季度更新，在财报发布后的三周内纳入分析）。

模型输出

确定2到4个关键影响因素，并将其归类为[积极发展]或[潜在担忧]，同时提供详细的[预测与分析]报告。

重点

本研究特别重视数据处理和提示工程环节，严格遵循金融分析的标准流程，以确保模型的准确性和可靠性。

03方法

数据处理

高粒度股票价格信息（HG）

• 数据整合：引入每日收盘价和收益数据，以提高预测性能。
• 降低不确定性：减少计算中的不确定性，提升模型的稳定性。
• 时间对齐：实现价格变动与新闻事件的精确时间匹配，确保分析的时效性。

新闻聚类（HG-NC）

数据收集

• 来源：从Finnhub API获取每周金融新闻数据。
• 处理量：针对每周超过200篇的新闻报道进行处理。

主题聚类

• 工具：使用Sentence Transformers和BERTopic进行新闻主题聚类。
• 目标：捕捉新闻影响的两个维度——报道频率和时间跨度。

聚类质量评估

• 高凝聚力聚类（相似度>0.6）：选取最中心的文章作为代表，保持选定文章的原始元数据。
• 低凝聚力聚类（相似度≤0.6）：选择靠近中心的文章，每个主题最多包含2篇文章。

主题选择策略

• 补充机制：当高凝聚力聚类少于6个时，补充最多4个低凝聚力聚类。
• 目的：确保信息覆盖的全面性和代表性。

聚类方法优势

• 样本压缩：通过BERTopic和余弦相似度评估，将大量新闻压缩成具有代表性的样本。
• 量化传播：有效量化新闻的传播效应，增强其在股票价格预测中的应用。
• 预测能力：提高股票价格预测的能力，提供更准确、可靠的市场洞察。

提示工程：上下文增强的指令

为了适应新的数据格式，需要加强对每日股票信息和新闻传播的分析。具体改进如下：

HG 部分（高粒度股票价格信息）

• 区分短期与长期影响：明确区分短期新闻（同周内反映在股价中）和长期新闻的影响，以便更准确地捕捉市场反应。
• 短期新闻：重点关注当周新闻对股价的即时影响，确保模型能够迅速响应市场变化。
• 长期新闻：分析那些可能在未来几周或几个月内逐渐显现影响的新闻，为长期趋势预测提供支持。

HG-NC 部分（新闻聚类）

• 构建新闻组件：基于HG部分的分析，进一步构建新闻组件，使用代表性文章及其元数据来指导新闻传播对股价影响的分析。
• 代表性文章：选择最具代表性的新闻文章，并保留其元数据，以提供详细的背景信息和上下文。
• 分析指导：通过这些代表性文章，为分析师提供清晰的指导，帮助他们理解新闻如何影响股价变动。

指令微调

• 训练数据集：创建一个结构化的输入数据集，包含公司介绍、历史股价、相关新闻和公司基本面信息，并配对GPT-4o生成的市场分析，基于已知的未来走势。
• 移除真实股价：在提示中移除实际股价信息，以测试模型的预测能力。
• 微调Llama3-8B：利用上述数据集对Llama3-8B进行微调，旨在预测每周的股价变动。
• 评估指标：采用数值准确性和推理质量作为主要评估标准，确保模型不仅预测准确，还能提供高质量的推理解释。

这种方法不仅能提高模型对每日股票信息和新闻传播的分析能力，还能增强其预测精度和实用性。

04表现评估

在评估模型效果时，我们关注两个核心指标：

• 用于股票趋势预测的二元分类正确率
• 衡量推理产出质量的ROUGE分数

现在，我们要对比分析三种不同的策略：

• 基线方法
• 提高股票价格粒度的HG方法
• 结合了非连续成分处理的HG-NC策略

股票走势预测中的二分类精度

模型在预测股票价格走势方面的能力得到了评估，这里采用的是二分类准确率作为衡量标准。所用的数据集包括了380个样本点，覆盖了20家不同的企业。该模型的准确率从55.0%提升到了59.2%，这表明模型性能有逐步优化的趋势。同时，我们注意到对时间维度重视程度的变化，其中“长期”视角的关注比例由15.0%显著增长到69.8%，而“短期”的关注度也从7.5%提高到了56.6%。大型语言模型（LLM）能够有效地识别短期和长期新闻事件对股价的影响，并在这两者之间找到平衡，以改善预测效果。通过整合新闻聚类分析的结果，模型的准确率更是达到了63%，这证明了强化后的LLM在理解市场趋势以及新闻报道影响力方面的有效性。

ROUGE推理质量评价分数

由于数据集规模庞大，难以对每个实例进行真实情感分析，因此我们采用自动评估指标来衡量模型输出的质量。为了评估推理质量，我们使用了ROUGE分数（包括ROUGE-1、ROUGE-2和ROUGE-L），这些分数的高低反映了模型生成文本与参考文本之间的对齐程度以及内容覆盖的广度。较高的ROUGE分数意味着更好的一致性与更全面的内容涵盖。

结果显示，HG-NC方法在所有评估指标上均优于基线方法和HG方法。通过分析模型输出中的预测与分析部分，我们可以看到HG-NC方法在权衡正负因素方面表现出色，能够更好地捕捉并解释市场因素之间的复杂互动。这表明HG-NC方法不仅提高了预测准确性，还增强了对市场动态的理解和表达能力。

案例研究：波音公司

以波音公司为例，比较了HG方法和HG-NC方法的预测性能。结果显示，HG-NC方法的准确率为63.2%，而HG方法的准确率为52.63%。为了评估聚类性能，我们计算了高一致性聚类中文章的比例（即平均相似度大于0.6的文章占比），发现聚类性能与预测准确性之间存在显著的相关性。

在HG-NC方法优于HG方法的7个案例中，高一致性聚类的比例大多超过了50%，这表明良好的聚类质量有助于提高预测效果。相反，当高一致性聚类的比例低于40%时，预测性能明显下降，反映出模型未能充分捕捉市场信息。这一发现强调了高质量新闻聚类对于提升股票价格预测的重要性。

05总结

本文介绍了一种改进的基于大型语言模型（LLM）的情感驱动股票价格预测方法。通过增加股票价格数据的粒度，并提供区分短期和长期影响的分析指令，该方法增强了对新闻上下文的理解。我们评估了新闻传播的聚类效果，并结合市场影响因素以优化预测性能。为此，我们开发了一个专门用于指令调优的数据集，以微调LLM，从而提高短期股票价格预测的准确性。

实验结果表明，该方法实现了63%的二分类准确率，相较于55%的基线水平有显著提升，尤其是在高一致性聚类比例超过50%的情况下表现尤为出色。本研究强调了丰富上下文数据和考虑新闻传播范围的方法对于提升预测准确性的重要性。