Применение современных языковых моделей для прогнозирования макроэкономических показателей
Аннотация
Прогнозные математические модели макроэкономических показателей, использующие традиционные объясняющие переменные, в условиях структурных трансформаций экономики становятся малоэффективны. В связи с этим возрастающий интерес вызывают новостные индексы, отражающие текущие события, изменения в экономической политике, настроения участников рынка и другие факторы, оказывающие влияние на экономическую активность в режиме реального времени. Современные методы обработки естественного языка (Natural Language Processing, NLP) и технологии анализа больших данных существенно расширили возможности извлечения релевантной информации из новостных источников. В настоящей статье рассматривается применение большой языковой модели (Large Language Models, LLMs) в системе с генерацией, дополненной поиском (Retrieval-Augmented Generation, RAG), для анализа крупных массивов новостных данных с учетом их контекстуальной значимости. Предложенный подход сопоставляется с традиционными моделями обработки текстовых данных при формировании новостных индексов. Для проверки эффективности проводится анализ предсказательной способности сформированных индексов в эконометрических моделях прогнозирования ряда макроэкономических показателей.
Скачивания
Литература
Baker S.R., Bloom N., Davis S.J. (2016) Measuring Economic Policy Uncertainty. The Quarterly Journal of Economics, 131, 4, pp. 1593–1636.
Barbaglia L., Consoli S., Manzan S. (2023) Forecasting with Economic News. Journal of Business and Economic Statistics, 41, 3, pp. 708–719.
Bondarenko V.I., Eliseev V.O., Ermolenko T.V. (2024) Analysis of the Effectiveness of Deep Language Models for Sentiment Detection in Russian-Language Texts. Problems of Artificial Intelligence, 1, p. 32. (In Russ.)
Cleveland R.B., Cleveland W.S., McRae J.E., Terpenning I.J. (1990) STL: A Seasonal-trend Decomposition Procedure Based on Loess. Journal of Official Statistics, 6, 1, pp. 3–33. Available at: http://bit.ly/stl1990
Costola M., Hinz O., Nofer M., Pelizzon L. (2023) Machine Learning Sentiment Analysis, COVID-19 News and Stock Market Reactions. Research in International Business and Finance, 64, p. 101881.
Eibich M., Nagpal S., Fred-Ojala A. (2024) ARAGOG: Advanced RAG Output Grading. ArXiv preprint.
Fazlija B., Harder P. (2022) Using Financial News Sentiment for Stock Price Direction Prediction. Mathematics, 10, 13, p. 2156.
Kim J., Kim H.S., Choi S.Y. (2023) Forecasting the S&P 500 Index Using Mathematical-Based Sentiment Analysis and Deep Learning Models: A FinBERT Transformer Model and LSTM. Axioms, 12, 9, p. 835.
Kmetz A., Shapiro A.H., Wilson D.J. (2022) Can the News Drive Inflation Expectations. FRBSF Economic Letter, 31, p. 1–6.
Kuratov Y., Arkhipov M. (2019) Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language. ArXiv preprint.
Li X., Tang Z. (2023) Sentiment Analysis on Inflation after COVID-19. Applied Economics and Finance, 10, 1, pp. 1023–1023.
Petrova D., Trunin P. (2023) Assessment of the Level of Uncertainty of Economic Policy. Money and Credit, 82, 3, pp. 48–61.
Petrova D.A., Trunin P.V. (2021) Analysis of the Impact of Bank of Russia Press Releases on Money Market Indicators. Business Informatics, 15, 3, pp. 24–34. (In Russ.)
Petrova D., Trunin P. (2020) Revealing the Mood of Economic Agents Based on Search Queries. Applied Econometrics, 59, pp. 71–87. Available at: https://ideas.repec.org/a/ris/apltrx/0400.html
Reynolds L., McDonell K. (2021) Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm. Extended abstracts of the 2021 CHI conference on human factors in computing systems, pp. 1–7.
Seleznev S., Shibitov D., Yakovleva K., Vlasov S., Chernyadyev D. (2021) Assessment of the News Index in July 2021. Bank of Russia. (In Russ.) Available at: https://cbr.ru/Collection/Collection/File/35503/index_2107.pdf
Simionescu M. (2025) Machine Learning vs. Econometric Models to Forecast Inflation Rate in Romania? The Role of Sentiment Analysis. Mathematics, 13, 1, p. 168.
Smetanin S., Komarov M. (2021) Deep Transfer Learning Baselines for Sentiment Analysis in Russian. Information Processing & Management, 58, 3, p. 102484.
Stolfo A., Belinkov Y., Sachan M. (2023) A Mechanistic Interpretation of Arithmetic Reasoning in Language Models Using Causal Mediation Analysis. ArXiv preprint.
Sun X. et al. (2023) Sentiment Analysis through LLM Negotiations. ArXiv preprint.
Thomas G.J. (2024) Enhancing TinyBERT for Financial Sentiment Analysis Using GPT-Augmented FinBERT Distillation. ArXiv preprint.
Ulyankin F. (2020) Forecasting Russian Macroeconomic Indicators Based on Information from News and Search Queries. Russian Journal of Money and Finance, 79, 4, pp. 75–97.
Vaswani A. et al. (2017) Attention Is All You Need. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000–6010.
Yakovleva K. (2018) Text Mining-based Economic Activity Estimation. Russian Journal of Money and Finance, 77, 4, pp. 26–41.
Zhai W. (2024) Self-adaptive Multimodal Retrieval-Augmented Generation. ArXiv preprint.
Zhang B., Yang H., Zhou T., Babar M.A., Liu X.-Y. (2023) Enhancing Financial Sentiment Analysis Via Retrieval Augmented Large Language Models. Proceedings of the fourth ACM international conference on AI in finance, pp. 349–356.
