Large Language Models In Finance: A Survey

1. Thông tin Nghiên cứu khoa học

• Tên nghiên cứu tiếng Anh: Large Language Models in Finance: A Survey
• Tên nghiên cứu tiếng Việt: Mô hình ngôn ngữ lớn trong lĩnh vực tài chính: Một khảo sát
• Tác giả: Yinheng Li, Shaofei Wang, Han Ding, Hang Chen
• Số trang file pdf: 20
• Năm: 2024
• Nơi xuất bản: arXiv
• Chuyên ngành học: Tài chính, Xử lý ngôn ngữ tự nhiên, Trí tuệ nhân tạo
• Từ khoá: Mô hình ngôn ngữ lớn (LLMs), Trí tuệ nhân tạo tạo sinh (Generative AI), Xử lý ngôn ngữ tự nhiên (NLP), Tài chính

2. Nội dung chính

Bài báo này trình bày một khảo sát về việc sử dụng các mô hình ngôn ngữ lớn (LLMs) trong lĩnh vực tài chính, tập trung vào các giải pháp hiện có và hướng dẫn áp dụng. Các tác giả nhấn mạnh rằng sự tiến bộ gần đây trong LLMs đã mở ra những khả năng mới cho các ứng dụng trí tuệ nhân tạo trong tài chính, nơi mà khả năng hiểu và tạo ngôn ngữ hiệu quả có thể hỗ trợ các hoạt động như giao dịch, mô hình hóa rủi ro và dịch vụ khách hàng. Để hiểu rõ hơn về các yếu tố ảnh hưởng đến hoạt động tài chính của doanh nghiệp, bạn có thể tham khảo thêm về các nhân tố ảnh hưởng tới hiệu quả quản trị tài chính trong doanh nghiệp.

Bài viết trình bày tổng quan về các ứng dụng hiện tại của trí tuệ nhân tạo trong tài chính, bao gồm giao dịch và quản lý danh mục đầu tư, mô hình hóa rủi ro tài chính, khai thác văn bản tài chính và tư vấn tài chính, dịch vụ khách hàng. Trong giao dịch và quản lý danh mục đầu tư, các mô hình học máy và học sâu đã được sử dụng để dự báo giá cả và tạo ra lợi nhuận. Các mạng nơ-ron hồi quy (RNN), mạng LSTM và các kiến trúc transformer đã chứng minh hiệu quả trong dự báo giá. Trong mô hình hóa rủi ro tài chính, các giải pháp dựa trên học sâu đã được phát triển để phát hiện gian lận tài chính, chấm điểm tín dụng và dự đoán phá sản. Khai thác văn bản tài chính sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để trích xuất thông tin có giá trị từ dữ liệu phi cấu trúc, hỗ trợ việc ra quyết định trong giao dịch và mô hình hóa rủi ro (Fazlija & Harder, 2022). Cuối cùng, các chatbot hỗ trợ bởi AI đang được áp dụng trong tư vấn tài chính và dịch vụ khách hàng để cung cấp hỗ trợ tiết kiệm chi phí. Để hiểu rõ hơn về bản chất của hoạt động ngân hàng, bạn có thể xem thêm về bản chất của tín dụng ngân hàng.

LLMs cung cấp một số lợi thế so với các mô hình truyền thống trong lĩnh vực tài chính. Đầu tiên, LLMs tận dụng dữ liệu tiền huấn luyện rộng lớn của chúng để xử lý hiệu quả kiến thức thông thường, cho phép chúng hiểu các hướng dẫn bằng ngôn ngữ tự nhiên. Điều này đặc biệt hữu ích trong các tình huống mà việc huấn luyện có giám sát là khó khăn do dữ liệu tài chính được gắn nhãn hạn chế hoặc quyền truy cập hạn chế vào các tài liệu nhất định. LLMs có thể thực hiện các tác vụ thông qua học zero-shot (Li, 2023), thể hiện hiệu suất thỏa đáng trong các tác vụ phân loại tình cảm ở các cấp độ phức tạp khác nhau (Zhang et al., 2023). Thứ hai, LLMs cung cấp khả năng thích ứng và linh hoạt vượt trội so với các mô hình được giám sát khác. Thay vì huấn luyện các mô hình riêng biệt cho các tác vụ cụ thể, LLMs có thể xử lý nhiều tác vụ bằng cách đơn giản sửa đổi lời nhắc theo các hướng dẫn tác vụ khác nhau (Brown et al., 2020). Thứ ba, LLMs vượt trội trong việc chia các tác vụ mơ hồ hoặc phức tạp thành các kế hoạch khả thi. Ví dụ: Auto-GPT có thể tối ưu hóa danh mục đầu tư với các quỹ ETF vốn chủ sở hữu toàn cầu và quỹ ETF trái phiếu dựa trên các mục tiêu do người dùng xác định (Radovanovic, 2023).

Bài báo cũng thảo luận về các giải pháp LLM cho tài chính, bao gồm sử dụng học few-shot/zero-shot và tinh chỉnh một mô hình. Truy cập các giải pháp LLM trong tài chính có thể được thực hiện thông qua hai tùy chọn: sử dụng API từ các nhà cung cấp dịch vụ LLM hoặc sử dụng LLM nguồn mở. Các công ty như OpenAI, Google và Microsoft cung cấp các dịch vụ LLM thông qua API. Các dịch vụ này không chỉ cung cấp các khả năng mô hình ngôn ngữ cơ bản mà còn cung cấp các tính năng bổ sung được điều chỉnh cho các trường hợp sử dụng cụ thể. Ngoài các dịch vụ LLM do các công ty công nghệ cung cấp, các LLM nguồn mở cũng có thể được áp dụng cho các ứng dụng tài chính. Các mô hình như LLaMA, BLOOM, Flan-T5 và hơn thế nữa có sẵn để tải xuống từ kho mô hình Hugging Face. Tuy nhiên, việc làm việc với các mô hình nguồn mở cũng có những hạn chế của nó. Các số liệu đánh giá được báo cáo cho thấy có một khoảng cách hiệu suất giữa các mô hình nguồn mở và các mô hình độc quyền. Để hiểu thêm về cách các tổ chức tài chính hoạt động, bạn có thể đọc bài viết về vai trò của vốn chủ sở hữu trong hoạt động ngân hàng thương mại.

Việc tinh chỉnh LLM trong lĩnh vực tài chính có thể tăng cường khả năng hiểu ngôn ngữ và khả năng nắm bắt ngữ cảnh theo miền cụ thể, dẫn đến cải thiện hiệu suất trong các tác vụ liên quan đến tài chính và tạo ra các kết quả chính xác hơn, phù hợp hơn. Các kỹ thuật hiện đại để tinh chỉnh LLM thường rơi vào hai loại chính: tinh chỉnh tiêu chuẩn và tinh chỉnh hướng dẫn. Trong tinh chỉnh tiêu chuẩn, mô hình được huấn luyện trên các bộ dữ liệu thô mà không cần sửa đổi. Ngữ cảnh chính, câu hỏi và câu trả lời mong muốn được đưa trực tiếp vào LLM, với câu trả lời được che giấu trong quá trình huấn luyện để mô hình học cách tạo ra nó. Mặc dù đơn giản, cách tiếp cận này có hiệu quả rộng rãi. Tinh chỉnh hướng dẫn liên quan đến việc tạo các bộ dữ liệu dành riêng cho tác vụ, cung cấp các ví dụ và hướng dẫn để định hướng quá trình học tập của mô hình. Bằng cách xây dựng các hướng dẫn và trình diễn rõ ràng trong dữ liệu huấn luyện, mô hình có thể được tối ưu hóa để vượt trội ở các tác vụ nhất định hoặc tạo ra các đầu ra phù hợp với ngữ cảnh và mong muốn hơn.

Bài báo cũng giới thiệu quy trình ra quyết định để áp dụng LLMs cho các ứng dụng tài chính, xem xét các yếu tố như tính sẵn có của dữ liệu, tài nguyên tính toán và yêu cầu hiệu suất. Khung này khuyến nghị bắt đầu với các thử nghiệm quy mô nhỏ và dần dần tăng đầu tư vào các LLM tùy chỉnh nếu cần. Bài báo cũng thảo luận về các hạn chế và rủi ro liên quan đến việc sử dụng LLMs trong tài chính, bao gồm khả năng thông tin sai lệch, thiên vị và các vấn đề về quy định. Để hiểu rõ hơn về các yếu tố rủi ro trong lĩnh vực tài chính, bạn có thể tham khảo bài viết về các nhân tố ảnh hưởng đến quản trị rủi ro tài chính trong các doanh nghiệp.

3. Kết luận

Tóm lại, bài báo này cung cấp một khảo sát kịp thời và thiết thực về ứng dụng mới nổi của LLMs cho AI tài chính. Bài báo đã cấu trúc khảo sát xung quanh hai trụ cột quan trọng: giải pháp và hướng dẫn áp dụng. Các kết quả thử nghiệm cho thấy hiệu suất tăng đáng kể so với LLMs đa năng trên các tác vụ ngôn ngữ tự nhiên như phân tích tình cảm, trả lời câu hỏi và tóm tắt.

Để cung cấp hướng dẫn áp dụng, bài báo đã đề xuất một khuôn khổ có cấu trúc để lựa chọn chiến lược LLM tối ưu dựa trên các ràng buộc về tính khả dụng của dữ liệu, tài nguyên tính toán và nhu cầu hiệu suất. Khung này nhằm mục đích cân bằng giá trị và đầu tư bằng cách hướng dẫn các học viên từ thử nghiệm chi phí thấp đến tùy chỉnh nghiêm ngặt. Các LLM dành riêng cho tài chính đại diện cho một con đường thú vị để dân chủ hóa NLP tiên tiến trên toàn ngành.