PIXIU: A Large Language Model, Instruction Data And Evaluation Benchmark For Finance

1. Thông tin Nghiên cứu khoa học

• Tên nghiên cứu tiếng Anh: PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
• Tên nghiên cứu tiếng Việt: PIXIU: Mô hình ngôn ngữ lớn, Dữ liệu hướng dẫn và Điểm chuẩn đánh giá cho lĩnh vực tài chính
• Tác giả: Qianqian Xie, Weiguang Han, Xiao Zhang, Yanzhao Lai, Min Peng, Alejandro Lopez-Lira, Jimin Huang
• Số trang file pdf: 12
• Năm: 2023
• Nơi xuất bản: arXiv
• Chuyên ngành học: Khoa học máy tính (Computer Science)
• Từ khoá: Large Language Model (LLM), Instruction Tuning, Financial AI, Benchmark, Financial NLP, Financial Prediction.

2. Nội dung chính

Bài báo giới thiệu PIXIU, một khuôn khổ toàn diện bao gồm mô hình ngôn ngữ lớn (LLM) đầu tiên dành cho tài chính, FinMA, được tinh chỉnh từ LLaMA bằng dữ liệu hướng dẫn. Đi kèm với đó là bộ dữ liệu hướng dẫn đầu tiên với 136 nghìn mẫu dữ liệu để hỗ trợ quá trình tinh chỉnh, và một bộ tiêu chuẩn đánh giá với 5 tác vụ và 9 bộ dữ liệu. Nhóm nghiên cứu đã xây dựng một bộ dữ liệu hướng dẫn đa nhiệm vụ quy mô lớn, xem xét nhiều tác vụ tài chính, loại tài liệu tài chính và phương thức dữ liệu tài chính khác nhau. Sau đó, họ đề xuất FinMA, một LLM tài chính bằng cách tinh chỉnh LLaMA với bộ dữ liệu đã xây dựng để có thể tuân theo các hướng dẫn cho các tác vụ tài chính khác nhau. Để hỗ trợ việc đánh giá các LLM tài chính, nhóm nghiên cứu đề xuất một bộ tiêu chuẩn chuẩn hóa bao gồm một tập hợp các tác vụ tài chính quan trọng, bao gồm năm tác vụ NLP tài chính và một tác vụ dự đoán tài chính. Với bộ tiêu chuẩn này, họ tiến hành phân tích chi tiết về FinMA và một số LLM hiện có, khám phá ra những điểm mạnh và điểm yếu của chúng trong việc xử lý các tác vụ tài chính quan trọng. Mô hình, bộ dữ liệu, tiêu chuẩn và kết quả thử nghiệm được công khai để tạo điều kiện cho nghiên cứu trong tương lai về AI tài chính.

Cụ thể, nhóm nghiên cứu tập trung vào việc giải quyết ba câu hỏi nghiên cứu chính: (1) Làm thế nào để phát triển các LLM hiệu quả và có sẵn công khai được thiết kế riêng cho lĩnh vực tài chính? (2) Làm thế nào để xây dựng dữ liệu hướng dẫn tài chính chất lượng cao và quy mô lớn? (3) Làm thế nào để xây dựng bộ tiêu chuẩn đánh giá tài chính toàn diện để đánh giá các LLM tài chính? Để giải quyết những câu hỏi này, họ đã đề xuất PIXIU, một khuôn khổ toàn diện bao gồm LLM tài chính đầu tiên, FinMA, dựa trên việc tinh chỉnh LLaMA với dữ liệu hướng dẫn đa nhiệm vụ và đa phương thức. PIXIU cũng chứa dữ liệu hướng dẫn đầu tiên với 136K mẫu dữ liệu để hỗ trợ việc tinh chỉnh và một tiêu chuẩn đánh giá toàn diện với bốn tác vụ NLP tài chính và một tác vụ dự đoán tài chính.

So với phương pháp tự hướng dẫn thường được sử dụng bởi các LLM hiện có như Alpaca, nhóm nghiên cứu chọn xây dựng bộ dữ liệu tinh chỉnh hướng dẫn từ các bộ dữ liệu nguồn mở vì một số lý do: các bộ dữ liệu nguồn mở thường được chú thích bởi các chuyên gia trong lĩnh vực, cho thấy chất lượng cao, chi phí rất thấp và không có giới hạn về sử dụng thương mại, không giống như các bộ dữ liệu được xây dựng từ ChatGPT hoặc GPT-4, và các bộ dữ liệu nguồn mở này bao gồm nhiều loại văn bản như tin tức, báo cáo và tweet, cũng như đa phương thức bao gồm dữ liệu chuỗi thời gian, bảng và văn bản.

Để xây dựng dữ liệu hướng dẫn đa nhiệm vụ và đa phương thức, nhóm nghiên cứu thu thập dữ liệu huấn luyện được phát hành công khai từ nhiều tác vụ khác nhau, bao gồm phân tích tình cảm tài chính, phân loại tiêu đề tin tức, nhận dạng thực thể có tên, trả lời câu hỏi và dự đoán biến động chứng khoán, đồng thời đề xuất các hướng dẫn cụ thể cho từng tác vụ khác nhau được viết bởi các chuyên gia trong lĩnh vực này. Họ tạo ra một dữ liệu tinh chỉnh hướng dẫn quy mô lớn FIT bằng cách lắp ráp các hướng dẫn cụ thể cho từng tác vụ với các mẫu dữ liệu từ mỗi tác vụ. Do đó, nhóm nghiên cứu đề xuất LLM dành riêng cho lĩnh vực FinMA bằng cách thực hiện tinh chỉnh hướng dẫn đa tác vụ trên LLaMA với bộ dữ liệu xây dựng. Để đánh giá mô hình của nhóm và các LLM khác một cách toàn diện, họ xây dựng Điểm chuẩn Đánh giá Dự đoán và Hiểu Ngôn ngữ Tài chính (FLARE) bao gồm 4 tác vụ NLP tài chính với 6 bộ dữ liệu và 1 tác vụ dự đoán tài chính với 3 bộ dữ liệu.

Dựa trên FLARE, nhóm nghiên cứu đánh giá hiệu suất của mô hình của nhóm, BloombergGPT và các LLM tiên tiến trong lĩnh vực chung, chẳng hạn như ChatGPT và GPT-4. Kết quả thử nghiệm cho thấy: 1) FinMA vượt trội hơn đáng kể so với các LLM, bao gồm BloombergGPT, ChatGPT và GPT-4 trong hầu hết các tác vụ trong FLARE, bao gồm phân tích tình cảm tài chính, phân loại tiêu đề tin tức, NER và dự đoán biến động chứng khoán. Điều này chứng minh tầm quan trọng của việc điều chỉnh các LLM đặc biệt cho lĩnh vực tài chính. 2) Mặc dù có kết quả đầy hứa hẹn ở hầu hết các tác vụ, FinMA hoạt động kém hơn BloombergGPT, ChatGPT và GPT-4 trong việc trả lời câu hỏi, điều này đánh giá khả năng suy luận định lượng của LLM. Phân tích của nhóm nghiên cứu cho thấy điều này là do hạn chế của LLaMA về suy luận định lượng và toán học. 3) So với các tác vụ NLP, tất cả các LLM, bao gồm FinMA, ChatGPT và GPT-4, vẫn thể hiện hiệu suất hạn chế trong việc dự đoán biến động chứng khoán, cho thấy vẫn còn dư địa để cải thiện hơn nữa. 4) FinMA được tinh chỉnh với cả tác vụ NLP và dự đoán tài chính, thể hiện hiệu suất tốt nhất trên một trong các bộ dữ liệu dự đoán chứng khoán, cho thấy tiềm năng của việc tinh chỉnh hướng dẫn cụ thể cho từng tác vụ của LLM trên các tác vụ dự đoán tài chính.

3. Kết luận

Nghiên cứu này đã giới thiệu PIXIU, một khuôn khổ toàn diện bao gồm mô hình ngôn ngữ lớn (LLM) mã nguồn mở đầu tiên dành cho tài chính (FinMA), bộ dữ liệu điều chỉnh hướng dẫn (FIT) và tiêu chuẩn đánh giá (FLARE). Qua quá trình đánh giá mở rộng, nghiên cứu đã chứng minh được hiệu quả của FinMA trong nhiều tác vụ tài chính khác nhau, đồng thời cho thấy tiềm năng của việc điều chỉnh hướng dẫn cụ thể theo lĩnh vực đối với các mô hình ngôn ngữ lớn trong lĩnh vực tài chính. Mặc dù vậy, vẫn còn tồn tại những thách thức như cải thiện hiệu suất trong các tác vụ phức tạp và giải quyết các hạn chế về nguồn lực. Đóng góp mã nguồn mở của nghiên cứu này nhằm tạo điều kiện thuận lợi cho các nghiên cứu và đổi mới tiếp theo trong lĩnh vực hiểu ngôn ngữ tài chính, dự đoán và LLM, hướng tới các LLM hữu ích và an toàn hơn trong lĩnh vực tài chính.