Đề tài: Nghiên cứu tóm tắt văn bản tự động và ứng dụng
Ngành: Công nghệ thông tin
Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103
Tóm tắt nội dung tài liệu:
Luận văn này tập trung nghiên cứu bài toán tóm tắt văn bản tự động theo hướng tóm lược (abstractive summarization). Bài toán này được đánh giá có độ phức tạp cao và có thể làm cơ sở cho nhiều ứng dụng thực tế. Phương pháp giải quyết của luận văn tập trung vào xây dựng mô hình học sâu dựa trên mạng Long-Short Term Memory (LSTM).
Dựa trên các nghiên cứu về các mô hình mạng LSTM, các mô hình chuỗi sang chuỗi (sequence-to-sequence), các kỹ thuật véc tơ hóa từ và văn bản, luận văn đã xây dựng một kiến trúc mô hình học sâu sử dụng LSTM cho bài toán tóm tắt văn bản tự động với các tham số được tối ưu hóa cho việc huấn luyện và thử nghiệm trên máy tính cá nhân.
Luận văn cũng đã xây dựng tập dữ liệu cho tóm tắt văn bản tiếng Việt, sẵn sàng chia sẻ cho mục đích nghiên cứu và áp dụng trong tóm tắt văn bản tiếng Việt. Bộ dữ liệu gồm dữ liệu thô và dữ liệu đã được xử lý về dạng nhị phân.
Luận văn cũng đã thử nghiệm mô hình đã xây dựng với dữ liệu tiếng Anh và tiếng Việt và đánh giá bằng phương pháp ROUGE. Thử nghiệm với dữ liệu tiếng Việt về tin tức từ báo Tiền Phong và một số báo khác cho kết quả khả quan.
Mục lục chi tiết:
- MỤC LỤC
- DANH MỤC HÌNH VẼ
- MỞ ĐẦU
- CHƯƠNG 1: KHÁI QUÁT BÀI TOÁN TÓM TẮT VĂN BẢN
- 1.1. Bài toán tóm tắt văn bản tự động
- 1.2. Các hướng tiếp cận tóm tắt văn bản.
- CHƯƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN
- 2.1. Tóm tắt văn bản theo hướng trích chọn.
- 2.2. Tóm tắt văn bản theo hướng tóm lược
- CHƯƠNG 3: MẠNG NƠ RON NHÂN TẠO
- 3.1. Mạng nơ ron nhân tạo ANN
- 3.1.1. Cấu trúc mạng nơ ron nhân tạo
- 3.1.2. Hoạt động của mạng ANN
- 3.2. Mạng nơ ron hồi quy RNN
- 3.3. Mạng nơ ron có nhớ LSTM
- CHƯƠNG 4: XÂY DỰNG HỆ THỐNG TÓM TẮT VĂN BẢN THEO HƯỚNG TÓM LƯỢC
- 4.1. Quy trình tóm tắt theo hướng tóm lược sử dụng mạng LSTM
- 4.2. Xây dựng bộ dữ liệu cho tóm tắt văn bản tiếng Việt
- 4.3. Word Embedding
- 4.3.1. Embedding dựa trên tần xuất xuất hiện của từ.
- 4.3.1.1. Count vector
- 4.3.1.2. Phương pháp vector hóa TF-IDF
- 4.3.2. Word2Vec
- 4.3.2.1. CBOW (Continuous Bag of Word)
- 4.3.2.2. Mô hình Skip-gram
- 4.4. Xây dựng mô hình
- CHƯƠNG 5: THỬ NGHIỆM VÀ ĐÁNH GIÁ
- 5.1. Môi trường thử nghiệm
- 5.2. Quá trình thử nghiệm
- 5.2.1. Huấn luyện
- 5.2.2. Thử nghiệm
- 5.2.2.1. Thử nghiệm 1.
- 5.2.2.4. Thử nghiệm 4.
- KẾT LUẬN
- TÀI LIỆU THAM KHẢO