Giới thiệu
Tên đề tài: Khóa luận tốt nghiệp Đại học ngành Công nghệ thông tin: Phân đoạn từ Tiếng Việt sử dụng mô hình CRFs
Ngành: Công nghệ thông tin
Tóm tắt nội dung tài liệu:
Phân đoạn từ là một bước cơ bản trong trích chọn thông tin từ văn bản và xử lý ngôn ngữ tự nhiên, đặc biệt quan trọng đối với tiếng Việt. Khóa luận này trình bày một giải pháp cho bài toán phân đoạn từ tiếng Việt bằng cách xây dựng hệ thống dựa trên mô hình Conditional random fields (CRFs). Mô hình CRF được lựa chọn vì khả năng xử lý dữ liệu dạng chuỗi và tích hợp nhiều đặc điểm dữ liệu, giúp cải thiện độ chính xác cho bài toán phân đoạn từ.
Luận văn đi sâu vào nghiên cứu đặc điểm từ vựng tiếng Việt, các phương pháp phân đoạn từ hiện có, và đề xuất phương pháp tiếp cận sử dụng mô hình CRFs. Các chương của luận văn bao gồm:
- Chương 1: Trình bày tổng quan về bài toán phân đoạn từ tiếng Việt, các đặc điểm ngôn ngữ và các phương pháp tiếp cận đã có.
- Chương 2: Giới thiệu chi tiết về mô hình Conditional Random Fields (CRFs), một mô hình học máy mạnh mẽ cho các bài toán xử lý chuỗi.
- Chương 3: Mô tả cách áp dụng mô hình CRFs vào bài toán phân đoạn từ tiếng Việt, bao gồm thu thập và chuẩn bị dữ liệu, lựa chọn thuộc tính và cách đánh giá mô hình.
- Chương 4: Trình bày kết quả thử nghiệm và đánh giá hiệu quả của hệ thống được xây dựng.
Luận văn cũng đề cập đến ý nghĩa và đóng góp, bao gồm việc đề xuất một hướng tiếp cận mới, xây dựng bộ dữ liệu chuẩn và tiềm năng ứng dụng trong các lĩnh vực như máy tìm kiếm, dịch tự động và kiểm tra chính tả tiếng Việt.
Mục lục chi tiết:
- Lời cảm ơn
- Tóm tắt
- Mục lục
- Bảng từ viết tắt
- Lời nói đầu
- Chương 1: Phân đoạn từ tiếng Việt
- 1.1 Từ vựng tiếng Việt
- 1.1.1 Tiếng – đơn vị cấu tạo lên từ
- 1.1.2 Cấu tạo từ
- 1.1.3 Nhập nhằng
- 1.2 Phân đoạn từ tiếng Việt bằng máy tính
- 1.2.1 Phương pháp Maximum Matching
- 1.2.2 Phương pháp TBL
- 1.2.3 Phương pháp WFST
- 1.3 Phương pháp tiếp cận của khóa luận
- 1.4 Tổng kết chương
- Chương 2: Conditional Random Field
- 2.1 Định nghĩa CRF
- 2.2 Huấn luyện CRF
- 2.3 Suy diễn CRF
- 2.4 Tổng kết chương
- Chương 3: Phân đoạn từ tiếng Việt với mô hình CRF
- 3.1 Mô tả bài toán phận đoạn từ tiếng Việt
- 3.2 Lựa chọn thuộc tính
- 3.3 Cách đánh giá
- 3.4 Tổng kết chương
- Chương 4: Thử nghiệm và đánh giá
- 4.1 Môi trường thử nghiệm
- 4.2 Mô tả thử nghiệm
- 4.3 Kết quả thử nghiệm
- 4.4 Phân tích và thảo luận kết quả thử nghiệm
- 4.5 Tổng kết chương
- Phần kết luận
- Tổng kết công việc đã làm và đóng góp của luận văn
- Hướng nghiên cứu tiếp theo
- Tài liệu tham khảo