Dữ liệu
-
Từ điển tiếng Việt
- Khoảng 35.000 từ, với các thông tin hình thái, ngữ pháp, ngữ nghĩa dùng cho xử lý ngôn ngữ tự nhiên;
- Chứa đựng đủ lớp từ thông dụng trong tiếng Việt hiện đại;
- Mô hình từ điển theo chuẩn quốc tế nhằm sử dụng/trao đổi được giữa nhiều hệ thống, thuận tiện cho nghiên cứu đối sánh các ngôn ngữ, dễ cập nhật khi cần thiết;
- Mã hoá chuẩn XML.
-
Treebank tiếng Việt
- Văn bản thuộc chủ đề Chính trị – Xã hội của báo Tuổi Trẻ;
- 70,000 câu đã được tách từ (90,000 nếu tính cả hai tập dữ liệu bên dưới);
- 10,000 câu đã được gán nhãn từ loại (20,000 nếu tính cả tập dữ liệu bên dưới);
- 10,000 cây cú pháp;
- Khuôn dạng tương tự treebank tiếng Anh (Penn Treebank).
-
Kho ngữ liệu song ngữ Anh-Việt
- 80,000 cặp câu Kinh tế – Xã hội;
- 20,000 cặp câu Tin học.
Công cụ
-
Hệ tách từ tiếng Việt
- Sử dụng kết hợp từ điển và ngram, trong đó mô hình ngram được huấn luyện sử dụng treebank tiếng Việt (70,000 câu đã được tách từ);
- Độ chính xác trên 97%.
Tải về: vnTokenizer 4.1.1c (04/08/2010) ~6.5 MB / Website tác giả
-
Hệ gán nhãn từ loại tiếng Việt
- Dựa trên các mô hình học máy MEMs và CRFs;
- Được huấn luyện sử dụng dữ liệu treebank tiếng Việt (20,000 câu đã được gán nhãn từ loại);
- Độ chính xác trên 93%.
Download: VietTagger
-
Hệ phân tích cụm từ tiếng Việt
- Dựa trên mô hình học máy CRFs;
- Được huấn luyện sử dụng dữ liệu treebank tiếng Việt (10,000 cây cú pháp);
- F-score đạt 81%.
Download: VietChunker
-
Hệ phân tích cú pháp tiếng Việt
- Dựa trên mô hình văn phạm phi ngữ cảnh xác suất;
- Được huấn luyện sử dụng dữ liệu treebank tiếng Việt (10,000 cây cú pháp);
- F-score đạt 78%.