Nhà khoa học Việt dùng AI dịch chữ Nôm sang chữ Quốc ngữ
Nhóm nghiên cứu gồm 10 giảng viên đến từ Khoa Công nghệ Thông tin, Đại học Khoa học Tự nhiên và Bộ môn Hán - Nôm, khoa Văn học, Đại học Khoa học Xã hội và Nhân văn (Đại học Quốc gia TP HCM). Nhóm xây dựng hệ thống chuyển ngữ tự động (automatic transliteration) từ năm 2020 và hiện đã hoàn thành. Người dùng có thể tra cứu tại: tools.clc.hcmus.edu.vn.
Ý tưởng xây dựng hệ thống phiên dịch tự động được PGS.TS Đinh Điền, Giám đốc Trung tâm ngôn ngữ học tính toán, Đại học Khoa học Tự nhiên ấp ủ từ hơn 20 năm trước. Tuy nhiên, thời điểm đó chưa có nhiều nguồn dữ liệu Hán - Nôm cũng như các mô hình máy học tiên tiến. Nhiều năm sau, với sự xuất hiện các mô hình học sâu (deep learning) của trí tuệ nhân tạo, họ mới bắt đầu phát triển mô hình phiên dịch tự động này.
Nhóm nghiên cứu thu thập nguồn tài liệu Hán - Nôm tại các viện nghiên cứu, thư viện, website, nhà khoa học trong và ngoài nước với kho dữ liệu hàng trăm triệu từ. Dữ liệu được sử dụng mô hình lai (hybrid) bằng cách kết hợp giữa mô hình máy học dịch thống kê (SMT: Statistical Machine Translation) và mô hình máy dịch theo mạng nơron (NMT: Neural Machine Translation).
Theo PGS Điền, mô hình NMT khả năng dịch ngôn ngữ tự nhiên tốt hơn, nhưng với SMT thì khả năng chuyển tự chữ Hán - Nôm sang chữ Quốc ngữ lại có ưu thế hơn do không có sự thay đổi trật tự từ như trong chuyển ngữ thường gặp. Vì vậy, tùy từng trường hợp, nhóm sẽ kết hợp sử dụng mô hình để cho kết quả tối ưu. Với việc xây dựng hệ thống chuyển ngữ hoạt động trên website, khả năng dịch của hệ thống cho độ chính xác tùy theo lĩnh vực.
Cụ thể, với các văn bản thuộc lĩnh vực lịch sử, văn học, xã hội, hệ thống cho kết quả chính xác trên 90%. Các văn bản về y học dân tộc và các tài liệu mang tính chuyên ngành, mô hình cho độ chính xác 70%. Riêng truyện Kiều mô hình có thể dịch chính xác tới 99%.
Để thuận lợi trong sử dụng, nhóm nghiên cứu đang phát triển mô hình có thể dịch chữ Nôm trên ảnh chụp. Khi người dùng đưa ảnh chụp có chứa chữ Nôm, ứng dụng sẽ xử lý chuyển thành văn bản tiếng Việt.
PGS Điền cho biết, với các văn bản cũ chữ bị mờ, thiếu nét, mô hình có thể nhận dạng sai. Tuy nhiên, nhóm đang nghiên cứu giải pháp có khả năng dự đoán chữ viết dựa trên nét chữ và ngữ cảnh trên cả văn bản để có thể đoán chính xác chữ không rõ ràng. Chức năng dịch ảnh đang trong giai đoạn thử nghiệm và chưa ứng dụng công khai. Kết quả thử nghiệm bước đầu một số ảnh chụp văn bản chất lượng thấp, nhưng mô hình có thể nhận dạng chính xác 95%.
Giao diện website chuyển tự chữ Nôm sang chữ Quốc ngữ của nhóm nghiên cứu.
Theo nhóm nghiên cứu, đây là dự án phi lợi nhuận nhằm hướng đến công cụ dịch chuẩn xác từ chữ Hán - Nôm sang chữ Quốc ngữ. Thông qua dự án, cộng đồng có thể đóng góp nguồn tư liệu chữ Hán - Nôm để cập nhật thêm kho ngữ liệu huấn luyện mô hình phong phú hơn, giúp hoạt động chính xác hơn. Thông qua website, các nhà nghiên cứu có thể hiệu chỉnh những lỗi nhận dạng chữ Hán - Nôm sai hay chuyển tự sai, giúp máy ngày càng hoàn thiện hơn.
Thử nghiệm khả năng dịch của mô hình từ ảnh chụp, độ chính xác trên 95%.
TS Hồ Minh Quang, Trưởng khoa Đông Phương Học, Đại học Khoa học Xã hội và Nhân văn (Đại học Quốc gia TP HCM) đánh giá nghiên cứu có ý nghĩa lớn trong việc gìn giữ di sản ngôn ngữ Hán - Nôm. Trước đây việc đọc, hiểu chữ Nôm chủ yếu là trong giới nghiên cứu. Sản phẩm của nhóm có thể giúp người dùng nhận diện, tra cứu thông tin sang chữ Quốc ngữ. Ông cũng cho rằng, rất cần sự đóng góp dữ liệu của cộng đồng để mô hình thông minh, dịch chuẩn xác hơn.
Chữ Nôm hiện vẫn còn tồn tại nhiều trong dân gian, như trong các sắc phong, gia phả, khế ước, di chúc, bài thuốc... Các văn bản này được ghi lại cách đây hàng trăm năm, trên các chất liệu chất lượng thấp, dễ hư hỏng theo thời gian nếu không được bảo quản trong điều kiện đặc biệt. Trong các văn bản chữ Nôm, có thể có nhiều thông tin quý, nhưng người dân không tự đọc hiểu được mà phải những người biết Hán - Nôm để phiên dịch qua chữ Quốc ngữ. Nhóm nghiên cứu cũng cho rằng, việc có công cụ phiên dịch chữ Nôm sang chữ Quốc ngữ sẽ giúp người không biết Hán - Nôm vẫn có thể giải mã thông tin của nhiều tư liệu quý do tổ tiên họ để lại, trong đó có những bài thuốc dân gian, trong ngành y học cổ truyền đang lưu truyền trong nhân dân.
Theo vnexpress.net
Tin cùng chuyên mục
- Quyết tâm chuyển đổi số sâu rộng, toàn diện, thực chất, hiệu quả 17.10.2024 | 15:31 PM
- Sóng nhiệt kỷ lục ở Nam cực đe dọa tương lai Trái đất 06.08.2024 | 09:46 AM
- 201 thí sinh tham gia Hội thi tin học trẻ tỉnh Thái Bình năm 2024 10.06.2024 | 19:17 PM
- Tổng kết và trao giải hội thi, cuộc thi sáng tạo khoa học năm 2022 - 2023 18.12.2023 | 16:35 PM
- Hội thảo khoa học về vai trò của khoa học và công nghệ trong việc sản xuất, tiêu thụ và phát triển sản phẩm nông nghiệp 16.12.2023 | 14:38 PM
- Hội nghị khoa học về chẩn đoán và điều trị bệnh lý tim mạch 28.10.2023 | 12:02 PM
- Ứng dụng công nghệ sinh học trong sản xuất nước mắm 15.02.2023 | 18:51 PM
- Tàu container lớn nhất thế giới 13.02.2023 | 08:42 AM
- Phát triển thị trường khoa học và công nghệ đồng bộ, hiệu quả, hiện đại và hội nhập 23.09.2022 | 21:19 PM
- Hội thảo tư vấn, phản biện về cơ chế, chính sách hỗ trợ các hoạt động phát triển khoa học, công nghệ 07.06.2022 | 16:39 PM
Xem tin theo ngày
- Tiếp tục chương trình kỳ họp thứ tám, Quốc hội thảo luận tại tổ về các dự án luật
- Họp Ban Cán sự đảng UBND tỉnh
- Ký kết Quy chế phối hợp công tác giữa Ban Cán sự đảng UBND tỉnh với Ban Cán sự đảng Viện Kiểm sát nhân dân tỉnh
- Tiếp tục chương trình kỳ họp thứ tám, Quốc hội thảo luận về các dự thảo nghị quyết
- Đồng chí Nguyễn Khắc Thận, Phó Bí thư Tỉnh ủy, Chủ tịch UBND tỉnh tiếp xúc cử tri tại thành phố Thái Bình
- Quốc hội tiếp tục họp đợt 2 của kỳ họp thứ tám
- Các đồng chí lãnh đạo tỉnh chúc mừng Sở Giáo dục và Đào tạo nhân ngày Nhà giáo Việt Nam
- Đồng chí Nguyễn Tiến Thành, Phó Bí thư thường trực Tỉnh ủy, Chủ tịch HĐND tỉnh chúc mừng ngày Nhà giáo Việt Nam tại xã Vũ Lăng
- Đồng chí Nguyễn Khắc Thận, Phó Bí thư Tỉnh ủy, Chủ tịch UBND tỉnh chúc mừng ngày Nhà giáo Việt Nam tại Trường Tiểu học và THCS Đông Vinh
- Nhân lên truyền thống “tôn sư, trọng đạo”