Dùng kỹ thuật nào để xác định cấu trúc cú pháp của câu bằng cách phân tích mối quan hệ giữa các từ?

Phương pháp hiệu quả để giải quyết vấn đề từ ngoài từ vựng (out-of-vocabulary - OOV) trong mô hình hóa ngôn ngữ là sử dụng mã hóa cặp byte (Byte Pair Encoding - BPE). BPE là một thuật toán nén dữ liệu đơn giản, lặp đi lặp lại việc thay thế cặp byte phổ biến nhất trong một chuỗi bằng một byte đơn lẻ mới. Trong mô hình hóa ngôn ngữ, BPE được sử dụng để tạo ra một vốn từ vựng con (subword vocabulary) từ dữ liệu huấn luyện, giúp mô hình xử lý các từ OOV bằng cách chia chúng thành các đơn vị con (subwords) đã biết. Các phương án khác không phù hợp: giải mã ý nghĩa của từ không trực tiếp giải quyết vấn đề OOV, mạng từ là một loại cơ sở dữ liệu từ vựng, và nhận dạng thực thể được đặt tên liên quan đến việc xác định các thực thể có tên trong văn bản, không giải quyết vấn đề từ OOV.

Dịch ngược (Back-translation) là một kỹ thuật phổ biến được sử dụng để cải thiện hiệu suất của các mô hình dịch máy bằng cách tận dụng dữ liệu đơn ngữ. Quá trình này bao gồm dịch một câu từ ngôn ngữ đích sang ngôn ngữ nguồn, sau đó sử dụng câu đã dịch này như một cặp dữ liệu song ngữ bổ sung để huấn luyện mô hình. Các phương án khác không trực tiếp liên quan đến việc sử dụng dữ liệu đơn ngữ để cải thiện hiệu suất dịch máy một cách hiệu quả như dịch ngược. Chuyển giao học tập (Transfer learning) sử dụng kiến thức từ các nhiệm vụ khác, học tăng cường (Reinforcement learning) sử dụng phần thưởng để huấn luyện, và tăng cường dữ liệu (Data augmentation) tạo ra các biến thể của dữ liệu hiện có, nhưng không tập trung vào việc dịch ngược để tạo dữ liệu song ngữ từ dữ liệu đơn ngữ.

Câu hỏi này kiểm tra kiến thức về các mô hình ngôn ngữ được đào tạo trước phổ biến. Trong các lựa chọn được đưa ra, chỉ có BERT là do Google phát triển, không phải OpenAI. Các mô hình còn lại (Word2Vec, GloVe, ElMo) đều được phát triển bởi các tổ chức khác hoặc là các công trình nghiên cứu độc lập. OpenAI nổi tiếng với việc phát triển các mô hình GPT (Generative Pre-trained Transformer). Vì không có lựa chọn nào do OpenAI phát triển nên câu hỏi này không có đáp án đúng.

Câu hỏi này kiểm tra kiến thức về các phương pháp xử lý ngôn ngữ tự nhiên. Trong đó, việc chia câu thành các thành phần ngữ pháp nhỏ hơn, có ý nghĩa được gọi là "Mã thông báo" (Tokenization). Các lựa chọn khác không liên quan trực tiếp đến việc phân tích cú pháp câu.

Phân tích ngữ nghĩa tiềm ẩn (LSA) là một kỹ thuật trong xử lý ngôn ngữ tự nhiên sử dụng các mẫu đồng xuất hiện của các từ trong một tập văn bản lớn để xây dựng biểu diễn ngữ nghĩa của các từ và tài liệu. Nó dựa trên ý tưởng rằng các từ xuất hiện gần nhau có xu hướng liên quan đến ngữ nghĩa. Các lựa chọn khác không phù hợp vì:

• Giải mã ý nghĩa của từ: Đây là một mục tiêu rộng hơn và không phải là một kỹ thuật cụ thể.
• Nhận dạng thực thể được đặt tên: Mục tiêu là xác định và phân loại các thực thể được đặt tên trong văn bản.
• Tóm tắt văn bản: Mục tiêu là tạo ra một phiên bản ngắn gọn của văn bản đầu vào.