Mục đích của cơ chế chú ý trong mạng lưới thần kinh là gì?

Phương pháp hiệu quả để giải quyết vấn đề từ ngoài từ vựng (out-of-vocabulary - OOV) trong mô hình hóa ngôn ngữ là sử dụng mã hóa cặp byte (Byte Pair Encoding - BPE). BPE là một thuật toán nén dữ liệu đơn giản, lặp đi lặp lại việc thay thế cặp byte phổ biến nhất trong một chuỗi bằng một byte đơn lẻ mới. Trong mô hình hóa ngôn ngữ, BPE được sử dụng để tạo ra một vốn từ vựng con (subword vocabulary) từ dữ liệu huấn luyện, giúp mô hình xử lý các từ OOV bằng cách chia chúng thành các đơn vị con (subwords) đã biết. Các phương án khác không phù hợp: giải mã ý nghĩa của từ không trực tiếp giải quyết vấn đề OOV, mạng từ là một loại cơ sở dữ liệu từ vựng, và nhận dạng thực thể được đặt tên liên quan đến việc xác định các thực thể có tên trong văn bản, không giải quyết vấn đề từ OOV.

Dịch ngược (Back-translation) là một kỹ thuật phổ biến được sử dụng để cải thiện hiệu suất của các mô hình dịch máy bằng cách tận dụng dữ liệu đơn ngữ. Quá trình này bao gồm dịch một câu từ ngôn ngữ đích sang ngôn ngữ nguồn, sau đó sử dụng câu đã dịch này như một cặp dữ liệu song ngữ bổ sung để huấn luyện mô hình. Các phương án khác không trực tiếp liên quan đến việc sử dụng dữ liệu đơn ngữ để cải thiện hiệu suất dịch máy một cách hiệu quả như dịch ngược. Chuyển giao học tập (Transfer learning) sử dụng kiến thức từ các nhiệm vụ khác, học tăng cường (Reinforcement learning) sử dụng phần thưởng để huấn luyện, và tăng cường dữ liệu (Data augmentation) tạo ra các biến thể của dữ liệu hiện có, nhưng không tập trung vào việc dịch ngược để tạo dữ liệu song ngữ từ dữ liệu đơn ngữ.

Câu hỏi này kiểm tra kiến thức về các mô hình ngôn ngữ được đào tạo trước phổ biến. Trong các lựa chọn được đưa ra, chỉ có BERT là do Google phát triển, không phải OpenAI. Các mô hình còn lại (Word2Vec, GloVe, ElMo) đều được phát triển bởi các tổ chức khác hoặc là các công trình nghiên cứu độc lập. OpenAI nổi tiếng với việc phát triển các mô hình GPT (Generative Pre-trained Transformer). Vì không có lựa chọn nào do OpenAI phát triển nên câu hỏi này không có đáp án đúng.