Mục tiêu chính của xử lý ngôn ngữ tự nhiên là gì?

Phân tích câu hỏi: Câu hỏi yêu cầu xác định kỹ thuật thường được sử dụng trong phân loại văn bản.

Phân tích các lựa chọn:

• A. Phân tích ngữ nghĩa tiềm ẩn (LSA): LSA là một kỹ thuật giảm chiều dữ liệu và khám phá ngữ nghĩa, thường được sử dụng để tìm mối quan hệ giữa các từ và các đoạn văn bản, nhưng không phải là một thuật toán phân loại trực tiếp.
• B. Mạng thần kinh tích chập (CNN): CNN, đặc biệt là các biến thể được thiết kế cho xử lý ngôn ngữ tự nhiên (NLP), thường được sử dụng trong phân loại văn bản. CNN có thể học các đặc trưng quan trọng từ văn bản.
• C. Phân tích thành phần chính (PCA): PCA là một kỹ thuật giảm chiều dữ liệu, thường được sử dụng để giảm số lượng biến trong một tập dữ liệu, nhưng không phải là một thuật toán phân loại.
• D. Máy vectơ hỗ trợ (SVM): SVM là một thuật toán học có giám sát mạnh mẽ, rất hiệu quả trong phân loại văn bản. SVM tìm một siêu phẳng tối ưu để phân tách các lớp dữ liệu.

Kết luận: Cả CNN và SVM đều là các kỹ thuật phổ biến trong phân loại văn bản. Tuy nhiên, SVM thường được sử dụng rộng rãi hơn và được xem là một trong những thuật toán cổ điển và hiệu quả cho nhiệm vụ này, đặc biệt khi dữ liệu có chiều cao. CNN nổi lên mạnh mẽ hơn trong các bài toán xử lý ngôn ngữ tự nhiên phức tạp gần đây.

Vì vậy, cả B và D đều có thể coi là đáp án đúng, nhưng vì câu hỏi hỏi "thường được sử dụng", SVM có lẽ là lựa chọn phù hợp hơn xét đến lịch sử phát triển của lĩnh vực.

Quá trình chuyển đổi một từ về dạng gốc hay dạng cơ bản của nó (ví dụ: "running" về "run") được gọi là "lemmatization" trong tiếng Anh. Trong tiếng Việt, thuật ngữ tương ứng và được sử dụng phổ biến là "Từ ngữ hóa". Các lựa chọn khác không phù hợp vì:

• "Mã thông báo" (Tokenization) là quá trình chia một chuỗi văn bản thành các đơn vị nhỏ hơn (tokens).


• "Thân cây" (Stemming) là một kỹ thuật rút gọn từ về dạng gốc bằng cách loại bỏ các hậu tố hoặc tiền tố, nhưng không đảm bảo từ gốc là một từ có nghĩa.


• "Gắn thẻ một phần của bài phát biểu" (Part-of-speech tagging) là quá trình gán nhãn ngữ pháp cho mỗi từ trong một câu.

Mô hình Markov ẩn (HMM) là một thuật toán xác suất thống kê thường được sử dụng trong nhận dạng thực thể được đặt tên (Named Entity Recognition - NER). HMM đặc biệt hữu ích để mô hình hóa chuỗi các sự kiện, trong đó mỗi sự kiện phụ thuộc vào một số sự kiện trước đó. Trong NER, HMM có thể được sử dụng để xác định chuỗi các từ tạo thành một thực thể được đặt tên, dựa trên các đặc điểm và ngữ cảnh của chúng. Các thuật toán khác như phân cụm K-mean, Apriori và cây quyết định không phù hợp trực tiếp cho nhiệm vụ NER.

Mô hình Bag-of-Words (BoW) trong NLP (Xử lý ngôn ngữ tự nhiên) được sử dụng chủ yếu để biểu diễn một văn bản (ví dụ: một câu, một đoạn văn, hoặc một tài liệu) như một tập hợp không có thứ tự các từ của nó, bỏ qua ngữ pháp và thậm chí cả thứ tự từ, nhưng vẫn giữ lại thông tin về tần suất xuất hiện của mỗi từ. Mục đích chính của nó là tạo ra một vectơ đại diện cho văn bản dựa trên tần số của các từ, cho phép các thuật toán học máy xử lý và phân tích văn bản đó. Vì vậy, đáp án B "Để tính tần số từ" là chính xác nhất, mặc dù đáp án A "Biểu diễn các từ dưới dạng vectơ" cũng đúng, nhưng nó mô tả kết quả của việc tính tần số từ, chứ không phải mục đích chính của mô hình BoW.

NLTK (Natural Language Toolkit) là một thư viện Python phổ biến và mạnh mẽ, cung cấp một bộ công cụ toàn diện cho các tác vụ xử lý ngôn ngữ tự nhiên (NLP). Nó bao gồm các công cụ để phân tích cú pháp, phân tích ngữ nghĩa, gắn thẻ POS, tách từ, và nhiều hơn nữa. TensorFlow và PyTorch là các thư viện học sâu thường được sử dụng trong NLP, nhưng chúng không phải là các thư viện NLP chuyên dụng. Scikit-learn là một thư viện học máy đa năng, nhưng nó không tập trung vào NLP.