Công nghệ nào được sử dụng để tuần tự hóa dữ liệu trong Hadoop?

Avro được thiết kế để tích hợp tốt với Hadoop và MapReduce. Nó cung cấp một lược đồ cho phép MapReduce xử lý dữ liệu hiệu quả. Do đó, bạn có thể chạy MapReduce trực tiếp trên dữ liệu Avro mà không cần mã hóa mở rộng bổ sung.

Giải thích:

Thành phần truy xuất các phân tách đầu vào trực tiếp từ HDFS (Hadoop Distributed File System) để xác định số lượng tác vụ map là JobClient. JobClient có trách nhiệm gửi job tới JobTracker và tính toán các InputSplits. Dựa trên số lượng InputSplits, JobClient sẽ xác định số lượng map tasks cần thiết để xử lý dữ liệu.

Các lựa chọn khác không đúng vì:

• Mã Tên (NameNode): Quản lý không gian tên của hệ thống tệp và điều phối quyền truy cập tệp.
• TaskTrackers: Thực thi các tác vụ riêng lẻ được giao bởi JobTracker.
• JobTracker: Điều phối tất cả các jobs được chạy trên hệ thống Hadoop.

Bộ nhớ đệm phân tán (Distributed Cache) là một cơ chế trong Hadoop cho phép các tác vụ truy cập nhanh chóng đến các tệp chỉ đọc (read-only) được chia sẻ bởi tất cả các tác vụ trong một công việc (job). Hadoop sẽ sao chép các tệp này đến tất cả các nút (node) nơi các tác vụ được thực thi. Điều này giúp tránh việc đọc đi đọc lại tệp từ HDFS, tăng hiệu suất đáng kể.

Xét các phương án:

• A: Đúng. Hadoop framework đảm bảo các tệp trong bộ đệm phân tán được phân phối đến tất cả các tác vụ map và reduce.


• B: Đúng. Các tệp có thể là tệp văn bản, tệp zip hoặc JAR.


• C: Sai. Disk I/O không hoàn toàn bị tránh. Dữ liệu được sao chép từ HDFS vào ổ đĩa cục bộ của các nút, sau đó các tác vụ sẽ đọc từ ổ đĩa cục bộ này, thay vì đọc trực tiếp từ HDFS. Điều này vẫn cần I/O từ ổ đĩa cục bộ, nhưng nhanh hơn nhiều so với I/O từ HDFS.


• D: Đúng. Hadoop sẽ sao chép các tệp vào nút phụ trước khi các tác vụ được thực thi.

Vậy, phát biểu sai là C.

Lệnh start-dfs.sh được sử dụng trong Hadoop để khởi động các tiến trình cần thiết cho hệ thống tệp phân tán Hadoop (HDFS). Cụ thể, nó khởi động cả NameNode (nút quản lý không gian tên hệ thống tệp và siêu dữ liệu) và DataNode (các nút lưu trữ dữ liệu thực tế). Do đó, đáp án chính xác là A.