Bạn có thể chạy MapReduce trực tiếp trên dữ liệu Avro không?

Giải thích:

Thành phần truy xuất các phân tách đầu vào trực tiếp từ HDFS (Hadoop Distributed File System) để xác định số lượng tác vụ map là JobClient. JobClient có trách nhiệm gửi job tới JobTracker và tính toán các InputSplits. Dựa trên số lượng InputSplits, JobClient sẽ xác định số lượng map tasks cần thiết để xử lý dữ liệu.

Các lựa chọn khác không đúng vì:

• Mã Tên (NameNode): Quản lý không gian tên của hệ thống tệp và điều phối quyền truy cập tệp.
• TaskTrackers: Thực thi các tác vụ riêng lẻ được giao bởi JobTracker.
• JobTracker: Điều phối tất cả các jobs được chạy trên hệ thống Hadoop.

Bộ nhớ đệm phân tán (Distributed Cache) là một cơ chế trong Hadoop cho phép các tác vụ truy cập nhanh chóng đến các tệp chỉ đọc (read-only) được chia sẻ bởi tất cả các tác vụ trong một công việc (job). Hadoop sẽ sao chép các tệp này đến tất cả các nút (node) nơi các tác vụ được thực thi. Điều này giúp tránh việc đọc đi đọc lại tệp từ HDFS, tăng hiệu suất đáng kể.

Xét các phương án:

• A: Đúng. Hadoop framework đảm bảo các tệp trong bộ đệm phân tán được phân phối đến tất cả các tác vụ map và reduce.


• B: Đúng. Các tệp có thể là tệp văn bản, tệp zip hoặc JAR.


• C: Sai. Disk I/O không hoàn toàn bị tránh. Dữ liệu được sao chép từ HDFS vào ổ đĩa cục bộ của các nút, sau đó các tác vụ sẽ đọc từ ổ đĩa cục bộ này, thay vì đọc trực tiếp từ HDFS. Điều này vẫn cần I/O từ ổ đĩa cục bộ, nhưng nhanh hơn nhiều so với I/O từ HDFS.


• D: Đúng. Hadoop sẽ sao chép các tệp vào nút phụ trước khi các tác vụ được thực thi.

Vậy, phát biểu sai là C.

Lệnh start-dfs.sh được sử dụng trong Hadoop để khởi động các tiến trình cần thiết cho hệ thống tệp phân tán Hadoop (HDFS). Cụ thể, nó khởi động cả NameNode (nút quản lý không gian tên hệ thống tệp và siêu dữ liệu) và DataNode (các nút lưu trữ dữ liệu thực tế). Do đó, đáp án chính xác là A.

HDFS (Hadoop Distributed File System) là một hệ thống tệp phân tán được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn. Các mục tiêu chính của HDFS bao gồm:

- Phát hiện lỗi và khôi phục: HDFS được thiết kế để chịu lỗi, nghĩa là nó có thể tiếp tục hoạt động ngay cả khi một số nút trong cụm bị lỗi.

- Xử lý tập dữ liệu khổng lồ: HDFS có thể lưu trữ và xử lý các tập dữ liệu lớn vượt quá khả năng của một máy tính duy nhất.

- Cung cấp băng thông mạng cao để di chuyển dữ liệu: HDFS được thiết kế để cho phép truy cập dữ liệu nhanh chóng và hiệu quả.

Ngăn chặn việc xóa dữ liệu không phải là một mục tiêu trực tiếp của HDFS. Mặc dù HDFS cung cấp các cơ chế bảo vệ dữ liệu, nhưng nó không ngăn chặn người dùng hoặc ứng dụng xóa dữ liệu một cách chủ động. Quyền kiểm soát truy cập và các biện pháp bảo mật khác được sử dụng để ngăn chặn việc xóa dữ liệu trái phép, nhưng đây không phải là một mục tiêu cốt lõi trong thiết kế của HDFS.