Thành phần nào sau đây truy xuất các phân tách đầu vào trực tiếp từ HDFS để xác định số tác vụ bản đồ?

Bộ nhớ đệm phân tán (Distributed Cache) là một cơ chế trong Hadoop cho phép các tác vụ truy cập nhanh chóng đến các tệp chỉ đọc (read-only) được chia sẻ bởi tất cả các tác vụ trong một công việc (job). Hadoop sẽ sao chép các tệp này đến tất cả các nút (node) nơi các tác vụ được thực thi. Điều này giúp tránh việc đọc đi đọc lại tệp từ HDFS, tăng hiệu suất đáng kể.

Xét các phương án:

• A: Đúng. Hadoop framework đảm bảo các tệp trong bộ đệm phân tán được phân phối đến tất cả các tác vụ map và reduce.


• B: Đúng. Các tệp có thể là tệp văn bản, tệp zip hoặc JAR.


• C: Sai. Disk I/O không hoàn toàn bị tránh. Dữ liệu được sao chép từ HDFS vào ổ đĩa cục bộ của các nút, sau đó các tác vụ sẽ đọc từ ổ đĩa cục bộ này, thay vì đọc trực tiếp từ HDFS. Điều này vẫn cần I/O từ ổ đĩa cục bộ, nhưng nhanh hơn nhiều so với I/O từ HDFS.


• D: Đúng. Hadoop sẽ sao chép các tệp vào nút phụ trước khi các tác vụ được thực thi.

Vậy, phát biểu sai là C.

Lệnh start-dfs.sh được sử dụng trong Hadoop để khởi động các tiến trình cần thiết cho hệ thống tệp phân tán Hadoop (HDFS). Cụ thể, nó khởi động cả NameNode (nút quản lý không gian tên hệ thống tệp và siêu dữ liệu) và DataNode (các nút lưu trữ dữ liệu thực tế). Do đó, đáp án chính xác là A.

HDFS (Hadoop Distributed File System) là một hệ thống tệp phân tán được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn. Các mục tiêu chính của HDFS bao gồm:

- Phát hiện lỗi và khôi phục: HDFS được thiết kế để chịu lỗi, nghĩa là nó có thể tiếp tục hoạt động ngay cả khi một số nút trong cụm bị lỗi.

- Xử lý tập dữ liệu khổng lồ: HDFS có thể lưu trữ và xử lý các tập dữ liệu lớn vượt quá khả năng của một máy tính duy nhất.

- Cung cấp băng thông mạng cao để di chuyển dữ liệu: HDFS được thiết kế để cho phép truy cập dữ liệu nhanh chóng và hiệu quả.

Ngăn chặn việc xóa dữ liệu không phải là một mục tiêu trực tiếp của HDFS. Mặc dù HDFS cung cấp các cơ chế bảo vệ dữ liệu, nhưng nó không ngăn chặn người dùng hoặc ứng dụng xóa dữ liệu một cách chủ động. Quyền kiểm soát truy cập và các biện pháp bảo mật khác được sử dụng để ngăn chặn việc xóa dữ liệu trái phép, nhưng đây không phải là một mục tiêu cốt lõi trong thiết kế của HDFS.

Trong HDFS (Hadoop Distributed File System), các tệp tin có thể được đọc, xóa, và lưu trữ. Tuy nhiên, HDFS không hỗ trợ việc thực thi trực tiếp các tệp tin. Chức năng chính của HDFS là lưu trữ và quản lý dữ liệu một cách phân tán trên nhiều node, chứ không phải là một hệ điều hành để thực thi các chương trình.