hadoop fs –expunge:

Mục đích của việc khởi động NameNode trong chế độ khôi phục (recovery mode) là để khôi phục dữ liệu từ một trong những vị trí lưu trữ siêu dữ liệu (metadata). Khi NameNode gặp sự cố và không thể khởi động bình thường, chế độ khôi phục cho phép nó đọc siêu dữ liệu từ các bản sao lưu trữ (thường là nhiều bản) và cố gắng tái tạo lại trạng thái nhất quán. Điều này đặc biệt quan trọng khi có nhiều bản sao siêu dữ liệu và một số bản có thể bị lỗi hoặc không đồng bộ. Chế độ khôi phục sẽ chọn ra bản sao tốt nhất để khôi phục lại hệ thống.

Đáp án đúng là C. Giới hạn trên của RAM trong NameNode.

Giải thích:

• Trong Hadoop, NameNode đóng vai trò quan trọng trong việc quản lý metadata của hệ thống tệp phân tán Hadoop (HDFS). NameNode lưu trữ thông tin về tất cả các tệp và thư mục trong HDFS, bao gồm các khối dữ liệu (blocks) tạo nên các tệp đó và vị trí của chúng trên các DataNode.
• Kích thước của RAM trong NameNode là một yếu tố giới hạn quan trọng đối với kích thước của một cụm Hadoop vì NameNode phải giữ toàn bộ metadata trong bộ nhớ để đảm bảo hiệu suất hoạt động. Khi số lượng tệp và khối dữ liệu tăng lên, lượng RAM cần thiết cho NameNode cũng tăng theo. Nếu NameNode hết RAM, nó sẽ không thể quản lý thêm metadata, dẫn đến việc cụm không thể mở rộng thêm.
• Các lựa chọn khác không phải là yếu tố giới hạn chính:
  • A. Nhiệt lượng dư thừa tạo ra trong trung tâm dữ liệu: Nhiệt độ là một vấn đề quan trọng trong các trung tâm dữ liệu, nhưng nó không phải là yếu tố giới hạn trực tiếp kích thước của cụm Hadoop. Các giải pháp làm mát có thể được sử dụng để kiểm soát nhiệt độ.
  • B. Giới hạn trên của băng thông mạng: Băng thông mạng có thể ảnh hưởng đến hiệu suất của cụm, nhưng nó không phải là yếu tố giới hạn tuyệt đối kích thước của cụm. Có thể tăng băng thông mạng để cải thiện hiệu suất.
  • D. 4000 datanode: Không có giới hạn cứng là 4000 DataNode. Số lượng DataNode có thể lớn hơn nhiều, tùy thuộc vào khả năng của NameNode và tài nguyên hệ thống.

So với RDBMS, Hadoop hoạt động tốt hơn trên dữ liệu phi cấu trúc và bán cấu trúc. RDBMS (Relational Database Management System) được thiết kế để quản lý dữ liệu có cấu trúc, trong khi Hadoop được thiết kế để xử lý dữ liệu lớn, đa dạng, bao gồm cả dữ liệu phi cấu trúc và bán cấu trúc như văn bản, hình ảnh, video, log files,...

Khi đọc và ghi dữ liệu song song từ nhiều đĩa, vấn đề chính gặp phải không phải là tốc độ xử lý dữ liệu (A), hay việc kết hợp dữ liệu (B), mà là chi phí phần cứng (D). Để thực hiện việc đọc/ghi song song hiệu quả, cần có hệ thống lưu trữ đủ mạnh, băng thông đủ lớn, và có thể cần các giải pháp RAID phức tạp, điều này dẫn đến chi phí phần cứng tăng lên đáng kể. Mặc dù phần mềm cũng có thể đóng vai trò quan trọng, nhưng chi phí phần cứng thường là yếu tố then chốt và đáng kể hơn (C).