Chế độ cài đặt phân phối hoàn toàn (không ảo hóa) cần tối thiểu (The fully distributed mode of installation(without virtualization) needs a minimum of)

Công cụ Hadoop được sử dụng để phân tán dữ liệu một cách đồng nhất trên các DataNode là Balancer. Balancer có nhiệm vụ đảm bảo rằng dữ liệu được phân phối đều trên tất cả các DataNode trong cluster, tránh tình trạng một số node bị quá tải trong khi các node khác lại ít dữ liệu. Điều này giúp tối ưu hiệu suất và đảm bảo tính ổn định của hệ thống Hadoop.

• Scheduler: Là công cụ lập lịch các công việc (jobs) cần thực hiện trên cluster.
• Spreader: Không phải là một công cụ chính thức trong Hadoop.
• Reporter: Là công cụ báo cáo trạng thái của các node trong cluster.

Câu hỏi này kiểm tra kiến thức về các thành phần trong hệ sinh thái Hadoop. Trong Hadoop, dữ liệu được lưu trữ chủ yếu trong Hệ thống tệp phân tán Hadoop (HDFS) và HBase. HBase là một cơ sở dữ liệu NoSQL chạy trên đỉnh HDFS và cung cấp quyền truy cập đọc/ghi ngẫu nhiên, thời gian thực vào dữ liệu lớn. Avro là một định dạng tuần tự hóa dữ liệu. Sqoop là một công cụ để chuyển dữ liệu giữa Hadoop và các cơ sở dữ liệu quan hệ. Zookeeper là một dịch vụ điều phối tập trung.

Trong các lựa chọn được đưa ra, HBase là thành phần được sử dụng để lưu trữ dữ liệu trong Hadoop, đặc biệt là khi cần truy cập ngẫu nhiên và thời gian thực.

CouchDB là một hệ quản trị cơ sở dữ liệu NoSQL mã nguồn mở, hướng tài liệu (document-oriented database). Nó lưu trữ dữ liệu dưới dạng các tài liệu JSON. Các lựa chọn khác như HBase và Cassandra là các hệ quản trị cơ sở dữ liệu NoSQL cột (column-oriented database), còn Hive là một hệ thống kho dữ liệu (data warehouse) được xây dựng trên Hadoop.

Trong HDFS (Hadoop Distributed File System), Datanode là nơi lưu trữ dữ liệu thực tế. Dữ liệu được chia thành các khối (blocks) và mỗi khối có thể được sao chép trên nhiều Datanode để đảm bảo tính sẵn sàng và độ tin cậy. Cách tổ chức dữ liệu của Datanode như sau:

• Các chunk là các tệp tin trong hệ thống tệp tin cục bộ của máy chủ datanode: Đây là phương án chính xác. Mỗi chunk (block) dữ liệu thực chất được lưu trữ như một tệp tin riêng biệt trên hệ thống tệp tin của máy chủ Datanode. Các tệp tin này chứa dữ liệu của khối đó.
• Các chunk là các vùng dữ liệu liên tục trên ổ cứng của máy chủ data node: Mặc dù các chunk chiếm không gian lưu trữ trên ổ cứng, nhưng chúng không nhất thiết phải là các vùng dữ liệu liên tục. Mỗi chunk là một tệp tin riêng biệt, nên có thể nằm rải rác trên ổ cứng.
• Các chunk được lưu trữ tin cậy trên datanode theo cơ chế RAID: HDFS tự đảm bảo tính tin cậy bằng cách sao chép các khối dữ liệu trên nhiều Datanode. Mặc dù RAID (Redundant Array of Independent Disks) có thể được sử dụng ở cấp độ phần cứng của mỗi Datanode để tăng độ tin cậy, nhưng đây không phải là cơ chế tổ chức dữ liệu chính của HDFS. Cơ chế sao chép của HDFS mới là yếu tố then chốt để đảm bảo dữ liệu không bị mất.

Trong Hadoop, NameNode là nút chính (master node) chịu trách nhiệm quản lý metadata của hệ thống tệp, bao gồm thông tin về các tệp và thư mục, quyền truy cập và vị trí của các khối dữ liệu trên các DataNode. DataNode là các nút công nhân (worker nodes) lưu trữ dữ liệu thực tế và phục vụ các yêu cầu đọc/ghi dữ liệu từ client. Do đó, DataNode và NameNode tương ứng là nút công nhân và nút chính.