Công nghệ nào được sử dụng để lưu trữ dữ liệu trong Hadoop?

CouchDB là một hệ quản trị cơ sở dữ liệu NoSQL mã nguồn mở, hướng tài liệu (document-oriented database). Nó lưu trữ dữ liệu dưới dạng các tài liệu JSON. Các lựa chọn khác như HBase và Cassandra là các hệ quản trị cơ sở dữ liệu NoSQL cột (column-oriented database), còn Hive là một hệ thống kho dữ liệu (data warehouse) được xây dựng trên Hadoop.

Trong HDFS (Hadoop Distributed File System), Datanode là nơi lưu trữ dữ liệu thực tế. Dữ liệu được chia thành các khối (blocks) và mỗi khối có thể được sao chép trên nhiều Datanode để đảm bảo tính sẵn sàng và độ tin cậy. Cách tổ chức dữ liệu của Datanode như sau:

• Các chunk là các tệp tin trong hệ thống tệp tin cục bộ của máy chủ datanode: Đây là phương án chính xác. Mỗi chunk (block) dữ liệu thực chất được lưu trữ như một tệp tin riêng biệt trên hệ thống tệp tin của máy chủ Datanode. Các tệp tin này chứa dữ liệu của khối đó.
• Các chunk là các vùng dữ liệu liên tục trên ổ cứng của máy chủ data node: Mặc dù các chunk chiếm không gian lưu trữ trên ổ cứng, nhưng chúng không nhất thiết phải là các vùng dữ liệu liên tục. Mỗi chunk là một tệp tin riêng biệt, nên có thể nằm rải rác trên ổ cứng.
• Các chunk được lưu trữ tin cậy trên datanode theo cơ chế RAID: HDFS tự đảm bảo tính tin cậy bằng cách sao chép các khối dữ liệu trên nhiều Datanode. Mặc dù RAID (Redundant Array of Independent Disks) có thể được sử dụng ở cấp độ phần cứng của mỗi Datanode để tăng độ tin cậy, nhưng đây không phải là cơ chế tổ chức dữ liệu chính của HDFS. Cơ chế sao chép của HDFS mới là yếu tố then chốt để đảm bảo dữ liệu không bị mất.

Trong Hadoop, NameNode là nút chính (master node) chịu trách nhiệm quản lý metadata của hệ thống tệp, bao gồm thông tin về các tệp và thư mục, quyền truy cập và vị trí của các khối dữ liệu trên các DataNode. DataNode là các nút công nhân (worker nodes) lưu trữ dữ liệu thực tế và phục vụ các yêu cầu đọc/ghi dữ liệu từ client. Do đó, DataNode và NameNode tương ứng là nút công nhân và nút chính.

Các khối (blocks) của tệp HDFS được truy cập thường xuyên sẽ được lưu trữ trong bộ nhớ của DataNode. Điều này cho phép truy cập nhanh hơn so với việc đọc từ ổ đĩa. NameNode lưu trữ metadata về hệ thống tệp, không lưu trữ dữ liệu thực tế. Ứng dụng khách có thể lưu trữ một phần dữ liệu trong bộ nhớ của nó, nhưng nó không phải là nơi lưu trữ chính cho các khối được truy cập thường xuyên.