AVRO là gì?

Dịch vụ NoSQL Database được cung cấp bởi Microsoft Azure là Table Storage. Table Storage là một dịch vụ lưu trữ dữ liệu NoSQL không lược đồ, cho phép bạn lưu trữ các tập dữ liệu có cấu trúc một cách linh hoạt. Nó được thiết kế để lưu trữ khối lượng lớn dữ liệu có thể mở rộng. Các lựa chọn khác không phải là dịch vụ NoSQL:

• SQL DB: Là dịch vụ cơ sở dữ liệu quan hệ (SQL).


• Azure Functions: Là một dịch vụ điện toán phi máy chủ (serverless compute service).


• Cloud Service: Là một nền tảng để xây dựng và triển khai các ứng dụng đám mây.

Giải thích:

Khi NameNode bị mất bản sao duy nhất của tệp fsimage, chúng ta có thể khôi phục nó từ Secondary NameNode hoặc Checkpoint Node. Secondary NameNode định kỳ sao chép fsimage và nhật ký chỉnh sửa từ NameNode chính. Checkpoint Node thực hiện chức năng tương tự. Datanode không chứa thông tin này.

Trong HDFS (Hadoop Distributed File System), các tệp nhỏ hơn kích thước khối vẫn có thể được lưu trữ. Một tệp nhỏ sẽ chỉ chiếm dung lượng cần thiết của khối, chứ không chiếm toàn bộ kích thước khối. HDFS được thiết kế để lưu trữ các tệp lớn, nhưng nó vẫn có thể xử lý các tệp nhỏ một cách hiệu quả bằng cách lưu trữ chúng trong các khối mà không lãng phí không gian.

Kích thước khối HDFS (Hadoop Distributed File System) lớn hơn so với kích thước khối đĩa vật lý thông thường vì một số lý do quan trọng liên quan đến hiệu suất và khả năng lưu trữ dữ liệu lớn:

• Hiệu suất I/O: Khi làm việc với các tệp lớn, việc đọc và ghi theo các khối lớn hơn sẽ giảm số lượng hoạt động I/O (Input/Output) cần thiết. Điều này giúp tăng tốc độ xử lý dữ liệu tổng thể.


• Giảm chi phí metadata: Với các khối lớn hơn, số lượng metadata (thông tin về dữ liệu, như tên tệp, quyền truy cập, vị trí...) cần quản lý sẽ ít hơn. Điều này làm giảm tải cho NameNode (nút quản lý metadata trong HDFS) và cải thiện khả năng mở rộng của hệ thống.


• Lưu trữ tệp lớn: HDFS được thiết kế để xử lý các tệp cực lớn. Việc sử dụng các khối lớn cho phép HDFS lưu trữ một tệp duy nhất lớn hơn kích thước của một đĩa vật lý, bằng cách chia tệp đó thành nhiều khối và phân tán chúng trên nhiều nút trong cụm.

Trong các lựa chọn được đưa ra:

• A. Chỉ các tệp HDFS có thể được lưu trữ trong đĩa được sử dụng - Sai. Đây không phải là lý do chính. HDFS quản lý việc lưu trữ dữ liệu, nhưng không giới hạn loại tệp có thể lưu trữ trên đĩa.


• B. Thời gian tìm kiếm là tối đa - Sai. Việc sử dụng khối lớn thực tế giúp giảm thời gian tìm kiếm trung bình vì số lượng khối cần tìm kiếm để truy cập một lượng dữ liệu nhất định ít hơn.


• C. Không thể chuyển một tệp lớn được tạo từ nhiều khối đĩa - Sai. HDFS được thiết kế để xử lý và di chuyển các tệp lớn, được tạo thành từ nhiều khối.


• D. Một tệp duy nhất lớn hơn kích thước đĩa có thể được lưu trữ trên nhiều đĩa trong cụm - Đúng. Đây là một trong những lý do chính. Kích thước khối lớn cho phép HDFS chia một tệp lớn thành nhiều phần và lưu trữ chúng trên nhiều nút khác nhau trong cụm, vượt qua giới hạn kích thước của một đĩa đơn lẻ.