Khi ghi dữ liệu vào HDFS điều gì là đúng nếu hệ số sao chép là ba? (Chọn 2 câu trả lời)

Dữ liệu được ghi vào DataNodes trên ba giá đỡ riêng biệt (nếu Rack Aware)

Dữ liệu được lưu trữ trên mỗi Mã dữ liệu bằng một tệp riêng biệt chứa giá trị tổng kiểm tra

Dữ liệu được ghi vào các khối trên ba DataNodes khác nhau

Khách hàng được trả lại thành công khi ghi thành công khối đầu tiên và kiểm tra tổng kiểm tra

Trong Hadoop, DataNode chịu trách nhiệm lưu trữ các khối dữ liệu (data blocks) trên các nút (nodes) riêng lẻ trong cụm (cluster). Để đảm bảo tính sẵn sàng và chịu lỗi của dữ liệu, Hadoop sao chép mỗi khối dữ liệu thành nhiều bản sao (replicas) và lưu trữ chúng trên các DataNode khác nhau. Quá trình sao chép này do chính các DataNode thực hiện theo hướng dẫn từ NameNode.

Các lựa chọn khác không đúng vì:

• HDFS: Là hệ thống tệp phân tán, không phải là một daemon.
• Task Tracker: Theo dõi việc thực thi các tác vụ MapReduce trên các nút dữ liệu.
• Job Tracker: Điều phối các công việc MapReduce trên toàn bộ cụm.
• NameNode: Quản lý metadata của hệ thống tệp HDFS, không trực tiếp sao chép dữ liệu.

Câu hỏi này kiểm tra kiến thức về bộ kết hợp (Combiner) trong MapReduce. Bộ kết hợp là một chức năng tùy chọn giúp giảm lượng dữ liệu được truyền qua mạng bằng cách thực hiện các hoạt động giảm cục bộ trên mỗi nút ánh xạ (Mapper) trước khi dữ liệu được gửi đến bộ giảm (Reducer).

Để một bộ kết hợp có thể được áp dụng, đầu ra của bộ ánh xạ và bộ kết hợp phải có cùng kiểu cặp giá trị khóa-giá trị. Hơn nữa, các giá trị phải thỏa mãn thuộc tính liên kết và giao hoán (associative and commutative properties). Tính chất liên kết cho phép các phép toán được nhóm lại mà không ảnh hưởng đến kết quả, và tính chất giao hoán cho phép thay đổi thứ tự của các toán hạng mà không ảnh hưởng đến kết quả. Điều này đảm bảo rằng việc giảm cục bộ bằng bộ kết hợp sẽ cho kết quả tương đương với việc giảm trên toàn bộ dữ liệu sau khi dữ liệu đã được chuyển đến bộ giảm.

Các lựa chọn khác không đúng vì:

• A: Bộ kết hợp không phải lúc nào cũng có thể được áp dụng cho mọi dữ liệu. Nó chỉ có thể được áp dụng nếu các giá trị thỏa mãn các thuộc tính cần thiết.
• B: Đầu ra của bộ ánh xạ và bộ kết hợp phải cùng một cặp giá trị khóa và *phải* đồng nhất (cùng kiểu dữ liệu), chứ không phải "có thể không đồng nhất".

Cloudera là một công ty phần mềm cung cấp nền tảng dữ liệu và phân tích dựa trên Apache Hadoop. Trong số các công cụ được liệt kê:

• HCatalog: Là một hệ thống quản lý bảng và siêu dữ liệu cho Hadoop, cho phép các công cụ khác nhau trong hệ sinh thái Hadoop (như Pig, Hive, MapReduce) dễ dàng truy cập dữ liệu.


• HBase: Là một cơ sở dữ liệu NoSQL, được thiết kế để lưu trữ và truy cập dữ liệu lớn một cách nhanh chóng.


• Impala: Là một công cụ truy vấn SQL song song trên dữ liệu được lưu trữ trong Hadoop. Cloudera đã phát triển Impala.


• Oozie: Là một hệ thống workflow scheduler để quản lý các công việc Hadoop.

Vậy, đáp án đúng là C. Impala.