Công nghệ nào được sử dụng để lưu trữ dữ liệu trong Hadoop?

Avro là một hệ thống tuần tự hóa dữ liệu được sử dụng rộng rãi trong Hadoop. Nó cung cấp một định dạng dữ liệu nén, nhanh chóng và có thể phát triển, cho phép Hadoop lưu trữ và xử lý dữ liệu hiệu quả hơn. Các lựa chọn khác không phải là công nghệ tuần tự hóa dữ liệu:

• HBase là một cơ sở dữ liệu NoSQL.


• Sqoop là một công cụ để chuyển dữ liệu giữa Hadoop và các cơ sở dữ liệu quan hệ.


• Zookeeper là một dịch vụ điều phối cho các ứng dụng phân tán.

Avro được thiết kế để tích hợp tốt với Hadoop và MapReduce. Nó cung cấp một lược đồ cho phép MapReduce xử lý dữ liệu hiệu quả. Do đó, bạn có thể chạy MapReduce trực tiếp trên dữ liệu Avro mà không cần mã hóa mở rộng bổ sung.

Giải thích:

Thành phần truy xuất các phân tách đầu vào trực tiếp từ HDFS (Hadoop Distributed File System) để xác định số lượng tác vụ map là JobClient. JobClient có trách nhiệm gửi job tới JobTracker và tính toán các InputSplits. Dựa trên số lượng InputSplits, JobClient sẽ xác định số lượng map tasks cần thiết để xử lý dữ liệu.

Các lựa chọn khác không đúng vì:

• Mã Tên (NameNode): Quản lý không gian tên của hệ thống tệp và điều phối quyền truy cập tệp.
• TaskTrackers: Thực thi các tác vụ riêng lẻ được giao bởi JobTracker.
• JobTracker: Điều phối tất cả các jobs được chạy trên hệ thống Hadoop.

Bộ nhớ đệm phân tán (Distributed Cache) là một cơ chế trong Hadoop cho phép các tác vụ truy cập nhanh chóng đến các tệp chỉ đọc (read-only) được chia sẻ bởi tất cả các tác vụ trong một công việc (job). Hadoop sẽ sao chép các tệp này đến tất cả các nút (node) nơi các tác vụ được thực thi. Điều này giúp tránh việc đọc đi đọc lại tệp từ HDFS, tăng hiệu suất đáng kể.

Xét các phương án:

• A: Đúng. Hadoop framework đảm bảo các tệp trong bộ đệm phân tán được phân phối đến tất cả các tác vụ map và reduce.


• B: Đúng. Các tệp có thể là tệp văn bản, tệp zip hoặc JAR.


• C: Sai. Disk I/O không hoàn toàn bị tránh. Dữ liệu được sao chép từ HDFS vào ổ đĩa cục bộ của các nút, sau đó các tác vụ sẽ đọc từ ổ đĩa cục bộ này, thay vì đọc trực tiếp từ HDFS. Điều này vẫn cần I/O từ ổ đĩa cục bộ, nhưng nhanh hơn nhiều so với I/O từ HDFS.


• D: Đúng. Hadoop sẽ sao chép các tệp vào nút phụ trước khi các tác vụ được thực thi.

Vậy, phát biểu sai là C.