Hadoop xử lý khối lượng lớn dữ liệu như thế nào?

Khi lưu trữ tệp Hadoop, câu nào sau đây là đúng? (Chọn hai câu trả lời)

Các tệp đã lưu trữ sẽ hiển thị với phần mở rộng .arc. Nhiều tệp nhỏ sẽ trở thành ít tệp lớn hơn

MapReduce xử lý tên tệp gốc ngay cả sau khi tệp được lưu trữ

Các tệp đã lưu trữ phải được lưu trữ tại Liên hợp quốc cho HDFS và MapReduce để truy cập các tệp nhỏ, gốc

Lưu trữ dành cho các tệp cần được lưu nhưng HDFS không còn truy cập được nữa

Lời giải:

Đáp án đúng: B

Câu hỏi này kiểm tra kiến thức về cách lưu trữ tệp trong Hadoop, cụ thể là các đặc điểm và mục đích của việc lưu trữ tệp. Chúng ta cần chọn hai câu đúng trong các lựa chọn được đưa ra.

* "Các tệp đã lưu trữ sẽ hiển thị với phần mở rộng .arc. Nhiều tệp nhỏ sẽ trở thành ít tệp lớn hơn": Câu này đúng. Hadoop lưu trữ các tệp nhỏ lại với nhau thành các tệp lớn hơn có phần mở rộng .arc để giảm số lượng tệp mà NameNode phải quản lý, từ đó cải thiện hiệu suất.

* "MapReduce xử lý tên tệp gốc ngay cả sau khi tệp được lưu trữ": Câu này đúng. Sau khi các tệp nhỏ được lưu trữ, MapReduce vẫn có thể truy cập chúng bằng tên tệp gốc. Hadoop lưu trữ metadata về các tệp gốc, cho phép truy cập chúng một cách minh bạch.

* "Các tệp đã lưu trữ phải được lưu trữ tại Liên hợp quốc cho HDFS và MapReduce để truy cập các tệp nhỏ, gốc": Câu này sai. Không có yêu cầu nào về việc lưu trữ tệp tại Liên hợp quốc (United Nations). Các tệp được lưu trữ trong HDFS.

* "Lưu trữ dành cho các tệp cần được lưu nhưng HDFS không còn truy cập được nữa": Câu này sai. Mục đích của việc lưu trữ không phải là để lưu các tệp không còn truy cập được. Ngược lại, nó được sử dụng để tối ưu hóa việc lưu trữ và truy cập các tệp nhỏ trong HDFS.

Vậy, hai câu đúng là câu thứ nhất và câu thứ hai. Do đó, đáp án đúng là B.

Câu 33:

Câu nào sau đây là đúng đối với các cặp <key, value> của một công việc MapReduce?</key,>

Lời giải:

Đáp án đúng: B

Trong MapReduce, các lớp khóa (key) phải triển khai giao diện `WritableComparable`. Giao diện này kết hợp cả `Writable` (cho phép đối tượng được tuần tự hóa để truyền qua mạng và lưu trữ) và `Comparable` (cho phép so sánh các đối tượng khóa với nhau, điều này rất quan trọng trong quá trình sắp xếp và phân vùng dữ liệu). Do đó, đáp án B là chính xác nhất vì nó chỉ ra rằng lớp khóa phải triển khai một giao diện có khả năng so sánh được (Comparable). Các đáp án khác không chính xác vì chúng đề cập đến các lớp hoặc giao diện không liên quan trực tiếp đến yêu cầu của lớp khóa trong MapReduce.

Câu 34:

Thành phần nào sau đây không phải là thành phần chính của HBase?

Lời giải:

Đáp án đúng: B

HBase là một cơ sở dữ liệu NoSQL, phân tán và có khả năng mở rộng cao, được xây dựng trên Hadoop. Các thành phần chính của HBase bao gồm:

* Máy chủ Vùng (Region Servers): Lưu trữ và quản lý các vùng dữ liệu.
* ZooKeeper: Điều phối và quản lý cấu hình cụm HBase.
* Máy chủ chính (Master Server): Quản lý và điều phối các máy chủ vùng.

Nagios là một hệ thống giám sát mạng, không phải là một thành phần chính của HBase. Nó có thể được sử dụng để giám sát cụm HBase, nhưng bản thân nó không phải là một phần không thể thiếu của HBase.

Vì vậy, đáp án đúng là B.

Câu 35:

Điều nào sau đây là sai về RawComparator?

Lời giải:

Đáp án đúng: C

Câu hỏi này kiểm tra kiến thức về RawComparator trong Hadoop. RawComparator là một giao diện trong Hadoop cho phép so sánh trực tiếp các byte của khóa mà không cần giải mã hóa thành các đối tượng Java. Điều này có thể cải thiện hiệu suất đáng kể trong giai đoạn sắp xếp của MapReduce.

Phân tích các lựa chọn:

A. So sánh các khóa theo byte: Đúng. Đây là chức năng chính của RawComparator.

B. Hiệu suất có thể được cải thiện trong giai đoạn sắp xếp và đủ bằng cách sử dụng RawComparator: Đúng. RawComparator được thiết kế để cải thiện hiệu suất so sánh khóa trong giai đoạn sắp xếp.

C. Các khóa trung gian được giải mã hóa để thực hiện so sánh: Sai. Đây là điểm khác biệt chính giữa RawComparator và Comparator thông thường. RawComparator so sánh trực tiếp các byte mà không cần giải mã hóa.