Có thể ghi là gì?

Hadoop xử lý khối lượng lớn dữ liệu như thế nào?

Lời giải:

Đáp án đúng: C

Hadoop xử lý khối lượng lớn dữ liệu bằng cách:

Sử dụng song song rất nhiều máy: Hadoop chạy trên một cluster các máy tính, cho phép xử lý dữ liệu song song và phân tán, tăng tốc đáng kể so với xử lý trên một máy đơn lẻ.
Tận dụng phần cứng MPP (Massively Parallel Processing): Hadoop được thiết kế để hoạt động hiệu quả trên các hệ thống MPP, nơi nhiều bộ xử lý làm việc cùng nhau để giải quyết một vấn đề.
Gửi mã đến dữ liệu (Data Locality): Thay vì di chuyển lượng lớn dữ liệu đến nơi có mã xử lý, Hadoop di chuyển mã xử lý đến gần dữ liệu nhất có thể. Điều này giảm thiểu việc truyền dữ liệu qua mạng, một yếu tố quan trọng khi làm việc với big data.

Phương án D không đúng vì NameNode quản lý metadata (dữ liệu về dữ liệu) chứ không trực tiếp xử lý dữ liệu. Việc sử dụng bộ nhớ đệm trên NameNode giúp tăng tốc truy cập metadata, nhưng không phải là yếu tố chính trong việc xử lý khối lượng lớn dữ liệu.

Câu 43:

Khi ghi dữ liệu vào HDFS điều gì là đúng nếu hệ số sao chép là ba? (Chọn 2 câu trả lời)

1 - Dữ liệu được ghi vào DataNodes trên ba giá đỡ riêng biệt (nếu Rack Aware).

2 - Dữ liệu được lưu trữ trên mỗi Mã dữ liệu bằng một tệp riêng biệt chứa giá trị tổng kiểm tra.

3 - Dữ liệu được ghi vào các khối trên ba DataNodes khác nhau.

4 - Khách hàng được trả lại thành công khi ghi thành công khối đầu tiên và kiểm tra tổng kiểm tra.

Lời giải:

Đáp án đúng: C

Câu hỏi này kiểm tra kiến thức về cách HDFS hoạt động với hệ số sao chép. * **Ý 1:** Đúng. Khi Rack Aware được kích hoạt (và thường là như vậy trong các cụm HDFS lớn), HDFS cố gắng đặt các bản sao dữ liệu trên các giá đỡ (rack) khác nhau để tăng khả năng chịu lỗi. Với hệ số sao chép là 3, HDFS sẽ cố gắng ghi dữ liệu lên 3 DataNode trên 3 rack khác nhau. * **Ý 2:** Sai. Mặc dù dữ liệu được lưu trữ trên mỗi DataNode, nhưng việc lưu trữ bao gồm cả dữ liệu và thông tin kiểm tra tính toàn vẹn (checksum), tuy nhiên, không nhất thiết phải là các tệp riêng biệt. Checksum có thể được lưu trữ cùng với dữ liệu trong cùng một tệp hoặc trong các tệp metadata liên quan. * **Ý 3:** Đúng. Hệ số sao chép 3 có nghĩa là dữ liệu được sao chép thành 3 bản và lưu trữ trên 3 DataNode khác nhau. * **Ý 4:** Sai. Client chỉ nhận được thông báo thành công khi tất cả các bản sao (trong trường hợp này là 3 bản) đã được ghi thành công và checksum đã được xác minh. Việc trả về thành công sau khi chỉ ghi khối đầu tiên sẽ dẫn đến mất dữ liệu nếu các bản sao khác không thành công. Vậy, các đáp án đúng là 1 & 3.

Câu 44:

Nhiệm vụ nào sau đây là trong số các nhiệm vụ của các DataNode trong HDFS?

E - Quản lý không gian tên hệ thống tệp.

Lời giải:

Đáp án đúng: D

DataNode trong HDFS chịu trách nhiệm lưu trữ các khối dữ liệu thực tế và phục vụ các yêu cầu đọc/ghi dữ liệu từ client và NameNode. Các nhiệm vụ chính của DataNode bao gồm: lưu trữ các khối dữ liệu, truy xuất các khối dữ liệu theo yêu cầu, báo cáo định kỳ về trạng thái của các khối dữ liệu mà nó đang lưu trữ cho NameNode (block reports), và thực hiện các thao tác đọc/ghi dữ liệu trên đĩa. Do đó, đáp án D là chính xác.

Câu 45:

Giao diện org.apache.hadoop.io.Writes khai báo hai phương thức nào? (Chọn 2 câu trả lời.)

Lời giải:

Đáp án đúng: A

Giao diện `org.apache.hadoop.io.Writable` trong Hadoop định nghĩa cách các đối tượng có thể được tuần tự hóa thành luồng byte để lưu trữ trên đĩa hoặc truyền qua mạng, và cách chúng có thể được giải tuần tự hóa từ luồng byte đó. Hai phương thức chính được khai báo trong giao diện này là `write(DataOutput out)` và `readFields(DataInput in)`. Phương thức `write` chịu trách nhiệm viết trạng thái của đối tượng vào `DataOutput`, trong khi `readFields` chịu trách nhiệm đọc trạng thái của đối tượng từ `DataInput`. Do đó, đáp án đúng là B (2 & 3)

Câu 46:

Câu nào sau đây là đúng đối với các cặp <key, value> của một công việc MapReduce?</key,>

Lời giải:

Đáp án đúng: B

Trong MapReduce, các khóa (key) phải có khả năng so sánh được để hệ thống có thể sắp xếp và phân vùng dữ liệu một cách hiệu quả. Điều này thường được thực hiện bằng cách triển khai giao diện `WritableComparable` trong Java (hoặc các cơ chế tương đương trong các ngôn ngữ khác). Giao diện này kết hợp cả `Writable` (cho phép đối tượng được tuần tự hóa để truyền qua mạng) và `Comparable` (cho phép so sánh với các đối tượng khác cùng loại). Các giá trị (value) chỉ cần triển khai `Writable` để có thể tuần tự hóa và giải tuần tự hóa. Vì vậy, một lớp khóa phải triển khai `WritableComparable` để có thể so sánh được. Tuy nhiên không có lớp nào tên là `Words` hoặc `WordsComp`, mà `WritableComparable` là interface tiêu chuẩn cần được implement. Đáp án phù hợp nhất là một lớp khóa cần có khả năng so sánh được (tức là implement `Comparable` hoặc một interface tương tự).

Câu 47:

Thành phần nào sau đây không phải là thành phần chính của HBase?

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 48:

Điều nào sau đây là sai về RawComparator?

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 49:

Con quỷ (daemon) nào chịu trách nhiệm sao chép dữ liệu trong Hadoop?

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP