Các mục tiêu chính của Apache Hadoop

Câu lệnh MapReduce trong Spark dưới đây, chia mỗi dòng thành từ dựa vào delimiter nào

input.flatMap( lambda x: x.split("\t") ).map(lambda x: (x, 1)).reduceByKey(add)

Lời giải:

Đáp án đúng: A

Câu hỏi kiểm tra về cú pháp của hàm `split()` trong Spark, đặc biệt là cách nó được sử dụng trong ngữ cảnh của MapReduce. Hàm `split("\t")` sử dụng ký tự tab (`\t`) làm dấu phân cách (delimiter) để chia một chuỗi thành một danh sách các chuỗi con.

* A. Tab: Đúng. Biểu thức `"\t"` đại diện cho ký tự tab. Do đó, câu lệnh này sẽ chia mỗi dòng thành các từ dựa trên dấu tab.
* B. Dấu cách: Sai. Nếu muốn chia theo dấu cách, biểu thức phải là `" "`.
* C. Dấu hai chấm: Sai. Nếu muốn chia theo dấu hai chấm, biểu thức phải là `":"`.
* D. Dấu phẩy: Sai. Nếu muốn chia theo dấu phẩy, biểu thức phải là `","`.

Vậy đáp án đúng là A.

Câu 5:

Cơ chế chịu lỗi của datanode trong HDFS

Lời giải:

Đáp án đúng: B

Cơ chế chịu lỗi của DataNode trong HDFS chủ yếu dựa vào cơ chế heartbeat. Các DataNode định kỳ gửi thông báo (heartbeat) về NameNode để báo cáo trạng thái hoạt động và tình trạng của các khối dữ liệu mà nó đang lưu trữ. Nếu NameNode không nhận được heartbeat từ một DataNode trong một khoảng thời gian nhất định, nó sẽ coi DataNode đó là đã chết và thực hiện các biện pháp khắc phục, chẳng hạn như sao chép các khối dữ liệu từ các DataNode khác để đảm bảo tính sẵn sàng của dữ liệu.

Phương án A sai vì ZooKeeper thường được sử dụng cho các tác vụ điều phối và quản lý cluster ở mức cao hơn, không trực tiếp quản lý trạng thái sống/chết của DataNode.

Phương án C sai vì mặc dù NameNode có theo dõi DataNode, cơ chế chính là DataNode chủ động báo cáo cho NameNode, không phải NameNode liên tục hỏi DataNode.

Câu 6:

Cơ chế nhân bản dữ liệu trong HDFS

Lời giải:

Đáp án đúng: A

Trong HDFS (Hadoop Distributed File System), cơ chế nhân bản dữ liệu hoạt động như sau:

- Namenode quản lý metadata: Namenode lưu trữ metadata của hệ thống file, bao gồm thông tin về các file, thư mục, và vị trí của các khối dữ liệu (chunks) trên các Datanode. Namenode quyết định vị trí của các bản sao (replicas) của các chunk dữ liệu.

- Datanode lưu trữ dữ liệu: Datanode là các node thực tế lưu trữ các khối dữ liệu.

- Quá trình ghi dữ liệu: Khi một client ghi dữ liệu vào HDFS, nó sẽ liên hệ với Namenode để lấy thông tin về vị trí của các Datanode lưu trữ các bản sao của dữ liệu. Sau đó, client ghi dữ liệu trực tiếp lên các Datanode này.

Trong các lựa chọn trên:

- A. Namenode quyết định vị trí các nhân bản của các chunk trên các datanode: Đây là đáp án đúng. Namenode chịu trách nhiệm quản lý metadata, bao gồm việc quyết định vị trí lưu trữ các bản sao của dữ liệu trên các Datanode.

- B. Datanode là primary quyết định vị trí các nhân bản của các chunk tại các secondary datanode: Sai. Việc này do Namenode quản lý.

- C. Client quyết định vị trí lưu trữ các nhân bản với từng chunk: Sai. Client không trực tiếp quyết định vị trí lưu trữ, mà Namenode sẽ cung cấp thông tin này cho client.

Câu 7:

Dấu phẩy được sử dụng để sao chép một dạng thư mục từ node này sang node khác trong HDFS là:

Lời giải:

Đáp án đúng: D

Lệnh distcp (distributed copy) là công cụ được sử dụng trong Hadoop để sao chép dữ liệu, thư mục giữa các cluster Hadoop khác nhau hoặc giữa các vị trí khác nhau trong cùng một cluster. Nó thực hiện việc sao chép dữ liệu song song để tăng tốc độ, đảm bảo hiệu quả khi xử lý lượng lớn dữ liệu.

Câu 8:

Đáp án nào không phải là một "Transformation" khi thao tác với DStream:

Lời giải:

Đáp án đúng: D

Trong Spark Streaming, các transformation là các phép toán được áp dụng trên DStream để tạo ra một DStream mới. Các transformation thường gặp bao gồm `map`, `filter`, `reduceByKey`, `window`, `reduceByWindow`, `countByWindow`,...

* `reduceByWindow`: Là một transformation, kết hợp các giá trị trong một cửa sổ trượt bằng cách sử dụng một hàm reduce.
* `window`: Là một transformation, tạo ra một DStream mới bằng cách áp dụng một cửa sổ trượt trên DStream gốc.
* `countByWindow`: Là một transformation, trả về số lượng phần tử trong mỗi cửa sổ.
* `foreachWindow`: Không phải là transformation. Thay vào đó, nó là một output operation (hoạt động xuất dữ liệu) cho phép bạn thực hiện một hành động trên mỗi RDD trong một cửa sổ thời gian. Nó được sử dụng để đẩy dữ liệu ra bên ngoài Spark Streaming.

Vậy đáp án C là đáp án đúng nhất vì nó không phải là transformation mà là một output operation.

Câu 9:

Đâu không phải là tính năng mà NoSQL nào cũng đáp ứng:

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 10:

Đâu là lệnh lưu trữ dữ liệu ra ngoài chương trình Spark:

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 11:

Đầu ra của một map task là:

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP