Dịch vụ tích hợp dữ liệu trên đám mây trên Google Cloud Platform:

AVRO là gì?

Lời giải:

Đáp án đúng: A

Avro là một hệ thống tuần tự hóa dữ liệu. Nó cung cấp:

* Định nghĩa lược đồ dữ liệu: Dữ liệu được đi kèm với lược đồ của nó, cho phép phân tích cú pháp dữ liệu mà không cần biết trước lược đồ.
* Tuần tự hóa và giải tuần tự hóa hiệu quả: Avro sử dụng định dạng nhị phân nhỏ gọn để tuần tự hóa dữ liệu, giúp truyền tải và lưu trữ dữ liệu hiệu quả hơn.
* Hỗ trợ tiến hóa lược đồ: Avro cho phép lược đồ dữ liệu thay đổi theo thời gian mà không làm hỏng khả năng đọc dữ liệu cũ.
* Hỗ trợ đa ngôn ngữ: Avro có thể được sử dụng với nhiều ngôn ngữ lập trình khác nhau, bao gồm Java, Python, C++, v.v.

Như vậy, trong các phương án đưa ra, phương án A chính xác nhất vì nó chỉ ra bản chất là một thư viện tuần tự hóa. Các phương án còn lại không đúng bản chất của Avro.

Câu 2:

Các đặc trưng của HDFS. Chọn đáp án SAI

Lời giải:

Đáp án đúng: B

Câu hỏi yêu cầu tìm đặc trưng SAI của HDFS. HDFS (Hadoop Distributed File System) được thiết kế để lưu trữ và xử lý các tệp tin lớn trên một cụm các máy tính.

Phương án A đúng: HDFS được tối ưu hóa cho các tệp tin có kích thước lớn (hàng trăm MB đến vài GB).

Phương án B sai: HDFS không hỗ trợ thao tác đọc/ghi tương tranh (concurrent) tại chunk trên tệp tin. Nó được thiết kế cho việc ghi một lần và đọc nhiều lần (write-once, read-many). Việc hỗ trợ ghi tương tranh sẽ làm phức tạp việc quản lý đồng thời và nhất quán dữ liệu.

Phương án C đúng: HDFS hỗ trợ nén dữ liệu để tiết kiệm chi phí lưu trữ và băng thông.

Phương án D đúng: HDFS tích hợp cơ chế phân quyền và kiểm soát người dùng tương tự như UNIX, cho phép quản lý quyền truy cập vào các tệp tin và thư mục.

Vậy, đáp án sai là B.

Câu 3:

Các mục tiêu chính của Apache Hadoop

Lời giải:

Đáp án đúng: D

Các mục tiêu chính của Apache Hadoop bao gồm:

Lưu trữ dữ liệu khả mở (Scalable Data Storage): Hadoop được thiết kế để lưu trữ lượng lớn dữ liệu một cách hiệu quả trên một cụm các máy tính thông thường. Hệ thống tệp phân tán Hadoop (HDFS) cho phép lưu trữ dữ liệu trên nhiều nút, cung cấp khả năng mở rộng lưu trữ dễ dàng.
Xử lý dữ liệu lớn mạnh mẽ (Powerful Big Data Processing): Hadoop sử dụng mô hình MapReduce để xử lý song song dữ liệu trên các nút trong cụm. Điều này cho phép xử lý các bộ dữ liệu lớn một cách nhanh chóng và hiệu quả.

Trực quan hóa dữ liệu (Data Visualization) không phải là mục tiêu cốt lõi của Hadoop. Hadoop tập trung vào lưu trữ và xử lý dữ liệu, trong khi các công cụ khác như Tableau hoặc các thư viện Python như Matplotlib thường được sử dụng để trực quan hóa dữ liệu đã được xử lý bởi Hadoop.

Do đó, đáp án đúng là D: lưu trữ dữ liệu khả mở và xử lý dữ liệu lớn mạnh mẽ.

Câu 4:

Câu lệnh MapReduce trong Spark dưới đây, chia mỗi dòng thành từ dựa vào delimiter nào

input.flatMap( lambda x: x.split("\t") ).map(lambda x: (x, 1)).reduceByKey(add)

Lời giải:

Đáp án đúng: A

Câu hỏi kiểm tra về cú pháp của hàm `split()` trong Spark, đặc biệt là cách nó được sử dụng trong ngữ cảnh của MapReduce. Hàm `split("\t")` sử dụng ký tự tab (`\t`) làm dấu phân cách (delimiter) để chia một chuỗi thành một danh sách các chuỗi con.

* A. Tab: Đúng. Biểu thức `"\t"` đại diện cho ký tự tab. Do đó, câu lệnh này sẽ chia mỗi dòng thành các từ dựa trên dấu tab.
* B. Dấu cách: Sai. Nếu muốn chia theo dấu cách, biểu thức phải là `" "`.
* C. Dấu hai chấm: Sai. Nếu muốn chia theo dấu hai chấm, biểu thức phải là `":"`.
* D. Dấu phẩy: Sai. Nếu muốn chia theo dấu phẩy, biểu thức phải là `","`.

Vậy đáp án đúng là A.

Câu 5:

Cơ chế chịu lỗi của datanode trong HDFS

Lời giải:

Đáp án đúng: B

Cơ chế chịu lỗi của DataNode trong HDFS chủ yếu dựa vào cơ chế heartbeat. Các DataNode định kỳ gửi thông báo (heartbeat) về NameNode để báo cáo trạng thái hoạt động và tình trạng của các khối dữ liệu mà nó đang lưu trữ. Nếu NameNode không nhận được heartbeat từ một DataNode trong một khoảng thời gian nhất định, nó sẽ coi DataNode đó là đã chết và thực hiện các biện pháp khắc phục, chẳng hạn như sao chép các khối dữ liệu từ các DataNode khác để đảm bảo tính sẵn sàng của dữ liệu.

Phương án A sai vì ZooKeeper thường được sử dụng cho các tác vụ điều phối và quản lý cluster ở mức cao hơn, không trực tiếp quản lý trạng thái sống/chết của DataNode.

Phương án C sai vì mặc dù NameNode có theo dõi DataNode, cơ chế chính là DataNode chủ động báo cáo cho NameNode, không phải NameNode liên tục hỏi DataNode.

Câu 6:

Cơ chế nhân bản dữ liệu trong HDFS

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 7:

Dấu phẩy được sử dụng để sao chép một dạng thư mục từ node này sang node khác trong HDFS là:

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP

Câu 8:

Đáp án nào không phải là một "Transformation" khi thao tác với DStream:

Lời giải:

Bạn cần đăng ký gói VIP để làm bài, xem đáp án và lời giải chi tiết không giới hạn. Nâng cấp VIP