Hadoop xử lý khối lượng lớn dữ liệu như thế nào?

Hadoop sử dụng song song rất nhiều máy. Điều này tối ưu hóa việc xử lý dữ liệu

Hadoop được thiết kế đặc biệt để xử lý lượng lớn dữ liệu bằng cách tận dụng phần cứng MPP

Hadoop gửi mã đến dữ liệu thay vì gửi dữ liệu đến mã

Hadoop sử dụng các kỹ thuật bộ nhớ đệm phức tạp trên NameNode để tăng tốc độ xử lý dữ liệu

Trả lời:

Đáp án đúng: C

Hadoop xử lý khối lượng lớn dữ liệu bằng cách phân chia dữ liệu thành các khối nhỏ hơn và phân tán chúng trên một cụm các máy tính. Mỗi máy tính trong cụm xử lý một phần của dữ liệu song song với các máy khác. Hadoop gửi mã đến dữ liệu (nguyên tắc "data locality") thay vì gửi dữ liệu đến mã, giảm thiểu việc truyền dữ liệu qua mạng và tăng tốc độ xử lý.

300+ câu hỏi trắc nghiệm Big Data đầy đủ đáp án và lời giải - Phần 5

50 câu hỏi 60 phút

Bắt đầu thi

Câu hỏi liên quan

Câu 49:

Mô hình Điện toán đám mây IaaS?

Lời giải:

Đáp án đúng: A

IaaS là viết tắt của Infrastructure as a Service, có nghĩa là Cơ sở hạ tầng dưới dạng dịch vụ. Đây là một mô hình điện toán đám mây cung cấp tài nguyên cơ sở hạ tầng máy tính (ví dụ: máy ảo, lưu trữ, mạng) cho người dùng thông qua Internet. Người dùng có quyền kiểm soát hệ điều hành, lưu trữ và các ứng dụng đã triển khai, đồng thời có thể cài đặt và cấu hình bất kỳ phần mềm nào. Vì vậy, đáp án đúng là A.

Các lựa chọn khác không đúng vì:
- B. Nền tảng dưới dạng dịch vụ (PaaS): Cung cấp một nền tảng để phát triển, chạy và quản lý các ứng dụng.
- C. Phần mềm dưới dạng dịch vụ (SaaS): Cung cấp phần mềm ứng dụng cho người dùng qua Internet.
- D. Internet dưới dạng dịch vụ: Không phải là một mô hình điện toán đám mây.

Câu 50:

Dịch vụ tích hợp dữ liệu trên đám mây trên Google Cloud Platform:

Lời giải:

Đáp án đúng: B

A. Google Cloud Dataprep: Là một dịch vụ chuẩn bị dữ liệu thông minh trên đám mây, giúp khám phá, làm sạch và chuẩn bị dữ liệu cho phân tích.

B. Google Cloud Data Fusion: Là một dịch vụ tích hợp dữ liệu ETL (Extract, Transform, Load) hoàn toàn được quản lý, dựa trên mã nguồn mở CDAP. Nó giúp xây dựng và quản lý các pipeline dữ liệu một cách trực quan và dễ dàng, kết nối nhiều nguồn dữ liệu khác nhau và chuyển đổi dữ liệu để phù hợp với nhu cầu phân tích.

C. Google Data Catalog: Là một dịch vụ quản lý siêu dữ liệu và khám phá dữ liệu. Nó giúp các tổ chức hiểu rõ hơn về dữ liệu của mình bằng cách cung cấp một kho lưu trữ tập trung cho siêu dữ liệu.

D. Google BigQuery: Là một kho dữ liệu lớn, có thể mở rộng, không cần máy chủ, tiết kiệm chi phí và được thiết kế để phân tích dữ liệu lớn.

Trong các lựa chọn trên, Google Cloud Data Fusion là dịch vụ tích hợp dữ liệu trên đám mây, được thiết kế để giúp xây dựng và quản lý các pipeline dữ liệu.

Câu 1:

AVRO là gì?

Lời giải:

Đáp án đúng: A

Avro là một hệ thống tuần tự hóa dữ liệu. Nó cung cấp:

* Định nghĩa lược đồ dữ liệu: Dữ liệu được đi kèm với lược đồ của nó, cho phép phân tích cú pháp dữ liệu mà không cần biết trước lược đồ.
* Tuần tự hóa và giải tuần tự hóa hiệu quả: Avro sử dụng định dạng nhị phân nhỏ gọn để tuần tự hóa dữ liệu, giúp truyền tải và lưu trữ dữ liệu hiệu quả hơn.
* Hỗ trợ tiến hóa lược đồ: Avro cho phép lược đồ dữ liệu thay đổi theo thời gian mà không làm hỏng khả năng đọc dữ liệu cũ.
* Hỗ trợ đa ngôn ngữ: Avro có thể được sử dụng với nhiều ngôn ngữ lập trình khác nhau, bao gồm Java, Python, C++, v.v.

Như vậy, trong các phương án đưa ra, phương án A chính xác nhất vì nó chỉ ra bản chất là một thư viện tuần tự hóa. Các phương án còn lại không đúng bản chất của Avro.

Câu 2:

Các đặc trưng của HDFS. Chọn đáp án SAI

Lời giải:

Đáp án đúng: B

Câu hỏi yêu cầu tìm đặc trưng SAI của HDFS. HDFS (Hadoop Distributed File System) được thiết kế để lưu trữ và xử lý các tệp tin lớn trên một cụm các máy tính.

Phương án A đúng: HDFS được tối ưu hóa cho các tệp tin có kích thước lớn (hàng trăm MB đến vài GB).

Phương án B sai: HDFS không hỗ trợ thao tác đọc/ghi tương tranh (concurrent) tại chunk trên tệp tin. Nó được thiết kế cho việc ghi một lần và đọc nhiều lần (write-once, read-many). Việc hỗ trợ ghi tương tranh sẽ làm phức tạp việc quản lý đồng thời và nhất quán dữ liệu.

Phương án C đúng: HDFS hỗ trợ nén dữ liệu để tiết kiệm chi phí lưu trữ và băng thông.

Phương án D đúng: HDFS tích hợp cơ chế phân quyền và kiểm soát người dùng tương tự như UNIX, cho phép quản lý quyền truy cập vào các tệp tin và thư mục.

Vậy, đáp án sai là B.

Câu 3:

Các mục tiêu chính của Apache Hadoop

Lời giải:

Đáp án đúng: D

Các mục tiêu chính của Apache Hadoop bao gồm:

Lưu trữ dữ liệu khả mở (Scalable Data Storage): Hadoop được thiết kế để lưu trữ lượng lớn dữ liệu một cách hiệu quả trên một cụm các máy tính thông thường. Hệ thống tệp phân tán Hadoop (HDFS) cho phép lưu trữ dữ liệu trên nhiều nút, cung cấp khả năng mở rộng lưu trữ dễ dàng.
Xử lý dữ liệu lớn mạnh mẽ (Powerful Big Data Processing): Hadoop sử dụng mô hình MapReduce để xử lý song song dữ liệu trên các nút trong cụm. Điều này cho phép xử lý các bộ dữ liệu lớn một cách nhanh chóng và hiệu quả.

Trực quan hóa dữ liệu (Data Visualization) không phải là mục tiêu cốt lõi của Hadoop. Hadoop tập trung vào lưu trữ và xử lý dữ liệu, trong khi các công cụ khác như Tableau hoặc các thư viện Python như Matplotlib thường được sử dụng để trực quan hóa dữ liệu đã được xử lý bởi Hadoop.

Do đó, đáp án đúng là D: lưu trữ dữ liệu khả mở và xử lý dữ liệu lớn mạnh mẽ.

Câu 4:

Câu lệnh MapReduce trong Spark dưới đây, chia mỗi dòng thành từ dựa vào delimiter nào

input.flatMap( lambda x: x.split("\t") ).map(lambda x: (x, 1)).reduceByKey(add)

Lời giải: