Hadoop xử lý khối lượng lớn dữ liệu như thế nào?
A.
Hadoop sử dụng song song rất nhiều máy. Điều này tối ưu hóa việc xử lý dữ liệu.
B.
Hadoop được thiết kế đặc biệt để xử lý lượng lớn dữ liệu bằng cách tận dụng phần cứng MPP.
C.
Hadoop gửi mã đến dữ liệu thay vì gửi dữ liệu đến mã.
D.
Hadoop sử dụng các kỹ thuật bộ nhớ đệm phức tạp trên NameNode để tăng tốc độ xử lý dữ liệu.
Trả lời:
Đáp án đúng: C
Hadoop xử lý khối lượng lớn dữ liệu bằng cách:
- Sử dụng song song rất nhiều máy: Hadoop chạy trên một cluster các máy tính, cho phép xử lý dữ liệu song song và phân tán, tăng tốc đáng kể so với xử lý trên một máy đơn lẻ.
- Tận dụng phần cứng MPP (Massively Parallel Processing): Hadoop được thiết kế để hoạt động hiệu quả trên các hệ thống MPP, nơi nhiều bộ xử lý làm việc cùng nhau để giải quyết một vấn đề.
- Gửi mã đến dữ liệu (Data Locality): Thay vì di chuyển lượng lớn dữ liệu đến nơi có mã xử lý, Hadoop di chuyển mã xử lý đến gần dữ liệu nhất có thể. Điều này giảm thiểu việc truyền dữ liệu qua mạng, một yếu tố quan trọng khi làm việc với big data.
Phương án D không đúng vì NameNode quản lý metadata (dữ liệu về dữ liệu) chứ không trực tiếp xử lý dữ liệu. Việc sử dụng bộ nhớ đệm trên NameNode giúp tăng tốc truy cập metadata, nhưng không phải là yếu tố chính trong việc xử lý khối lượng lớn dữ liệu.
