Nếu địa chỉ IP hoặc tên máy chủ của DataNode thay đổi

JobTracker là một tiến trình quan trọng trong Hadoop 1.x, chịu trách nhiệm quản lý các công việc MapReduce. Nó chạy trên NameNode. NameNode là trung tâm quản lý của hệ thống tệp Hadoop (HDFS), lưu trữ metadata về các tệp và thư mục trong hệ thống. JobTracker làm việc với NameNode để xác định vị trí dữ liệu và lên lịch các tác vụ cho các DataNode.

YARN (Yet Another Resource Negotiator) là một hệ thống quản lý tài nguyên cluster. Nó cung cấp các tùy chọn lập lịch khác nhau để quản lý và phân bổ tài nguyên cho các ứng dụng. Ba tùy chọn lập lịch phổ biến trong YARN là: Fair Scheduler (Lập lịch trình công bằng), Capacity Scheduler (Bộ lập lịch dung lượng) và FIFO Scheduler (Máy quét FIFO, thực chất là FIFO Queue). * **Fair Scheduler (Lập lịch trình công bằng):** Phân bổ tài nguyên một cách công bằng giữa các ứng dụng đang chạy. Nếu chỉ có một ứng dụng, nó sẽ sử dụng toàn bộ cluster. Khi có các ứng dụng khác được gửi, nó sẽ chia sẻ tài nguyên, sao cho mỗi ứng dụng đều nhận được một phần tài nguyên công bằng. * **Capacity Scheduler (Bộ lập lịch dung lượng):** Cho phép nhiều tổ chức chia sẻ một cluster Hadoop trong khi vẫn đảm bảo mỗi tổ chức có thể truy cập một dung lượng nhất định của cluster. Điều này được thực hiện bằng cách thiết lập các hàng đợi (queues) với dung lượng tối thiểu được đảm bảo. * **FIFO Scheduler (Máy quét FIFO):** Ứng dụng được thực hiện theo thứ tự đến trước phục vụ trước (First-In-First-Out). Ứng dụng đến trước sẽ được cấp tài nguyên trước. "Bộ lập lịch cân bằng" (Bộ lập lịch cân bằng) không phải là một tùy chọn lập lịch chính thức hoặc được công nhận trong YARN. Do đó, đây là tùy chọn không có sẵn.

NameNode trong Hadoop đóng vai trò là nút trung tâm quản lý không gian tên hệ thống tệp và điều phối quyền truy cập của các DataNode vào các tệp. Nó duy trì cây thư mục và siêu dữ liệu cho tất cả các tệp và thư mục trong hệ thống tệp Hadoop (HDFS). DataNode lưu trữ dữ liệu thực tế, và SlaveNode không phải là một thuật ngữ tiêu chuẩn trong Hadoop.

Câu hỏi yêu cầu xác định mục đích sử dụng của "Writes" trong ngữ cảnh Java. * **Phương án A:** Mô tả "Writes" như một giao diện Java để truyền dữ liệu trực tuyến đến các máy chủ từ xa. Điều này có thể đúng trong một số trường hợp cụ thể, nhưng không phải là định nghĩa chung nhất hoặc duy nhất của "Writes". * **Phương án B:** Mô tả "Writes" như một giao diện Java để ghi HDFS (Hadoop Distributed File System). Điều này cũng có thể đúng trong một ngữ cảnh cụ thể của Hadoop, nhưng không phải là định nghĩa chung nhất. * **Phương án C:** Mô tả "Writes" như một giao diện Java để xử lý MapReduce. Điều này chính xác. Trong Hadoop MapReduce, một `OutputFormat` (và các lớp liên quan) định nghĩa cách dữ liệu đầu ra từ các mapper và reducer được ghi vào lưu trữ (ví dụ: HDFS). Các `RecordWriter` được sử dụng để ghi các bản ghi đầu ra thực tế. Do đó, có một mối liên hệ chặt chẽ giữa việc ghi dữ liệu và xử lý MapReduce. Các "Writes" đóng vai trò là một phần quan trọng trong quá trình này. * **Phương án D:** Vì phương án C đúng, phương án này sai. Vậy đáp án đúng là C. Writes là một giao diện Java cần được triển khai để xử lý MapReduce.

Hadoop xử lý khối lượng lớn dữ liệu bằng cách:

• Sử dụng song song rất nhiều máy: Hadoop chạy trên một cluster các máy tính, cho phép xử lý dữ liệu song song và phân tán, tăng tốc đáng kể so với xử lý trên một máy đơn lẻ.
• Tận dụng phần cứng MPP (Massively Parallel Processing): Hadoop được thiết kế để hoạt động hiệu quả trên các hệ thống MPP, nơi nhiều bộ xử lý làm việc cùng nhau để giải quyết một vấn đề.
• Gửi mã đến dữ liệu (Data Locality): Thay vì di chuyển lượng lớn dữ liệu đến nơi có mã xử lý, Hadoop di chuyển mã xử lý đến gần dữ liệu nhất có thể. Điều này giảm thiểu việc truyền dữ liệu qua mạng, một yếu tố quan trọng khi làm việc với big data.

Phương án D không đúng vì NameNode quản lý metadata (dữ liệu về dữ liệu) chứ không trực tiếp xử lý dữ liệu. Việc sử dụng bộ nhớ đệm trên NameNode giúp tăng tốc truy cập metadata, nhưng không phải là yếu tố chính trong việc xử lý khối lượng lớn dữ liệu.