Vấn đề chính gặp phải khi đọc và ghi dữ liệu song song từ nhiều đĩa là gì?

HDFS (Hadoop Distributed File System) có thể được truy cập qua HTTP bằng cách sử dụng lược đồ URI webhdfs. Lược đồ này cho phép các ứng dụng và công cụ giao tiếp với HDFS thông qua giao thức HTTP, giúp việc truy cập và quản lý dữ liệu trên HDFS trở nên linh hoạt hơn, đặc biệt là trong các môi trường mà các giao thức truy cập trực tiếp (ví dụ: giao thức HDFS gốc) bị hạn chế.

- viewfs là một hệ thống tệp ảo cho phép bạn tạo nhiều namespace HDFS trên một cụm duy nhất. Nó không liên quan trực tiếp đến việc truy cập HDFS qua HTTP.

- wasb là trình điều khiển hệ thống tệp cho Azure Blob Storage, cho phép Hadoop truy cập dữ liệu được lưu trữ trong Azure Blob Storage. Nó không liên quan đến việc truy cập HDFS.

- HDFS không sử dụng giao thức FTP.

Trong Hadoop, khi một máy khách (client) muốn đọc dữ liệu từ HDFS (Hadoop Distributed File System), quá trình diễn ra như sau:

1. Máy khách liên hệ với NameNode: Đầu tiên, máy khách giao tiếp với NameNode để yêu cầu siêu dữ liệu (metadata) của tệp cần đọc. Siêu dữ liệu này bao gồm thông tin về các khối (blocks) tạo nên tệp và vị trí của các khối này trên các DataNode.


2. NameNode cung cấp thông tin vị trí khối: NameNode trả về danh sách các DataNode lưu trữ các khối dữ liệu mà máy khách cần.


3. Máy khách liên hệ trực tiếp với DataNode: Máy khách sau đó liên hệ trực tiếp với các DataNode được chỉ định để lấy dữ liệu khối. Quá trình truyền dữ liệu diễn ra trực tiếp từ DataNode đến máy khách, không thông qua NameNode.

Dựa vào quy trình này, ta có thể thấy:

• Đáp án A không đúng vì máy khách không lấy dữ liệu trực tiếp từ NameNode. NameNode chỉ cung cấp thông tin vị trí khối.


• Đáp án B không đúng vì máy khách không lấy vị trí khối từ DataNode. Vị trí khối được lấy từ NameNode.


• Đáp án C không đúng vì máy khách không chỉ lấy các vị trí khối từ NameNode mà còn lấy dữ liệu từ DataNode.


• Đáp án D không đúng vì máy khách không lấy cả dữ liệu và vị trí khối từ NameNode. Dữ liệu được lấy từ DataNode, còn vị trí khối được lấy từ NameNode.

Như vậy, không có đáp án nào hoàn toàn chính xác. Tuy nhiên, đáp án gần đúng nhất là C. chỉ lấy các vị trí khối tạo thành NameNode, vì đây là một phần quan trọng của quy trình đọc dữ liệu. Mặc dù không đầy đủ, nó phản ánh một bước thiết yếu trong quá trình này. Để hoàn thiện, cần thêm bước máy khách sẽ đọc dữ liệu trực tiếp từ DataNode dựa trên thông tin vị trí nhận được từ NameNode.

Lệnh hdfs dfs -copyFromLocal được sử dụng để sao chép tệp từ hệ thống tệp cục bộ vào hệ thống tệp Hadoop (HDFS). Các biến thể khác như CopyFromLocal, CopyLocal, và copyfromlocal không phải là các lệnh hợp lệ trong HDFS. Do đó, đáp án đúng là copyFromLocal.

Đáp án đúng là C. Flume.

• Flume: Là một hệ thống phân tán, tin cậy và có sẵn để thu thập, tổng hợp và di chuyển một lượng lớn dữ liệu nhật ký một cách hiệu quả từ nhiều nguồn khác nhau đến kho lưu trữ dữ liệu tập trung như Hadoop HDFS. Flume có thể xử lý dữ liệu phát trực tuyến (streaming data) một cách liên tục.
• Oozie: Là một hệ thống điều phối công việc (workflow scheduler) để quản lý và lên lịch các công việc Hadoop.
• Kafka: Là một nền tảng truyền tải thông điệp phân tán (distributed streaming platform) thường được sử dụng để xây dựng các pipeline dữ liệu thời gian thực (real-time data pipelines) và các ứng dụng phát trực tuyến (streaming applications). Mặc dù Kafka có thể lưu trữ dữ liệu, nhưng nó không trực tiếp nhập dữ liệu vào Hadoop theo cách mà Flume làm.
• Hive: Là một hệ thống kho dữ liệu (data warehouse system) được xây dựng trên Hadoop, cung cấp các chức năng tóm tắt, truy vấn và phân tích dữ liệu.