MapReduce do công ty nào phát triển?

Trong Spark Streaming, DStream (Discretized Stream) là một chuỗi liên tục các RDD (Resilient Distributed Datasets). Mỗi RDD trong DStream đại diện cho dữ liệu được xử lý trong một khoảng thời gian nhất định. Vì vậy, đáp án A là đáp án chính xác nhất.

Tham số dfs.datanode.du.reserved dùng để dự trữ dung lượng đĩa cho DataNode, được cấu hình trong tệp hdfs-site.xml. Tệp này chứa các cấu hình đặc thù cho HDFS, bao gồm các thuộc tính liên quan đến DataNode và NameNode.

• hdfs-default.xml: Chứa các cấu hình mặc định của HDFS.


• core-site.xml: Chứa các cấu hình lõi, chẳng hạn như cấu hình Hadoop Common (ví dụ: fs.defaultFS).


• mapred-site.xml: Chứa các cấu hình cho MapReduce.

Đáp án đúng là C. Spark.

Giải thích:

Spark là một framework tính toán cluster mã nguồn mở, nhanh chóng và đa năng. Nó cung cấp một hệ thống xử lý luồng (stream processing) mạnh mẽ, cho phép xử lý dữ liệu thời gian thực (real-time) hoặc gần thời gian thực (near real-time). Spark Streaming là một phần của Spark, được thiết kế để xử lý các luồng dữ liệu trực tiếp (live data streams) từ nhiều nguồn khác nhau như Kafka, Flume, Twitter, ZeroMQ hoặc các socket TCP.

Các lựa chọn khác không phù hợp vì những lý do sau:

• A. Solr: Solr là một nền tảng tìm kiếm (search platform) dựa trên Lucene, được sử dụng để lập chỉ mục (indexing) và tìm kiếm dữ liệu. Nó không phải là một hệ thống xử lý luồng.
• B. Tez: Tez là một framework thực thi dữ liệu (data execution framework) được xây dựng trên Hadoop, cho phép các ứng dụng xử lý dữ liệu quy mô lớn một cách hiệu quả hơn. Nó không trực tiếp cung cấp khả năng xử lý luồng.
• D. Hive: Hive là một hệ thống kho dữ liệu (data warehouse system) được xây dựng trên Hadoop, cho phép truy vấn dữ liệu bằng SQL. Nó chủ yếu được sử dụng để xử lý dữ liệu theo lô (batch processing) thay vì xử lý luồng.

Lệnh start-dfs.sh được sử dụng trong Hadoop để khởi động các thành phần cơ bản của hệ thống tệp phân tán Hadoop (HDFS). Khi chạy lệnh này, nó sẽ khởi động cả NameNode và DataNode. NameNode là nút chủ quản lý không gian tên hệ thống tệp và DataNode là các nút lưu trữ dữ liệu thực tế.