JavaScript is required

Trong mạng nơ-ron, hàm activation function ReLU (Rectified Linear Unit) có đặc điểm gì?

A.

Nó làm giảm độ chệch (bias) của mô hình

B.

Nó giữ nguyên giá trị âm

C.

Nó không bị sự mất mát gradient khi huấn luyện

D.

Nó không thể giải quyết được vấn đề overfitting

Trả lời:

Đáp án đúng: C


ReLU (Rectified Linear Unit) là một hàm kích hoạt phổ biến trong mạng nơ-ron. Đặc điểm chính của ReLU là nó trả về 0 nếu đầu vào âm và trả về chính giá trị đầu vào nếu nó dương. Phương án A không đúng vì ReLU không trực tiếp làm giảm độ chệch (bias) của mô hình. Độ chệch thường được điều chỉnh thông qua quá trình huấn luyện và tối ưu hóa. Phương án B không đúng vì ReLU thay đổi các giá trị âm thành 0. Phương án C đúng. ReLU giúp giảm thiểu vấn đề vanishing gradient (mất mát gradient) so với các hàm kích hoạt như sigmoid hoặc tanh. Khi đầu vào dương, gradient của ReLU là 1, giúp lan truyền gradient hiệu quả hơn trong quá trình lan truyền ngược (backpropagation). Phương án D không đúng. ReLU, giống như các hàm kích hoạt khác, không tự nó giải quyết vấn đề overfitting. Overfitting thường được giải quyết bằng các kỹ thuật như regularization, dropout, hoặc thu thập thêm dữ liệu.

Câu hỏi liên quan