JavaScript is required

Trong mạng nơ-ron nhân tạo, hàm activation nào được sử dụng phổ biến nhất cho lớp ẩn?

A.

Sigmoid

B.

Tanh

C.

ReLU (Rectified Linear Unit)

D.

Softmax

Trả lời:

Đáp án đúng: C


Giải thích:

Trong các mạng nơ-ron nhân tạo, mỗi hàm activation có những ưu điểm và nhược điểm riêng. Tuy nhiên, hàm ReLU (Rectified Linear Unit) hiện nay được sử dụng phổ biến nhất cho các lớp ẩn vì những lý do sau:

  • Khắc phục vấn đề vanishing gradient: ReLU giúp giảm thiểu vấn đề vanishing gradient, một vấn đề lớn trong các mạng nơ-ron sâu, đặc biệt là khi sử dụng các hàm như sigmoid hoặc tanh. Gradient của ReLU là 1 cho các giá trị dương, giúp lan truyền gradient hiệu quả hơn qua các lớp.
  • Tính toán hiệu quả: ReLU có phép tính đơn giản (max(0, x)), giúp giảm đáng kể chi phí tính toán so với các hàm phức tạp hơn như sigmoid hoặc tanh.
  • Sự thưa thớt (Sparsity): ReLU tạo ra sự thưa thớt trong mạng nơ-ron bằng cách đưa các nơ-ron về trạng thái không hoạt động (output = 0) khi input âm. Điều này có thể giúp mạng học các đặc trưng quan trọng hơn và giảm overfitting.

Mặc dù sigmoid và tanh từng được sử dụng phổ biến, chúng dễ bị vanishing gradient hơn. Softmax thường được sử dụng cho lớp đầu ra trong các bài toán phân loại đa lớp.

Câu hỏi liên quan