Trong mạng nơ-ron hồi quy (RNN), đối với bài toán dự đoán chuỗi thời gian, đặc điểm chính của mạng LSTM (Long Short-Term Memory) là gì?

Giải thích:

Trong các mạng nơ-ron nhân tạo, mỗi hàm activation có những ưu điểm và nhược điểm riêng. Tuy nhiên, hàm ReLU (Rectified Linear Unit) hiện nay được sử dụng phổ biến nhất cho các lớp ẩn vì những lý do sau:

• Khắc phục vấn đề vanishing gradient: ReLU giúp giảm thiểu vấn đề vanishing gradient, một vấn đề lớn trong các mạng nơ-ron sâu, đặc biệt là khi sử dụng các hàm như sigmoid hoặc tanh. Gradient của ReLU là 1 cho các giá trị dương, giúp lan truyền gradient hiệu quả hơn qua các lớp.
• Tính toán hiệu quả: ReLU có phép tính đơn giản (max(0, x)), giúp giảm đáng kể chi phí tính toán so với các hàm phức tạp hơn như sigmoid hoặc tanh.
• Sự thưa thớt (Sparsity): ReLU tạo ra sự thưa thớt trong mạng nơ-ron bằng cách đưa các nơ-ron về trạng thái không hoạt động (output = 0) khi input âm. Điều này có thể giúp mạng học các đặc trưng quan trọng hơn và giảm overfitting.

Mặc dù sigmoid và tanh từng được sử dụng phổ biến, chúng dễ bị vanishing gradient hơn. Softmax thường được sử dụng cho lớp đầu ra trong các bài toán phân loại đa lớp.

Câu hỏi này kiểm tra kiến thức về các tầng phổ biến trong mạng nơ-ron tích chập (CNN). Trong CNN, Pooling Layer (tầng gộp) được sử dụng để giảm kích thước không gian của dữ liệu đầu vào. Các tầng khác có chức năng khác nhau:

• Fully Connected Layer (tầng kết nối đầy đủ): Thường được sử dụng ở cuối mạng CNN để thực hiện phân loại.


• Convolutional Layer (tầng tích chập): Dùng để trích xuất các đặc trưng từ dữ liệu đầu vào.


• Dropout Layer: Là một kỹ thuật điều chuẩn hóa (regularization) để ngăn chặn overfitting.