Mục đích tổ chức bộ nhớ phân cấp là 

Mục đích chính của việc tổ chức bộ nhớ phân cấp là để tăng tốc độ truy xuất trung bình của hệ thống bộ nhớ đồng thời tăng dung lượng nhớ. Bộ nhớ phân cấp bao gồm các cấp bộ nhớ khác nhau với tốc độ và giá thành khác nhau. Các bộ nhớ nhanh, nhỏ (ví dụ: cache) được sử dụng để lưu trữ dữ liệu thường xuyên được truy cập, trong khi các bộ nhớ chậm, lớn (ví dụ: ổ cứng) được sử dụng để lưu trữ dữ liệu ít được truy cập hơn. Cách tổ chức này giúp giảm thời gian truy xuất trung bình vì CPU có thể truy cập dữ liệu thường xuyên sử dụng từ bộ nhớ nhanh hơn. Đồng thời, nó cũng cho phép hệ thống có dung lượng nhớ lớn hơn với chi phí hợp lý.