Mọi người đi lên, càng leo càng cao, trên núi dần dần có dấu vết của người ở.

Ban đầu chỉ là vài căn nhà gỗ lá, hoặc là dựng trên đỉnh núi, hoặc là ẩn trong rừng, theo lời người trung niên họ Lưu nói, phần lớn là những ẩn sĩ sống ẩn cư tu hành trong núi.

- có người vì tài không gặp thời ở dưới núi mà lòng sinh phẫn nộ, nên lên núi tránh đời, có người mệt mỏi cuộc sống chốn hồng trần, lên núi sống những ngày "thu hoạch cúc bên hàng rào phía đông, nhàn nhã thấy Nam Sơn", có người đơn thuần là vì trên núi linh khí dồi dào lại có cảnh tượng kỳ diệu của đất trời, đến đây để tu hành, có người chỉ muốn tìm một nơi yên tĩnh để học tập đạo pháp, Phật pháp hay kiến thức khác.

Cũng có người vì dưới núi không có đất đai nhà cửa, lại phải nộp thuế, cuộc sống khó khăn, hoặc vì những chuyện khác không thể sống dưới đó, ví dụ như giết người phóng hoả, buộc phải lánh vào núi sâu hẻo lánh này để trốn.

Còn có người vì nơi này nổi tiếng, cả Vân Châu đều biết ở đây nhiều ẩn sĩ, ẩn sĩ nhiều có tài học, vì vậy đến đây để mượn tiếng nơi này để tô vẽ cho bản thân.