Trên ba tuyến hướng Bắc, Tây, Đông của Công viên Địa chất Non nước Cao Bằng hầu hết đều có hang động, trong đó tuyến hướng Đông có nhiều hang động nhất với muôn vẻ đẹp kỳ thú, huyền ảo, bao gồm: hang Ghị Rằng (Trà Lĩnh), hang Dơi (Hạ Lang), hang Ngườm Bốc và hang Ngườm Slưa (Hòa An), hang Ngườm Pục (Thạch An).
Hang Ghị Rằng (hang Kỳ Rằng) nằm trong lòng một quả núi đá vôi lớn mang tên núi Ghị Rằng, cách hồ Thang Hen khoảng 1,5km. Hang Ghị Rằng có chiều dài khoảng 1km, chia làm nhiều khoang nối với nhau qua các lối đi hẹp. Hang có 2 cửa thông nhau, vòm hang cao, trong lòng hang là những khoang khá rộng. Khung cảnh tuyệt mỹ mà thiên nhiên ban tặng cho nơi đây đẹp tựa chốn thiên cung, với các khối thạch nhũ huyền ảo và nhiều măng đá có hình thù độc đáo với hình dạng, kích thước khác nhau. Đặc biệt nhất, đó chính là mảng màu đen huyền bí - kết quả của quá trình kiến tạo địa chất hơn 300 triệu năm.
Hang Dơi người dân địa phương vẫn gọi là Ngườm Ca Khào (có nghĩa là hang con dơi) thuộc xã Đồng Loan, huyện Hạ Lang, tỉnh Cao Bằng, cách trung tâm huyện 20 km. Hang Dơi có chiều dài khoảng 2 km, trong hang có những nhũ đá với nhiều hình thù đa dạng, phong phú, lấp lánh nhiều màu sắc, quyến rũ.
Hang Dơi nằm trong lòng dãy núi đá vôi cách đường dân sinh khoảng 700m, đây là một hang động còn rất hoang sơ, có kiến tạo địa chất cách đây hàng triệu năm với tổng chiều dài khoảng 1.000m, độ cao trung bình khoảng 40m. Đứng từ đây, du khách có thể phóng tầm mắt ngắm nhìn phong cảnh thiên nhiên hùng vĩ, có dãy núi trùng điệp, chạy trên thung lũng, thấp thoáng những nếp nhà sàn...
Năm 2014, Bộ Văn hóa, Thể thao và Du lịch đã ban hành Quyết định xếp hạng hang Dơi là Di tích Danh lam thắng cảnh cấp quốc gia.
Hang Ngườm Slưa phát triển trong khối đá vôi hình thành trong điều kiện biển nông và ấm cách ngày nay khoảng 270 - 360 triệu năm. Trước cửa hang còn lưu giữ dấu vết hai bậc thềm sông - minh chứng cho hoạt động nâng của khu vực này trong giai đoạn tân kiến tạo.
Theo truyền thuyết của đồng bào Tày thì Ngườm Bốc là nơi gặp nhau, thành vợ thành chồng của đôi trai gái Pú Lương - Slao Cải còn Ngườm Slưa là hang đá mà chàng Pú Lương đánh nhau với hổ để bảo vệ cuộc sống yên bình của gia đình mình. Ngườm Slưa cũng là nơi in báo Cờ Đỏ (1932 - 1933), cơ sở hoạt động cách mạng từ năm 1932 đến năm 1936.
Hang Ngườm Pục (Lê Lợi, Thạch An), nằm sâu trong dãy núi đá giáp ranh giữa xã Lê Lợi (Thạch An, Cao Bằng) và xã Quốc Khánh (Tràng Định, Lạng Sơn).
Địa hình hang tương đối hiểm trở, đến khám phá nơi đây du khách phải đi qua các khe đá hẹp, khó đi. Hang có độ sâu gần 100m tính từ cửa vào, trải dài từ cửa hang vào bên trong là những nhũ đá nguyên sơ với nhiều hình thù khác lạ, độc đáo nhiều màu sắc khác nhau tạo nên vẻ đẹp lung linh huyền ảo.
HN