Đống Thếch là một thung lũng nhỏ, cao ráo, bằng phẳng, trong đó, nhấp nhô hàng trăm hòn mồ cao thấp đứng cùng thời gian. Tương truyền rằng, vào khoảng thế kỷ XVII, XVIII, một người con của dòng họ Đinh là Đinh Công Kỷ do có công lao giúp vua Lê Trung Hưng chống giặc và xây dựng triều chính nên sau khi chết, ông đã được mai táng theo nghi lễ tước hầu. Đặc biệt, khi dựng mộ, nhà Lê đã chuyển nhiều phiến đá xanh từ Thanh Hóa ra để làm cột mồ. Từ đó, khi mộ Đống Thếch trở thành nơi chôn cất thi thể của những người thuộc dòng họ Đinh với khoảng trên 20 ngôi mộ nổi và hàng trăm ngôi mộ chìm. Song, do quá trình vận động của thời gian, sự tác động của con người nên hiện nay, khu mộ cổ Đống Thếch chỉ còn sót lại trên 10 ngôi mộ nổi và một số hiện vật. Sự huyền bí của khu mộ cổ Đống Thếch đến nay vẫn chưa được khám phá hết, nó vẫn còn là một bí ẩn. Vì vậy nó còn có sức hút với những người đam mê khảo cổ. Năm 1997, khu mộ cổ Đống Thếch được Bộ Văn hóa – Thể thao công nhận là di tích Khảo cổ cấp Quốc gia.

(Khu mộ cổ Đống Thếch)

 Huyện Kim Bôi Hiện có 46 di tích, trong đó có 1 di tích xếp hạng cấp Quốc gia, 7 di tích lịch sử văn hoá cấp Tỉnh, 23 di tích chưa xếp hạng... Nhận thức rõ vai trò, tầm quan trọng trong công tác bảo tồn và phát huy giá trị di tích lịch sử văn hóa, UBND huyện đã ban hành các văn bản chỉ đạo, hướng dẫn, tuyên truyền, phổ biến các quy định pháp luật đối với công tác quản lý, tu bổ, tôn tạo, phát huy các giá trị di tích lịch sử văn hóa ở các địa phương trên địa bàn. Hằng năm, UBND huyện chỉ đạo Phòng Văn hóa- Khoa học và Thông tin huyện phối hợp với Phòng Quản lý di sản  Sở Văn hóa Thể thao và Du lịch thực hiện việc khảo sát, kiểm kê và lập hồ sơ khoa học di tích trình cấp có thẩm quyền xếp hạng.

          Để tiếp tục bảo vệ và phát huy giá trị Di tích lịch sử -văn hóa, trong thời gian tới, huyện sẽ tiếp tục đẩy mạnh công tác tuyên truyền vận động đến toàn thể nhân dân trên địa bàn có trách nhiệm bảo vệ, không được xâm phạm đến di tích. Tuyên truyền sâu rộng Luật Di sản văn hóa và công tác quản lý, chăm sóc, bảo vệ các di tích lịch sử - văn hóa đến nhân dân; tăng cường công tác quản lý nhà nước, ngăn chặn kịp thời các  hành vi xâm phạm đến di tích. Huy động các nguồn lực xã hội nâng cấp một số di tích đã xuống cấp. Thường xuyên tổ chức cho các em học sinh tìm hiểu về ý nghĩa lịch sử của di tích, góp phần quan trọng vào việc giữ gìn, bảo tồn và phát huy hơn nữa các giá trị của di tích trên địa bàn huyện.