先秦时期，就有关于观赏石的记载，《尚书》中的《禹贡》，指出泰山的峡谷中产怪石，并将怪石列为贡品之一。

到了汉代，就有了赏石文化的雏形，文人雅士将从山间或河滩中拾的一些奇异怪石和鹅卵石，置于庭院、摆于茶几，与同窗好友共同欣赏，人们称这些有观赏性的石头为雅石、供石和奇石，现代人称它为观赏石。

唐宋时期，赏石藏石之风十分兴盛。着名诗人陆游、苏东坡，书法家黄庭坚等一大批文人收藏、观赏奇石，为之吟诗作赋。

清代郑板桥酷爱奇石，称奇石“丑石也，丑而雄，丑而美”。

曹雪芹更是从石中引出名着《红楼梦》，亦称《石头记》。

当今，赏石文化深深渗透到了现代人的生活之中，奇石收藏成为现代文化生活的一部分，奇石博物馆、奇石收藏家如雨后春笋，遍及全国。