甘泉宫遗址现存的另一件大型石刻是石鼓。这个石鼓高五尺余，形状象腰鼓。传说石鼓原来在湖北省枣阳县，东汉光武帝刘秀把它担到了甘泉宫。刘秀小的时候死了父亲，寄养在叔父家中，叔父家门前有两个石鼓，刘秀和他的小朋友们经常围着石鼓玩耍。有一天，他和小朋友们在一起打赌，谁能把石鼓敲响，就推谁为王。小朋友个人都没有敲响，刘秀一敲"咚！咚！咚！"鼓声如雷，逗得大伙哈哈大笑，异口同声喊起来了："刘秀为王！刘秀为王！"这石鼓的声音非同一般，轰隆声惊动了玉皇大帝。玉皇对刘秀讲："你把石鼓敲响了，将来可以称王。但是，必须把石鼓担到云阳县甘泉宫，那里自古以来就是皇帝祭天的地坟，风脉最，景色好，把甘泉宫的风脉压不住，你的江山也坐不稳当。"说完，玉帝不见的。刘秀急忙喊："玉皇大帝！玉皇大帝！" 喊声把自己惊醒了，原来他是躺在石鼓旁边做了一个梦。     刘秀长在后，身高七尺，浓眉大眼，力气过人，性格粗犷。王莽末年，刘秀同他的哥哥刘演起兵打败了王莽，当了皇帝。他没有忘记玉帝给他托的梦，毅然把石鼓担往甘泉宫，一路上累得他浑身是汗受尽劳累。到了甘泉宫门口，他喘了口气，后边的石鼓掉在礼泉县赵镇，就是今天的石鼓赵村。刘秀一生气，把扁担向东一撇，摔在东山上，就是今县东的扁担山。刘秀把石鼓淌有全部放在甘泉宫，他心里明白把风脉没有压住，在长安的江山坐不稳，就把国都迁到了河南洛阳。  
    刘秀担石鼓的故事，只是个传说。至于他当皇帝的功绩、江山浮沉的经过，均有历史记载，后人也有评说。