唐代大书法家颜真卿的扛鼎之作 “颜勤礼碑”曾被欧阳修《六一集古录》收录，自北宋元祐年间忽然神秘失踪，近千年间不知去向。

    1922年10月，刘镇华任陕西省长时，修葺省长公署（位于今西安鼓楼以东及东北一带），曾命其卫队营长何孟庚负责施工。施工中，工人在拆除旧房舍整修地基时，忽然在地下数米深处掘出古碑一通，酷爱金石的何孟庚仔细辨认后确认此碑就是湮没千年的《颜勤礼碑》。碑石虽已从中间断裂，但上下皆完好无损。《颜勤礼碑》现身的消息传出，当时，人们视为神物复出，当即便有人在坑沿拓印。当时碑阴断处的“故”字上下可以合拢，笔画无残缺。《颜勤礼碑》出土数日后，刘镇华命人将碑石移到省长公署前院竖立，“故”字上下接口处已有损伤，不能合拢。6年后移往新城小碑林时，“故”字大部损伤，仅存几个残笔。到1948年由小碑林迁至西安碑林时，“故”字已全裂。

    1927年10月，宋哲元出任陕西省主席，将省长公署迁至新城以内，而将原来的省长公署改为民政厅驻地。一天，宋哲元到民政厅视察，看到院内巍然竖立着《颜勤礼碑》，突发奇想，欲将《颜勤礼碑》运到新城内，兴办“小碑林”。随后，宋哲元将迁徙《颜勤礼碑》兴办“小碑林”的计划呈送冯玉祥，得到冯的赞赏。在冯的支持下，宋哲元命财政厅划拨专款，于1928年三四月间将《颜勤礼碑》移至新城大楼北东侧竖立。接着，又在旁边大兴土木，兴建东西廊坊以及碑亭等附属建筑。然后，又陆续从兴平、华阴、蒲城、富平等县迁来《汉武都太守碑》、《唐述圣颂碑》、《黄庭坚诗书》等38通碑石，一时间，新城内碑碣林立，俨然成为一处重要的人文景观。

    1948年，新城“小碑林”整体迁入西安碑林。