据《史记·留侯世家》载：留侯从入关。“留侯性多病即导不食谷杜门不出不出岁余。”

　　张又曾不止一次地向汉王提出：“愿弃人间多欲从赤松子游耳。”

　　这表明张良早有离开朝政静居行气出游山林的想法。

　　但是在汉十年（甘元前197年）时他又跟从刘邦率兵平叛陈豨攻下了马邑。汉十一年为平息反叛张良又带病送刘邦至曲邮。并对刘邦说：“臣宜从病甚”。言下之意也是要退政隐居。并提醒汉王：“楚人剽疾愿上无与楚人争锋。”要避敌之锋芒乃为周旋战事。这说明在这段时间里张良仅有避谷之意尚未真正隐退。

　　汉十二年（甘元195年）刘邦因击黥中流箭负重伤四月病危中吕后问刘邦：“陛下百岁后萧相国既死谁令代之？”刘邦谈到曹参、王陵、陈平、周勃等许多重臣的人事安排但只字未提张良。刘邦死后吕后与审食其计谋：“暂不发丧”欲借机诛杀一批老臣宿将。郦商向审食其进言：“不能欲杀诸将”也曾提到陈平、灌婴、樊哙等人仍未提及张良。这说明在这期间张良己不在朝中了。

　　那么张良是怎样出朝的呢？有人说吕后杀了韩信烹了彭越在朝廷大力培植吕家势力之时刘邦又欲易太子吕后指使吕译强迫张良为吕家出谋划策张良婉言谢绝。吕后遂扣张良之子为人质。若张良不为吕家效力吕后就要将他儿子杀掉。张良气愤之极不告而辞。刘邦得知后曾亲自率兵四处寻请张良回朝。这说明在吕后专权大杀功臣宿将并危及张良自身之安全时张良便毅然离会避谷山林了。那么张良避谷在何处呢？

　　秦岭繁柏山区乃刘邦张良军旅之地张良在此隐居大有可能。

　　当年刘邦和韩信“明修栈道暗度陈仓”就是依张良的计谋：翻越秦岭夺下关中；又东出函谷关一开汉楚争雄之战局。后来军事失利刘邦又依张良之策略与项羽议和停战以鸿沟为界互不侵犯。待和约签定越军守约东归之时汉军乘其不备背约追击。又令韩信、彭越两位大将夹击项羽大败而逃。后又在垓下一战致楚几乎全军覆没。最终项羽在乌江自刎。刘邦遂灭楚在汉统一天下。当时刘邦、韩信从根据地——汉中出兵所过之陈仓古道就是从紫柏山之西侧山腰以及附近的闸口石、箭锋垭、瓦房坝等地而过。传说的张又避谷之处就在箭锋垭不远处。

　　从以上不难看出秦岭南坡紫柏山一带是汉中盆地的北部屏障攻取关中的军事咽喉和前沿防线乃兵家军旅必争之地。作为刘邦之谋士重臣的张良对这一地区必然是了如指掌十分谙熟的。这里又是名山仙境世外桃源。尔后张良选此深山险峰避谷隐世看来不无道理。

　　张良在紫柏山避谷史料多有记述民间更富传说。

　　张又避谷后刘邦曾亲自率兵进山寻请。据传留坝县城青羊河西南岸的原“汉王城”就是刘邦寻找张良时修建的住地。后来刘邦在紫柏山北坡的高桥好听到张良的避谷处。终于在白云封顶、雾霭沉沉的一条山涧绝壁处找到了张良。刘邦来到张良居处便倒抽一口寒气。只见一穴石洞深邃幽静洞前濒临万丈深谷谷岸齐如刀仞。一条独木桥横跨其上。张良立于桥端洞口中口称“万岁！请我主过桥来有为臣保驾。”刘邦生畏不敢过桥。要张良过桥相见。张良从命过桥君臣礼罢叙长问短。张良复请君王进洞相叙。刘邦上桥欲过桥腐若断汉王慌忙却步退回。张良领先从容迈步而过。刘邦夏又过桥正欲举步独木桥“嘎嘎”作响朽木烂渣纷纷坠落。刘邦惊魂失魄遥对张良曰：“爱卿你己成仙矣！”张良忙下跪拜道：“臣在此谢封了！”忽听“嚓卡”一声巨响独木桥断坠万丈深渊。刘邦隔谷相望帐然若失率兵回归。刘邦去后不久又见张良追随上来陪送刘邦到白崖河下游的一座木桥。君臣在桥头依依惜别。后人将这座桥称做“送驾桥”。此桥名流传至今尚未更名。张良在此避谷以食山果竹米充饥。为表示自己永远避谷之意告别刘邦时在桥头曾撒下一大把竹米。据说现今这里的一丛翠竹即为当时竹米繁衍而来。

　　又据留侯祠《三清殿创建碑》载：“紫柏山麓有留侯庙相传为张文成公避谷处。……公运筹策决胜激流勇退如神龙出没以视沉溺功名膏盲泉石者。”

　　《留坝县志》又云：“留侯尘心浓未曾高卧登此峰。”也明确记载：张良在此避谷。

　　综上所述不论张良是否避谷紫柏山林抑或其地其物是真是假还是其山其地名因何而得总之后世之人庙址选择在昔日汉王、留侯开创汉室的主要活动地——汉中境户并在风景如画吐纳烟岚的紫柏山麓建庙设祠亦可谓设计建造者之知情会意匠心良苦。