在秦灭韩后，张良立志为韩国报仇。有一次，因刺杀秦始皇未遂，受到追捕而避居到下邳。张良在下邳闲暇无事。有一天他到下邳桥上散步，碰到一个老人，穿着粗布短衣，走到张良旁边，故意把他的鞋子掉到桥下。然后回过头来冲着张良说：“孩子！下桥去给我把鞋子拾上来！”张良听了一愣，很想打他一下，但一看他是个老人，就强忍着怒气，到桥下把鞋拾了上来。那老人竟又命令说：“把鞋子给我穿上！”张良一想，既然已经给他拾来了鞋子，不如就给他穿上吧，于是就跪在地上给他穿鞋。那老人把脚伸着，让张良给他穿好后，就笑嘻嘻地走了。
张良一直用惊奇的目光注视着他的去向。那老人走了里把路，又折回身来，对张良说：“你这个孩子是能培养成才的。5天以后的早上，天一亮，就到这里来同我会面！”张良跪下来说：“是。”第五天天刚亮，张良到了下邳桥上。不料那老人已经等在那里了，见了张良就生气地说：“和老人约会，怎么迟到了？以后的第五天早上再来相会！”说完就离去了。
到第五天早上，鸡一叫，张良就赶去，可是那老人又等在那里了，见了张良又生气地说：“怎么又掉在我后面了？过了五天再早点来！”说完又走了。到第五天，张良没到半夜就赶到桥上，等了好久，那老人也来了，他高兴地说：“这样才好。”然后他拿出一本书来，指着说道：“认真研读这本书，就能做帝王的老师了！过十年，天下形势有变，你就会发迹了。以后13年，你就会在济北郡谷城山下看到我，那儿有块黄石就是我了。”老人说完就走了。早上天亮时，张良拿出那本书来一看，原来是《太公兵法》（辅佐周武王伐纣的姜太公的兵书）！张良十分珍爱它，经常熟读，反复地学习、研究。
10年过去了，陈胜等人起兵反秦，张良也聚集了100多人响应。沛公刘邦率领了几千人马，在下邳的西面攻占了一些地方，张良就归附于他，成为他的部属。从此张良根据《太公兵法》经常向沛公献计献策，沛公认为很好，常常采用他的计谋，后来成了刘邦运筹帷幄，决胜千里的军师。刘邦称帝后，封他为留侯。张良始终不忘那个给他《太公兵法》的老人。13年后，他随从刘邦经过济北时，果然在谷城山下看见有块黄石，并把它取回，称之为“黄石公”，作为珍宝供奉起来，按时祭祀。张良死后，家属把这块黄石和他葬在一起。
