1928年6月4日清晨5时23分，一代枭雄张作霖乘坐火车在皇姑屯被炸重伤，在被送到沈阳两个小时后宣告死亡。
临终之际，张作霖留下了最后一句话，“我受伤太重……恐怕不行了……叫小六子（张学良）快回奉天！”张作霖死后，出于多种因素的考虑大帅府秘不发丧。由于张作霖死的很突然，因此他的灵柩暂时停放在大帅府的东院五间房。
为了能给父亲找一个风水宝地下葬，1928年秋张学良派出风水先生遍找东北三省，最终选择了抚顺市新宾满族自治县铁背山下的一块台地。
不久之后，张学良和于凤至来到此处，认为此处甚好，于是最终选择在这里修建父亲的陵墓。地址选中之后，大帅府立即成立“大元帅林园工程处”，全权负责元帅林的建设事宜，1929年5月正式动工破土。
元帅林的修建时按照招标形式进行的，当时天津华信工程司中标，投资1400万大洋，当时工期预计是三年内。而1400万大洋则以大帅府自筹为主，各省酌力分摊的办法解决。议定大帅府出资500万、辽宁省400万、吉林省200万、黑龙江省200万、热河省100万。
元帅林的建筑特点是采取传统式的中轴线延伸的规划方案。全部建筑由殿堂、园城和墓室三部分组成。由南向北垂直展开，组成统一建筑格局。陵园在修建过程中，张学良还命人从北京圆明园等地运来了明清时刻。
然而就在元帅林竣工之际，“九一八事变”爆发，结果下葬张作霖灵柩事宜只能暂时放弃。大帅府被日军占领后，张作霖的灵柩被移到小东边门外的珠林寺里。
当时虽然元帅林的全部工程没有结束，但是从建成的主体建筑来看已经非常壮观，整座陵园模仿沈阳东陵的建筑特点，颇有帝王陵寝的气势。
陵园坐北朝南，主要有方城、圆城、宝顶三部分组成。其中陵园南部为祭祀区，北部为墓葬区。其中祭祀区因1954年修建水库，被划分为淹没区，1958年水库蓄水前原有的陵门、牌楼、等建筑已经不复存在了，目前只有留下部分遗迹。
“九一八事变”后，日本关东军曾要挟张学良如果答应与日本人合作，将把张作霖安葬在元帅林，但是张学良拒绝了。
1937年6月3日，张学良死后九年在张作霖旧部的努力下，张作霖的灵柩被送到辽宁锦州市石山镇南驿马坊村下葬，而规模很大的元帅林最终成为空墓一座。