中国近代的第一条营业铁路1876年在上海建成，名叫吴淞铁路，是英国怡和洋行采取欺骗手段擅自修建的。吴淞铁路上海站的站址就在今河南北路、七浦路口。时称上海火轮房，是上海最早火车站。当时站场占地500平方米，车站南面是一条小河，这条小河后来被填没，筑成七浦路。清政府在1877年将吴淞铁路赎回，最早的上海站也随铁路一起拆除。一直到数年前，河南北路上还有一家商场残留着吴淞铁路的信息，解放以来，那商场一直叫铁马商场，“铁马”是铁马路的意思，这是一个多世纪前人们对铁路的通俗称呼。随着2006年以后河南北路、七浦路的拓宽改造工程，这最后一点关于当年铁路的信息也湮没了。
收回筑造铁路的权利以后，1898年，清政府主导建成了淞沪铁路。淞沪铁路上海站的站址在上海县和宝山县的界浜北岸（今闸北区天目东路）、老靶子路（今虹口区武进路）北隅。当时，这里四周相当荒僻，很少有老百姓居住，周边多沟浜、荒地。当时的站屋只有两间房，砖木结构，房子是中国江南传统建筑的模样。此后不久沪宁铁路建成并与之在这里交汇。沪宁铁路上海站于1908年4月开始建造，次年7月竣工，取名沪宁车站。站场当时占地10.5公顷，主体建筑是一幢四层英式建筑，占地1950平方米，内有房屋76间，共5000平方米，集办公、候车、售票于一体。建筑采用英国古典主义建筑风格，正面是两个对称的塔楼，对称和水平分划的元素体现得比较明显。底层外墙用青岛石构筑，第一层楼以上均用钢柱支架横梁，红砖砌墙，饰以浅色条形嵌石，配大理石廊柱和拱形门窗，室内用深色的桃木做护板，板上有浅浮雕。建在大厅中央的售票亭完全是木构造。当时，其规模为全国之最，远胜于北京的前门车站（京奉铁路正阳门车站）。1916年12月，沪宁、沪杭铁路接轨，沪宁铁路上海站成为两路总站，改名上海北站。
1932年，日本帝国主义者挑起“一·二八”事变，沪宁铁路局的四层办公楼房毁于战火。
翌年修复后，又在1937年“八·一三”淞沪抗战中再遭日机轰炸破坏。抗日战争胜利后又进行了修复。
1949年5月28日20点50分，上海北站于沪宁线上驶出上海解放后的第一列客车。
1950年8月，经铁道部批准，上海北站正式更名为上海站，随后核定为特等站，办理客运和零担货运。从50年代到80年代，上海站进行不断的改造和扩建，至1980年，上海站已有到发线11股、候车室3985平方米，车站的到发能力扩大到29对。
1987年，旅客发送1859.0万人次，旅客到达2077.4万人次。然而车站的运输能力难以适应旅客运输量增长的需要，1987年底新客站启用。
