1777年西班牙殖民者建立居民点，是加利福尼亚州最早的移民地；1849-1851年曾为州府，Josiah Belden是当时的第一任市长，圣何塞并作为淘金者的商品供应地；1864年铁路通旧金山，该地发展为圣克拉拉谷地农产品的集散和加工中心。

在1900年到1910年，在约翰•蒙哥马利（英文：John Montgomery）的带领下，圣何塞成为科技创新中心，对航空航天的发展有一定贡献。1906年加州旧金山发生地震，圣何塞的房屋受损，一家医院在地震中倒塌，有超过100人在地震中死亡，经济受到影响。市经理荷兰•哈曼（英文：Dutch Hamann）于1950年代和1960年代时带领圣何塞进行了一项大成长计划。在这计划里，圣何塞兼并了许多邻近地区，如艾维西欧和坎布莱恩公园，增加了许多可容都市发展的市郊。对这急速发展的反应是1970年代时产生的“反成长”(英文：anti-growth)意见，这政策也被后来的市长诺曼·峰田（英文：Norman Yoshio Mineta）和珍妮特·格雷·海斯（英文：Janet Gray Haye）所采取。尽管规范了“城市成长范围”(英文：urban growth boundary)、开发费、以及坎贝尔和库比蒂诺城市的成立来限制成长，圣何塞的发展并没有慢下来，发展重心转移到圣何塞既有地区。圣何塞在硅谷的位置也带动许多经济和人口增长，造成1976与2001年间市内房价急速成长达936%，是全国增长最快的地方。1990年代，在1974年的城市成长范围得到保留，选民否决了限制山丘发展的提案后，增加城市密度的政策也被延续。1980年的60%与2000年超过75%在圣何塞新建的住宅为多住户建筑，反映了聪明成长(英文：Smart Growth)的都市计划政策。