公元前12世纪、11世纪这200年中，腓力斯丁人受到希腊人的攻击，渡海迁移到迦南来居住。希伯莱人同腓力斯丁人进行了长期的激烈的战争。公元前11世纪，犹太王大卫统一犹太各部落，建立以色列·犹太王国。后来，赶走腓力斯丁人，又从迦南人手中夺取耶路撒冷，定为以色列·犹太王国的首都。从此，耶路撒冷成了以色列犹太人的圣城。大卫死后，他的儿子所罗门即位。这时，以色列·犹太王国的实力进一步得到发展。从大卫时代开始在耶路撒冷锡安山上建造的豪华宫殿和耶和华神庙，这时已经完成。犹太教徒把锡安山视为圣山，号召流散在世界各地的犹太人“集中在锡安山周围”。这就是“锡安主义”（意为“犹太复国主义”）一词的来源。不过，这一时期王国内部的矛盾也在发展。

公元前10世纪，所罗门死后不久，以色列·犹太王国分裂。北部为以色列王国，建都撒马利亚；南部为犹太王国，仍旧以耶路撒冷为首都。公元前722年，亚述帝国国王萨尔贡二世攻陷了以色列王国首都撒马利亚，俘虏走27000多人，并把其他地区的居民迁移到以色列。存在了200年左右的以色列王国，便从历史上消失了。面对亚述帝国的进攻，犹太王国的国王十分惊慌。于是，卑词厚礼，以24吨黄金的代价，保住了国王的宝座，成为亚述帝国的附庸。这之后，希伯莱人的王国就只剩下了1个犹太，于是，希伯莱人也就被称为犹太人。犹太王国继继续续地存在到罗马人统治之初。其间也是多灾多难，古埃及、新巴比伦王国、波斯帝国、亚历山大帝国、西罗马都曾征服过它。尤其是新巴比伦王国国王尼布甲尼撒二世于公元前597、586年，两次攻占耶路撒冷，灭亡了犹太王国。他下令把犹太人中所有的贵族、祭司、商贾、工匠一律作为俘虏，被成群结队地押解到巴比伦城，只剩下一些极贫苦的人留在耶路撒冷，修理葡萄园，耕种田地。这就是犹太历史上的“巴比伦之囚”。

犹太人被掳到巴比伦之后，耶路撒冷成为一片废墟，四周的城墙被摧毁，圣殿和王宫被放火焚烧，城中所有金银铜器皿全都带到了巴比伦。几十年之后，居鲁士灭亡了新巴比伦王国，才把他们放回耶路撒冷重建家园。

犹太人自从出现在历史舞台上，历经苦难。据说，他们曾定居埃及数百年，吃尽了苦头，在一位名叫摩西的领袖的率领下逃出埃及。又在西奈半岛的沙漠地区漂泊了许多年。后来又同迦南人、腓力斯丁人长期作战，并遭受了几十年国破家亡、任人宰割的囚徒之苦。受到艰苦生活磨练的犹太人，祈求上帝把他们从水火中拯救出来，帮助犹太人复国。他们信奉耶和华为真神，主宰宇宙间的一切事物。这就是犹太教。犹太人相信恶人一定会受到耶和华（上帝）的惩治，救世主一定会降临。他们把有关的神话、传说、诗歌、历史、摩西的《十诫》，以及那些“先知”（把神的话告诉民众和国王的一类人）的语录记载下来，编纂为《圣经》。《圣经》是犹太教徒崇拜的经典。后来，基督教兴起后，接受了这部《圣经》，称之为《旧约圣经》（即《旧约》）。同时将基督教的新说教称为《新约圣经》（即《新约》）。

犹太人在宗教方面有重要的影响，散在世界各地的以色列犹太人都把坚信犹太教作为民族认同的根据。耶路撒冷是犹太教的圣地，也是基督教的圣地，后来又成了伊斯兰教的圣地。这3种宗教的信徒各自按照自己所信仰的宗教传说，都把耶路撒冷看做是他们的圣城。