1865年生于拿骚公国威斯巴登的一个犹太家庭。在美因河畔法兰克福上完高中后，1884年起，他在达姆施塔特和柏林的技术大学学习电气工程 。第二年，转至柏林大学学习物理学 。一学期后，转至斯特拉斯堡。1888年，鲁本斯获得了博士学位。1890-1896年间，被聘为物理研究所的助理，并在1892年取得特许任教资格。

1896年，鲁本斯在柏林夏洛滕堡的柏林工业大学获得了一份讲师职位。使得他可以在德国联邦物理技术研究院附近继续他的实验研究。1900年，他在那里完成了对黑体辐射的重要测量，而闻名于世。同年被提升为教授。

1906年，保罗·德鲁德从柏林大学的教授职位离任。鲁本斯获得了这个职位，并被任命为物理研究所所长。

1908年，入选普鲁士科学院。1910年获得拉姆福德奖章后参加了第一届索尔维会议。