乔治·图尔索出生于上匈牙利最富有的贵族家庭，即同时拥有匈牙利和波兰血统的图尔索家族。当乔治9岁时，他的父亲费伦茨·图尔索去世。此后，由他的母亲凯特琳·泽瑞伊抚养长大。凯特琳是克罗地亚总督米克洛斯·泽瑞伊的女儿。

1575年，凯特琳嫁给了伊姆雷·佛加什。因此，她和她的孩子们搬到了纳吉比克的庄园里。伊姆雷非常疼爱这个继子，于是他邀请来自萨克森州的著名科学家克里斯托夫·埃查德斯（Christoph Echardus）来当他的老师。乔治能流利地讲匈牙利语、德语、拉丁语、希腊语和克罗地亚语，同时对艺术和科学也非常感兴趣。

1585年4月26日，乔治的母亲去世，他被迫返回纳吉比克以继承巨额的财产。同年，他娶了索菲娅·佛加什，他们一共诞有两个女儿。索菲娅是乔治的继父的哥哥的女儿。索菲娅在1590年生第二个女儿的时候死于难产。几年后，乔治娶了伊丽莎白·佐博尔，他们一共育有六个女儿和惟一的一个儿子伊姆雷·图尔索。