波旁-两西西里的阿方索王子于1841年3月28日出生在卡塞塔，他是两西西里国王费迪南多二世和第二任妻子、奥地利-泰申的玛丽亚·特蕾西娅·伊莎贝拉女大公的第三个孩子。除了他父亲与第一任妻子、萨伏依的玛丽亚·克里斯蒂娜公主所生的异母兄长弗朗切斯科二世外，他还有十一位同母兄弟姐妹，其中包括：特拉尼伯爵路易吉王子、奥地利的玛丽亚·安农齐亚塔大公夫人、奥地利-托斯卡纳的玛丽亚·伊玛科拉塔大公夫人、吉尔真蒂伯爵加埃塔诺王子、帕尔马公爵夫人玛丽亚·皮娅。

阿方索出生时是两西西里王国的第四顺位继承人，他的三个哥哥弗朗切斯科、路易吉和阿尔贝托（夭折）在他之前。1859年5月父亲去世后，长兄弗朗切斯科成为两西西里王国最后一位在位国王。阿方索与两位健在的兄长一起在前线作战，试图击败加里波第的军队，但未能成功，王国被攻占。1861年2月，他与兄弟们一起离开了西西里，并在流亡中度过了余生。