岛上建有詹姆斯堡。2011年2月6日，岛屿被重新命名为Kunta Kinteh岛。

最先到达詹姆斯岛的欧洲人是来自库尔兰和瑟米利亚公国的波罗的海日耳曼人，他们将岛屿命名为圣安德鲁斯岛。1651年，殖民者在岛上修建城堡，并以雅各布·克特勒公爵的名字命名为雅各布堡。1661年，英国人占领岛屿，以英格兰国王詹姆斯二世重新命名为詹姆斯岛。

詹姆斯岛及附近区域于2003年列入联合国教科文组织世界遗产名录。