波特是一个不常见的麻瓜姓，出于这个原因，这个家庭并没有成为所谓的“二十八神圣家族”。那个纯血统清单的匿名汇编者怀疑他们是从他认为是混杂的血统中冒出来的。巫师波特家族起步卓著，但是《哈利波特与死亡圣器》暗示了其中的一些。

在麻瓜世界中，“陶工”是一个职业姓氏，意为制造陶器的人。波特的巫师家族起源于十二世纪的奇奇科姆（Stinchcombe）巫师林弗雷德（Linfred），他是当地人广为人知和古怪的人，他的绰号“波特利”（Potterer），随时间演变成了“波特”（Potter）。林弗雷德是一个模糊且心不在焉的家伙，他的麻瓜邻居经常要求他提供医疗服务。他们中没有一个人意识到林弗雷德出色的治疗痘痘的方法是神奇的。他们都认为他是个无害又讨人喜欢的老家伙，在他的花园里陶着他所有有趣的植物。林弗雷德的善良举止使他的名声很好，因为他闭门造车，可以继续进行一系列的实验，为波特家族的命运打下了基础。历史学家认为林弗雷德是许多疗法的创始者，这些疗法演变成至今仍使用的药水，包括生骨灵（Skele-gro）和热乎魔药（Pepperup Potion）。他向巫婆和巫师同伴出售这种治疗方法，使他在去世后给七个孩子中的每一个都留下了大量的金子。