关于潘姓的姓源，《姓纂》上面是这样记载的：“周文王后毕公之子季孙，食采于潘，因氏焉。有广宗，河南两望。”
毕公，就是毕公高，是周文王的第15个儿子，被他当天子的兄弟武王封在毕地，也就是现在陕西省长安和咸阳以北的一带。后来，他又让自己的儿子季孙食采于潘，而后周文王的这一支子孙就按照当时的习惯，纷纷以国为氏，统统都姓了潘，潘姓的最早发源地，当然也是在陕西的北部。
大约四五百年以后的春秋时代，南方的楚国又有人以潘为姓，这是根据《姓氏寻源》的记载。《姓氏寻源》上是这样说的：“楚公族芈姓之后，以字为氏，潘崇是也。”这一支潘氏，很显然是颛顼帝高阳氏的后代，他们的发源地，大致是在今安徽、江苏和浙江一带。
分别发源于南方和北方的两支潘氏，姓源虽然看起来有所不同，但认真推溯起来，根本都是黄帝轩辕氏的后代。因为，周文王固然是黄帝的姬姓嫡裔，而楚国所出的芈姓则是传自黄帝之孙颛顼。在血统方面实际上同出一源，没有太大的分别。
汉代以后，潘姓的知名人物不绝于史书，堪称济济多士，譬如，三国时代东吴的名将潘璋，就是千百年来民间所熟知的人物。大家熟知的“走麦城”的故事中，关公父子就是被潘璋所捉到并加以杀害的。
“貌比潘安”，是大家都懂得应用的一句话，用来形容姿容美好的男子。这位潘安，就是晋代的大才子潘岳。