关于潘姓的起源，古代的姓氏书有两种说法。一是认为出自姬姓，系以邑为氏，即唐人林宝《元和姓纂》所说：“周文王（姬昌）子毕公高之后，子伯季食采于潘，因氏焉。”那么，“潘”为今何地呢？清人张澍《姓氏寻源》说：“潘属上谷（治所在今河北怀来县东南），魏《土地记》云：下雒城西南故潘城，必有以地为氏者。”看来这只是一种推测，并无确凿根据。1990年8月出版的《中国文化大博览》解释“潘”为“今陕西长安、咸阳以北之地”。但查《中国古今地名大辞典》《中国历史地名辞典》及《辞海》《辞源》等书，均无此记载。
再一说是认为潘姓出自芈姓，系以字为氏，即宋人郑樵《通志·氏族略》所云：“芈姓，楚之公族，以字为氏，潘崇之先。”但郑樵紧接着又说“未详其始”，即潘姓起于何时、系以谁的字为氏均不清楚。《姓氏寻源》引晋朝《潘岳家谱》说潘姓是“楚公族芈姓之后，以字为氏，潘崇是也”；又引《通志》说“晋亦有潘父，恐自楚往也”。据《史记·楚世家》记载，潘崇是春秋时楚成王（公元前671年至公元前626年在位）太子商臣的老师，曾诱导商臣围楚成王，迫使成王自杀。商臣代父立，是为楚穆王，封潘崇为太师，让他掌管国事。《中国人名大辞典》将潘崇列为潘姓人物，可见潘姓不始于潘崇，而是在潘崇之前已经形成。（据印象河南网）