Poklad
Za všech dalších majitelů zůstával Potštejn neobydlen a pustl. Přitom ale bylo prý kamenné sídlo v 18. století ještě v relativně dobrém stavu, přestože panstvo žilo pod ním v novém zámku. Roku 1746 Potštejn koupil hrabě Jan Ludvík Harbuval Chamaré a právě jeho syn Jan Antonín podlehl iluzi, že je zde stoprocentně ukryt velký poklad, který Mikuláš kdysi naloupil. Usmyslel si tedy, že ho najde. V této vizi ho podporovaly místní pověsti a taky místní kostelník.
Ten hraběti totiž vyprávěl, že se mu jednoho dne večer zjevila mlčenlivá dívka a odešla směrem ke hradu. Celá scéna se opakovala další večer, to již ale kostelník dívku následoval a došli tak až na nádvoří. Dívka ukázala ke starému paláci a tiše zašeptala: “Poklad”. Nic dalšího již mladý hrabě nepotřeboval slyšet, o pokladu slýchával stále a krom jiného hodně často od své romanticky založené matky.
Takřka čtyřicet let Jan Antonín Chamaré kutal a provrtal hrad tak, že se zdi paláce a hradeb začaly hroutit. Povzbuzením mu byl latinský nápis na palácové zdi, který mu přítel archeolog přeložil (podle novějších zpráv chybně) jako DBEJ ZNAMENÍ, LÁSKA VYHLADÍ NEPŘÁTELE. První část si hrabě vyložil jako pokyn sledovat šifry. Ty se nacházely po celém hradě – byly to totiž značky kameníků. Vypráví se, že dělníci, kteří pro hraběte pracovali, jich vyrobili pár navíc, aby práce pokračovaly.
Ale vypráví se také, že hrabě s dělníky opravdu narazili na železné, bohatě zdobené dveře. Byl za nimi poklad? To nikdo neví – když se je pokusili otevřít, objevil se na nich ohnivý nápis “ještě není čas” a ozval se zoufalý nářek. Všichni dělníci utekli.
A tak z pokladu nic nebylo. Hrabě sice vypracoval podrobný plán hradu a chodeb, ale památkáři v tom vidí jen velmi chabou náhradu za zkázu hradu, o niž se dlouhým a usilovným kopáním přičinil. U nás existuje spousta rozvalin a zřícenin hradů, o kterých platí, že je takto proměnil čas – zde to však byla romantická posedlost…Dnes je zřícenina hradu zpřístupněna veřejnosti.
Tento příběh nicméně zaujal i Aloise Jiráska a vznikla novela Poklad. Podle ní Jan Antonín Chamaré v podzemí nalezl bratrskou modlitebnu.
Pozornost Jana Antonína ovšem vzbudil ještě jeden hrad. Jmenuje se Velešov a jeho zbytky se nacházejí na nedalekém kopci západně od Potštejna. V tomto případě hrabě uvěřil pověstem, že tu ukryli svůj poklad dávní majitelé hradu, templáři. Jejich přítomnost zde však nebyla ani prokázána, na Chamarého obhajobu však můžeme doplnit, že tento hrad nezničilo pouze jeho další kutání, ale přičinili se i lidé z okolí, kteří si hradní kameny vozili na stavbu domů.