Jihovýchodně od zámku (původní komendy) nechal v letech 1552–59 Jan z Oppersdorfu postavit zámeckou katolickou kapli svatého Jana Křtitele a založit přilehlý špitál. Objekt postihly v 17. a 18. století požáry. Při obnově roku 1722 kaple změnila zasvěcení (sv. Jan Nepomucký), několikrát s větší či menší částí města vyhořela. Za Josefa II. byla zrušena a roku 1803 přestavěna na městský špitál s tím, že do ní bylo vloženo třetí patro, které sloužilo provozu sousedního pivovaru. Poslední úpravy se uskutečnily spolu s ostatními budovami areálu kolem roku 1910. Po roce 1945 zůstala budova prázdná a silně zchátrala. Dosud se zachoval jižní renesanční portál.
