Na místě zámku kdysi stávala dřevěná tvrz Koštofrank. Jan Škopek z Bílých Otradovic ji přestavěl ve tvrz kamennou, pro jejíž bílé zdi ji poddaní nazývali Bílým hradem-Bělohradem, z čehož vznikl název města.
V barokní zámek nechal tvrz přestavět Berthold Vilém z Valdštejna. Přestavbu vedl stavitel Jan Blažej Santini.
Přední nádvoří tvoří symetrický ornamentální půdorys. Z obou bočních stran je uzavřeno hospodářskými budovami a příbytky služebnictva. Z nádvoří do vlastního zámku vedou dva podjezdy, mezi nimiž se nachází zámecká kaple, původně zasvěcená Janu Evangelistovi. Zakončena je věží, nesoucí znak bývalých majitelů Schaffgottschů. Mohutný orel u vchodu je znak sv.Jana Evangelisty a nad vchodem jsou slova z jeho evangelia "Verbum caro factum"-Slovo tělem učiněno.
Zámek do dnešní podoby dostavěl r.1724 hrabě Jan Arnošt Antonín Schaffgottsch. R.1945 se zámek stal majetkem státu. Nyní je v zámku umístěn internát zemědělského učiliště.(zdroj Hrady.cz)
Ještě v roce 2016 v majetku města, od roku 2017 v majetku společnosti Elisabeth Arms, a.s., plánuje se rekonstrukce na luxusní domov důchodců.
