V roce 1452 daroval
Zbyněk Zajíc, nemaje potomstvo, svůj veškerý majetek, svému strýci
Mikulášovi z Házmburka a Kosti a jeho synům,
Janovi a
Oldřichovi. Ti společně spravovali majetek od roku 1462.
Zde nastává mezník pro samotný vývoj hradu Házmburk a okolní panství. Dlouholetý spor mezi králem Jiřím z Poděbrad a Janem a Oldřichem Zajícem z Hasenburga a Kosti se vyhrotil v otevřený boj, ve kterém přívrženci krále Matyáše Korvína - Házmburkové postupně přišli o všechny své hrady, Kost, Trosky, Návarov, Budyni a jiné.
Někdy v letech 1468 - 1469 bylo na hradě Házmburk ubytováno vojsko Uherského a Českého krále Matyáše Korvína, které se svým hostitelům velice špatně odměnilo. Hrad Házmburk byl vypleněn, pobořen a vypálen. Od tohoto skutku byl již neobývatelný a v listinách zván byl "pustým". Házmburkové přenesli své hlavní sídlo do hradu Budyně a zaniklé panství házmburské bylo spojeno s budyňským.
Po porážce Lužického vojska u Žitavy se Jan a Oldřich Zajícové vzdali králi Jiřímu z Poděbrad. Ten jim pak milostivě ponechal všechen jejich majetek.
Po smrti
Oldřicha Zajíce z Hasenburga a Kosti roku 1494 zůstává jediným majitelem celého panství
Jan Zajíc z Hasenburga a Kosti. Ten předává budyňské panství rozšířené o: Tvrz a městečko Žerotín a hrad Oltařík.
Jan Zajíc z Hasenburga, Budyně a Kosti umírá 15.května roku 1495, ctěn svými přátely a vážen svými nepřáteli.
Na hrobě Janově je tento nápis :
" Jana Zajíce tento kamen kreje, výtečná ctnost jemuž jmeno vznešené dala, jenž vlasti práva neméně nežli Solon znal a veliký Lykurg. Jehož jest, co zákony a ustanovení otců staré platí. Ustoupili míru smrtonoše války za jeho vedení. Pročež když pokoj a starosti prázdnou chvíli kdo má, Janovi věčnou ať přeje odměnu a nebešťanů byty a sídla blažená".
Majetek po smrti Jana Zajíce z Házmburka a Kosti (15.května 1495) přebírá jeho syn Mikuláš Zajíc. Ne však na dlouho. Těsně před jeho smrtí (10.července 1496) vlastní rodinný majetek jeho nezletilý syn Jan Zajíc z Házmburka.
Panství a Libochovice spravují jeho poručníci Jan ze Šelemberka a Zdeněk Lev z Rožmitála