Az Árpád-házi királyok uralkodása idején a környék völgyeiben sűrű településhálózat alakult ki, amiből Barnag jobbágyfalut a Vezsenyi család birtokolt. Anjou Mária királynő 1384-es oklevelében engedélyt adott Vezsenyi László étekfogómesternek, hogy barnagi uradalmának területén egy kővárat építsen birtokközpontul. Az új erődítmény rövidesen elkészült, de létrejötte ellen a veszprémi káptalan tiltakozást jelentett be. A birtokvitából keletkezett pert végül a veszprémi káptalan javára ítélték meg, így a Vezsenyi família kénytelen volt elhagyni az új rezidenciát, helyette a közeli Nagyvázsony belterületén hoztak létre újabb szállást. A későbbiekben nem szerepelt a krónikákban, a török ellen létrehozott végvárrendszerbe sem tagolták be, így gazdátlanul omladoztak maradványai. Zádorvár a XV. század első évtizedétől lakatlanná vált, így pusztulásnak indult, és nemsokára már Pusztavár néven emlegették. A romos várat 1652-ben Zichy István kapta meg III. Ferdinándtól.