A velemi Szent Vid hegy a késő bronzkortól folyamatosan lakott volt.  A 13.századi vár közvetlen előzménye egy annál jóval nagyobb alapterületű, fa-föld sáncszerkezetű 11.századi földvár. A mai Szent Vid kápolna előtt, 1,5 méterrel alacsonyabb szinten helyezkedett el a félköríves szentélyzáródású 9. századi templom. Ennek kiszedett falain halad végig a kora Árpád-kori vár 2-2,2 m széles kettős, fapalánkok közé töltött köves, agyagos égett sánca. Később a földsáncba ásták bele a korai kő varfalat. A vár egy DK-Ény irányú platón helyezkedik el. A kápolna előtti sziklanyelven, az erődítés DK-i részén egy 3,6-3,7 m belső átmérőjű torony került elő, amelyhez szorosan hozzáépült egy elliptikus alakú, 2 m falvastagságú későbbi torony. A plató felszínén, elsősorban É-i és Ny-i részen nyomon követhető a várfal néhány szakasza, az ÉNy-i zárófal mellett egy nagyméretű, nyolcszögletes öregtorony maradványai, a várfaltól 30 méterre pedig várárok és híd figyelhető meg.  Az Árpád-kori kápolna a mai templom egyes részeiben kimutatható. Szent Vid vára a forrásokban 1270-től szerepel, amikor ura, Kőszegi Henrik átadta II. Ottokár cseh királynak. 1271-ben a várat V István visszafoglalta, 1273-ban azonban újra cseh kézre került. 1279-ben, Kőszegi Henrik fiainak osztozkodáskor Szent Vid Miklós fiáé lesz. 1283-1284-ben IV. László sikertelenül ostromolta a várat. 1289-ben Albert herceg elfoglalja, majd 1291-ben, a hainburgi békekötés alapján III. András és Albert osztrák herceg más, kisebb várakkal együtt Szent Vid lerombolásáról is döntöttek, ami azonban csak részben történhetett meg. Egy 1374-es felsorolás szerint a vár tartozékai Rohonc várához csatolták.