A vár IV. századi római erődből a X. század második felében épült ki, mint az Árpádok pilisi erdőbirtokainak központja. A XI. század folyamán kialakuló vármegyeszervezet egyik első, már 1009-ben említett eleme volt. A XI. század közepére, I. Endre és Salamon király korában körülötte egész város alakult ki, több templommal, kolostorral. A visegrádi ispán azonban Szent László korában Esztergomba költözött, így a vár elvesztette jelentőségét. Végső pusztulását az 1242-es tatárjárás okozta. Ezután köveit az új visegrádi vár építéséhez használták fel.
