Visegrád fontos stratégiai ponton épült: a Dunakanyar keleti bejáratánál, a Szentendrei-sziget csúcsánál, a folyamon átvezető rév fölé emelkedő dombon, ahol a Budáról Esztergomba vezető út rövid szakaszon elhagyta a folyópartot, és a hegyek közé kényszerült. Ezt a helyet már a rómaiak is megerősítették. A XI. századi Visegrád vára valójában egy IV. századi római erőd, Pona Navata romjaiból épült újjá. A szabálytalan alaprajzú erőd falait eredetileg valószínűleg 12 U alaprajzú torony, a sarkokat pedig három legyező alakú saroktorony védte. Belsejében részben a védőfalakhoz támasztott kőépületek álltak. Az erődöt még a IV. század folyamán kétszer átépítették: először a Dunára néző fal középső tornya helyén egy kettős kaput, majd ennek a helyére egy nagyméretű, de vékony falú négyzetes tornyot, valószínűleg praetoriumot, azaz parancsnoksági épületet emeltek. A rómaiak által 400 körül elhagyott erődítményben az V. század elején még meghúzódott a helyi lakosság, ám hamarosan teljesen elhagyták, és a X. század végéig többé nem is használták.

A X. század folyamán a Dunakanyar erdőségei Árpád fejedelem dinasztiájának birtokába kerültek. Amikor a század második felében Géza fejedelem a Dunakanyar nyugati kijáratánál, az egykori Solva római erődjében, azaz Esztergomban építette ki székhelyét, a szoros másik, keleti bejáratánál emelkedő antik várrom újra stratégiai szerepre tett szert. Feltehetően ekkor vették megint használatba és javították ki falait, és parancsnokát ekkor tehették meg az egész Pilis-vidék, majd a Duna túlsó partján elterülő, vele szomszédos területek elöljárójává: ispánjává is.

A vár újjáépítése során csak kis mértékben változtattak a római kori alaprajzon. A délnyugati sarkon az eredeti legyező alakú saroktornyot lebontva, a helyére egy befelé nyitott téglalap alakú tornyot emeltek. Talán azért, mert itt alakították ki a vár új kapuját, ám ezt biztosan nem tudhatjuk, ugyanis mára ennek a résznek csak az alapjai maradtak fenn. A délkeleti saroktornyot is átalakították, de ennek mindössze az ajtaját falazták be, talán hogy a földszinten valamilyen zárt helyiséget, például tömlöcöt helyezzenek el. Átépítették az erőd praetoriumát is. A torony belső pilléreit lebontották, és két új pillért emeltek helyettük, amelyek feltehetően árkádíveket és egy emeleti válaszfalat tartottak. A torony északnyugati sarkához egy kis árnyékszéktornyot csatoltak, amely a két helyiségre osztott emeleti szintről nyílhatott. Ez is arra mutat, hogy a praetorium tulajdonképpen megtartotta eredeti funkcióját, és lakótoronyként élt tovább, minden bizonnyal az ispán lakóhelyéül szolgált. A vár belső területén még faépületek és félig földbe ásott házak is voltak, az udvar közepén pedig egy kő palota- vagy templomépület készült, de erről egyelőre keveset tudunk.

A XI. század közepe táján újabb építkezések indultak. A vár délkeleti sarkában egy, két helyiségre osztott kőpalotát építettek, amely talán az ispán, esetleg az alkalmanként itt megszálló király lakóhelyeként szolgált.

Salamon király bukása (1074) után Visegrád lassan elvesztette korábbi jelentőségét. Az ispán átköltözött Esztergomba. 1083-ban a visegrádi vár már csak Salamon börtönéül szolgált. Nem sokkal később a vár lakótornya is leégett, és nem tudjuk, hogy valaha helyreállították-e még. Szt. László király még a visegrádi révről is lemondott, és átadta azt a Szent András-monostornak. Legkésőbb a XII. század folyamán az esperes is elköltözött Szentendrére, majd a visegrádi esperesi templomot is lebontották. Maga a település és a Szent András-monostor azonban a tatárjárásig tovább élt, bár a monostort 1221-től már latin rítust követő bencés szerzetesek lakták. Végül 1242-ben a tatárok pusztították el véglegesen a korai Visegrádot. Épületei közül egyedül a monostor kelt új életre IV. Béla támogatásának köszönhetően. IV. Béla és felesége, Laskaris Mária voltak azok, akik 1247 után hozzáfogtak egy új visegrádi vár építéséhez, a régi Visegrád felett emelkedő várhegy sziklás ormán, és valószínűleg ők alapították újra a települést is, de ezt sem a régi helyén, hanem az új vár hegyének lábánál, a Duna partján, egy kora középkori falu területén.

A római és államalapítás kori visegrádi várat a XX. század közepén találták meg, régészeti feltárásait Szőke Mátyás és Soproni Sándor végezte.