1280 körül építette a várat a Döröcske nembéli Simon. A vár egy öregtoronyból és egy fallal övezett négyzetes udvarból állt. Később a király Hencz fia János budai rektornak adta, akitől a Lackfiak örökölték. Ők építették meg az udvar egyik oldalán a palotaszárnyat. Zsigmond király az ellene fellázadó Lackfiak birtokait elkobozta, és a Kanizsaiaknak adományozta, akiktől később cserével Ozorai Pipó szerezte meg. Az ő halála után a vár a Garaiaké lett. Tőlük vette zálogba Farkas László budai bíró 1445-ben, aki jelentős építkezéseket végzett rajta. Lebontották a régi öregtornyot és a mellette lévő kaput, helyette új kaput nyitottak a vár túloldalán. A palotaszárny elé gótikus loggiát emeltek, az egész várat pedig egy külső falövvel vették körül. 1482-ben, a Garai család kihalta után, Mátyás a várat Beatrix királynénak adományozta, majd 1500 körül Gergellaki Buzlay Mózes főajtónálló- és főkamarásmester kapta meg, aki nyomban hozzáfogott az átépítéséhez, amely 1509-re fejeződött be. Megépült az új reneszánsz öregtorony és kaputorony, valamint a reneszánsz loggia. Az északi palotaszárny és a kápolna későgótikus stílusban készült el ugyanakkor. 1545-ben török kézre került a vár, a simontornyai szandzsákbég székhelye lett. 1686-ban a keresztény seregek visszafoglalták, majd az új tulajdonos, Styrum Limburg Miksa gróf 1702-1704 között megerősítette. 1704-ben a kurucok foglalták el, tőlük 1709-ben ostrommal vették el a császáriak. 1717-ben a katonaság elhagyta, és újra kastélyként használhatták a tulajdonosai, 1764-től azonban már csak magtárként szolgált.
