Le prime notizie storiche sul castello risalgono al 1329, anno in cui Roberto il Saggio ordinò al reggente della Vicaria, Giovanni de Haya, la costruzione di un palazzo, il Palatium castrum, sulla sommità della collina di Sant'Erasmo. Gli architetti incaricati del lavoro furono Francesco de Vico e Tino da Camaino; alla morte di quest'ultimo, nel 1336, gli successe Attanasio Primario e dopo di lui, nel 1340, Balduccio de Bacza; i lavori furono ultimati nel 1343 sotto il regno di Giovanna I d'Angiò.
Il castello ha avuto una lunga storia di assedi: nel gennaio del 1348, dopo l'efferato omicidio di Andrea di Ungheria, ebbe il battesimo del fuoco con il suo primo assedio da parte di Ludovico di Ungheria, giunto a Napoli per vendicare il fratello la cui uccisione si attribuiva all'uxoricidio da parte della regina Giovanna I d'Angiò. Dopo la resa della regina, il castello fu occupato da Carlo di Durazzo.
Nel 1416 la regina Giovanna II lo vendette per la somma di diecimilacinquecento ducati ad Alfonso d'Aragona. Il castello fu un ambito obiettivo militare quando francesi e spagnoli si contesero il Regno di Napoli. Don Pedro de Toledo lo fece ricostruire nel 1537 su sollecitazione dell'imperatore Carlo V. I lavori furono curati dall'architetto Pedro Luis Escrivà, il quale effettuò una fortificazione dell'intera altura di San Martino: un'epigrafe marmorea lo commemora.
Nel 1587 un fulmine, caduto nella polveriera, fece saltare in aria buona parte della fortezza uccidendo 150 uomini ed arrecando danni al resto della città.
Divenne poi un carcere nel quale furono prigionieri, tra gli altri, il filosofo Tommaso Campanella (dal 1604 al 1608) e Giovanna di Capua, principessa di Conca, nel 1659.
Nel 1647, durante la rivoluzione di Masaniello, vi si rifugiò il viceré duca d'Arcos mentre il popolo invano cercava di impadronirsene. Il forte bombardò la città e, grazie alla difesa organizzata dal castellano Martino Galiano, resistette agli assalti del popolo.
Nel 1707 fu assediato dagli austriaci; nel 1734 dai Borbone. Al tempo della Rivoluzione Francese il carcere ospitò alcuni patrioti napoletani: Mario Pagano, Giuliano Colonna, Gennaro Serra di Cassano, Ettore Carafa.
Durante i moti del 1799 fu preso dal popolo e poi occupato dai repubblicani, che il 21 gennaio vi piantarono il primo albero della libertà e il 23 vi innalzarono la bandiera della Repubblica Napoletana. Alla caduta della Repubblica vi furono rinchiusi Domenico Cirillo, Francesco Pignatelli di Strongoli, Giovanni Bausan, Giuseppe Logoteta, Luisa Sanfelice e molti altri. Durante il Risorgimento ospitò il generale Pietro Colletta, Mariano d'Ayala, Carlo Poerio, Silvio Spaventa. Fino all'inizio degli anni settanta del XX secolo fu adibito a carcere militare. Dopo anni di lavoro per restaurarlo fu aperto al pubblico il 15 maggio 1988.
Oggi il castello appartiene al Demanio Civile ed è adibito a museo.
