Omero chiama Nesis l’isola di Polifemo e, secondo lo studioso, non vuole intendere una piccola isola in generale, ma proprio Nesis (Nisida), la piccola isola di Bagnoli. L’approdo di Ulisse sarebbe stato Porto Paone, un porto naturale proprio come dice Omero. Qui, Odisseo avrebbe lasciato le navi prima di salire verso la grotta di Polifemo, collocata, secondo il Berard, nella grotta di Seiano. La grotta era allora allo stato grezzo, perché come tracciato regolare è stata scavata in epoca romana e di cui hanno scritto autori come Stazio, Plinio che esaltò i suoi asparagi, Cicerone, Seneca.
Cicerone, nelle Lettere ad Attico, dice di essere stato a Nisida ospite di Bruto. Pare, infatti, accertato che Bruto abbia costruito qui una sua residenza estiva e che sia stata organizzata in questo luogo la congiura contro Cesare. Cassio possedeva una villa poco lontano.
Durante il periodo medievale lungo tutta la fascia costiera sorsero numerosi monasteri, che svolsero un’importante funzione culturale. Anche a Nisida sorse un monastero, ma se ne hanno poche informazioni. Si sa solo che, nel IV sec. d.C., Costantino il grande aveva dato in fitto l’isola alla chiesa napoletana e che nel 668 dal monastero di Nisida si mosse un monaco, l’abate Adriano, per svolgere opera di conversione sulle coste britanniche.

Tra i proprietari dell’isola viene ricordato Giovanni Piccolomini, poi Duca d’Amalfi, che fece costruire un castello, sistemò la vegetazione e fece di Nisida un luogo di richiamo per nobili ed artisti.
Anche autori stranieri come Cervantes si sono ispirati all’isola. Egli, infatti, ha scritto un racconto in cui parla di Nisida come di una donna napoletana bellissima che fa innamorare di sè due giovani amici. In questo racconto, Nisida diventa espressione di fascino e di nostalgia e dimostra come il ricordo di Napoli del grande autore fosse legato anche a quest’isola.
La trasformazione della torre di guardia, da tempo abbandonata, in un istituto di pena risale quasi certamente all’800.

In quell’epoca, si era presa coscienza del problema carcerario e della necessità di migliorare le condizioni di vita dei detenuti per il loro recupero morale. Furono elaborate varie teorie per stabilire quale dovesse essere la struttura di un carcere ideale. La forma circolare apparve a tutti come la più idonea. Di qui la scelta della torre di guardia di Nisida che, tra l’altro, si trovava in una posizione strategica perché, situata in alto a strapiombo sul mare, difficilmente accessibile, ma vicina alla città.
L'incarico di costruire il penitenziario fu affidato ancora una volta al De Fazio, lo stesso che aveva progettato il Lazzaretto e ristrutturato il porto.

Il penitenziario che era circolare e conglobava la torre di guardia, era circondato da un doppio muro di cinta e comprendeva la caserma per la guardia di sorveglianza, l’alloggio per i1 comandante, i magazzini, i forni. Era in grado di ospitare 1110 forzati, sorvegliati da pochi soldati.
I Borbone vi rinchiudevano, oltre ai detenuti comuni, anche i prigionieri politici, tra i quali Michele Pironti e Carlo Poerio. Dopo la caduta dei Borbone, l’edificio continuò ad essere un penitenziario, ma con la dizione “Istituto di rieducazione per minori".
Benedetto Croce ha avuto modo di visitarlo e di parlarne in un articolo su “Napoli nobilissima”. Lo descrive di forma rotonda, a tre piani: il piano terra era occupato dai laboratori, mentre ai due piani superiori erano situati i dormitori. I detenuti erano 1100.