Circa la costruzione e gli adattamenti del Palazzo bisogna riferirsi a varie vicissitudini e a varie epoche. Alcuni elementi architettonici visibili nei vasti locali seminterrati a ridosso delle mura ciclopiche fanno riferimento a periodi medioevali riconducibili al 1200/1300. La facciata sud-est del Palazzo Giorgi-Roffi Isabelli, quella in prossimità del muro su citato di Via Ierone, incorpora per 25 metri un muro di opera poligonale. Costruito in blocchi di calcare, disposti su filari orizzontali, si conserva per 6 metri di altezza fino ad 11 filari soprapposti. I blocchi misurano indicativamente 50 cm. di altezza con lunghezze di 150 cm. fino a 220 cm. All’interno di detto muro sono visibili alcune strutture (mensole) riconducibili al XIII secolo. Alla base del muraglione esistono 2 vani (l’uno esplorato, l’altro ancora da scavare) di cui abbiamo avuto notizie da appunti e schizzi di Alfonso Giorgi e da una relazione di Filippo Bono del 1878. In detta relazione lo storico locale Bono parla di due grandi arcate in pietra e all’interno di esse descrive le due stanze costruite in epoca romana in travertino. Per lui sono due “Cripte Mortuarie” che potevano anticamente appartenere al sovrastante grandioso fabbricato che doveva essere di proprietà di un “soggetto consolare”. In dette stanze furono ritrovati rottami di vasi lacrimatori e varie forme di lumicini in terra cotta verniciati con manico lunato. Di detti oggetti oggi, purtroppo, si sono perse le tracce. Anche in altri siti dell’area urbana di Ferentino si osservano strutture in opera poligonale funzionalmente disposte a costituire terrazzamento. Di stanze o locali sotterranei però, ad eccezione di questi di casa Giorgi, non se ne hanno notizia. E’ bene dire che tanti terrazzi sono per lo più nascosti sotto i fabbricati attuali; quelli visibili presentano, però, tecniche differenti. Quella più diffusa è ad opera poligonale in massi scistosi vicini alla IV maniera, come il muro su descritto. Osservando la piantina dell’abitato di Ferentino si nota come il terrazzamento di casa Giorgi-Roffi Isabelli rientri nel criterio della distribuzione urbana che si coglie lungo l’asse scandito da Via Consolare, a Piazza Mazzini, a Piazza della Catena, a casa Giorgi, a S. Ippolito, a Via della Fata, dove detti terrazzamenti accompagnano la strada per linee spezzate, allargandone in maniera grandiosa la base edificabile, anche fino a 22 metri. Tutte le città cosiddette di Saturno sono abbastanza ricche di bei palazzi antichi che nella prima metà del 1800 hanno ricevuto una nuova decorazione rigorosamente neo classica o meglio “pompeiana”. Nascono così le prime collezioni diverse, dai lapidari di fortuna allestiti nei vescovadi come la collezione Cayro di S. Giovanni Incarico, oggi acquisita dal Museo Nazionale Romano, alla Collezione Giorgi di Ferentino, ancora oggi in loco, rigorosamente studiata dal suo creatore Alfonso Giorgi, collaboratore di T. Mommsen nella pubblicazione delle epigrafi di Ferentino. La struttura ad archi (ora ciechi) del cortile centrale ha fatto pensare a più studiosi locali che si trattasse del chiostro della vicina chiesa del Salvatore, ipotesi questa suffragata dal fatto che la stessa proprietà fosse stata in origine dei Frati Conventuali di S. Francesco. L’esterno della facciata principale ha le forme dignitose dell’ottocento laziale e dal portone antico, contornato da ottima cornice in travertino, si accede al cortile sui cui muri sono inserite qualcosa come 83 tra frammenti statuari ed iscrizioni classiche tra cui campeggia in bella mostra una stupenda testa di Augusto. I cippi e i frammenti più grandi, con capitelli romanici e resti di fontane barocche, formano su un lato del cortile un rustico capriccio. Dalla scala principale si accede direttamente alla Sala Gialla, distrutta in parte dal bombardamento alleato del 1944, sulle cui pareti campeggiavano Trionfi di divinità analoghi a quelli di Bacco e Cerere del successivo Salotto Verde. Il pezzo forte della decorazione è però la Galleria degli Dei che si affaccia sulla Via Consolare. Questa è decorata con statue dorate rappresentanti gli dei dell’Olimpo in una architettura di colonne e tendaggi, mentre riquadri policromi con Ebe e Ganimede occupano i due spazi sopraporta. In queste sale la mobilia ha un fascino particolare; si ammirano antichi pianoforti, tavoli, sedie e divani anni settecento e ottocento, lampade e tende in stile. Il tutto camminando su un pavimento a piastrelle quadrate bicolori del 1500. Sull’angolo più esterno, agli occhi del visitatore appare all’improvviso una cappella con tanto di altare consacrato. Dell’attuale Cappella del Palazzo non esistono precise notizie in merito alla dedicazione e alla attivazione. Sicuramente la destinazione attuale non era l’originale poiché si vede ricavata in un ambiente in fondo alla Galleria su descritta, diviso oggi a metà con altra stanza da parete posticcia di legno realizzata negli anni ’50.
Certo è che esisteva un Oratorio privato in casa Giorgi, poiché Bolle papali di Pio IX del 1870 e di Pio X del 1905 attestano l’esistenza della cappella. I Giorgi furono una delle famiglie più in vista nella Ferentino degli ultimi tre secoli, tanto che ottennero anche l’iscrizione al ceto nobile della città. Le prime attestazioni della famiglia risalgono addirittura al 1514 quando i Giorgi, proprietari di fornace, risultano fornitori della Venerabile Fabbrica di S. Pietro.