In seguito alla distruzione da parte dei Gonzaga, nel 1353 i Roberti ricostruiscono la rocca realizzando l'impostazione del recinto fortificato, di forma rettangolare, con quattro bastioni agli angoli ed un ampio fossato perimetrale. Di questo recinto rimane ora solo l'angolo nord-est, mentre il resto dell'area è occupato dai "prati della rocca". A partire dal 1430 la rocca ed il feudo diventano dominio degli Estensi. Grazie a Borso d'Este si inizia una radicale opera di restauro con ingegneri ducali e pittori che decorano diverse parti dell' edificio, comprese quelle esterne. Nel 1497 il feudo passa a Sigismondo, fratello di Borso ed iniziatore della linea degli Este San Martino. Il matrimonio di Filippo I d'Este con Maria, figlia di Emanuele Filiberto di Savoia, nel 1570, determina l'esigenza di trasformare la costruzione in una sontuosa residenza, forse grazie all'intervento dell'architetto Giovan Battista Aleotti detto l'Argenta. Si amplia l'edificio costruendo l'ala ovest, con scalone e sale di rappresentanza.

Le sale, decorate con soffitti a grottesche ad opera di maestri emiliani, sono tuttora visibili grazie ai restauri degli ultimi venti anni.

Nel 1752, dopo l'ultimo erede degli Este San Martino, il feudo viene ceduto a Don Paolo d'Aragona che vi intraprende radicali lavori di restauro, secondo lo stile ed il gusto dell'epoca, con controsofittature, stucchi e camini in scagliola e marmo.

La facciata est sulla piazza è risistemata, con un ordine di finestre con persiane al piano nobile e decorazioni del pittore modenese Borsellini. Altre trasformazioni si effettuano fino alla fine del secolo scorso, quando al piano nobile, vengono posti gli uffici comunali.

Oggetto di nuovo restauro dal 1977, su progetto dell'architetto Mauro severi, la Rocca ospita anche la Biblioteca Comunale ed il Museo dell' Agricoltura e del Mondo Rurale.

La Rocca Estense - Piano terreno:

1. La corte d'onore presenta, sul lato est, un antico portico, oggi sala del museo, con colonne e capitelli a foglie d'acqua, databili ai primi anni del sec. XV. Il portico è stato riaperto durante i recenti restauri. Sotto gli intonaci, sono le tracce di una decorazione eseguita direttamente sui mattoni a vista. Sul lato ovest, un altro porticato con colonne antiche in granito di recupero, immette verso lo scalone d'onore (fine sec. XVI), parte dell'intervento voluto da Filippo d'Este.

2. La parte est del piano terra ospita le sale del museo. I sottili lignei sono del sec. XV e XVI.

3. La sala conserva tracce di decorazioni nel soffitto (sec. XV) con imprese estensi e ridecorazioni sul soffitto ligneo e fascia perimetrale a grottesche della seconda metà della seconda metà del sec. XVI. Interessanti i putti e le figure femminili della fascia.

4. La Sala Verde conserva un interessante decorazione del sec. XV, con putti reggi stemmi e mensole aggettanti dipinte, opera di pittori della famiglia degli Erri, su incarico di Borso D'Este, già Signore di San Martino , poi Signore di Ferrara.

5. Anche in questa sala, resti di fasce dipinte dagli Erri, con putti e festoni di frutta.

6.7. In queste due sale, gli originali soffitti lignei decorati sono dell' inizio del sec. XVII. Le pareti, in corso di restauro, sono completamente decorate.

8. La cappella di San Giovanni, costruita nel 1395, conserva ancora le fasce di cotto del portale, l'abside e l'altare originale in marmo di Verona con stemma in arenaria dei roberti da Tripoli ed un pregevole San Martino, sempre in arenaria.

La Rocca Estense – Piano Nobile

9. Il grande atrio del piano nobile ha una parte di soffitto originale decorato nel seicento. Dall'atrio si accede ai grandi saloni dell'ala ovest, ridipinti agli inizi del sec. XVII, per trasformare in residenza signorile l'antica rocca

10. La Sala del Teatro era usata a tale scopo dalla metà del sec.XIX agli anni trenta dello scorso secolo. Il soffitto è decorato a partire dal seicento, la fascia perimetrale, con scene d'imprese araldiche inneggianti alle virtù di casa d'Este San martino, dipinte agli inizi del sec. XVII. La decorazione ottocentesca della trasformazione in teatro riguarda le parti inferiori, i paramenti murari e la parete est, dove era stato ricavato il boccascena. Il palcoscenico era ricavato nel grande atrio.

11. Anche in questa sala le decorazioni su soffitto e fascia inneggiano alle virtù estensi. "Imprese" con motti in latino, francese e spagnolo sono intervallati da aquile bianche e nere appartenenti alla araldica degli Este.

12. Il grande salone settecentesco, ridipinto agli inizi del novecento dal pittore sammartinese Bizzochi secondo il precedente impianto decorativo, conserva sulla parete est lo stemma dell'ultimo Marchese di San Martino, Paolo Rango d'Aragona.

13. Da questa sala inizia l'appartamento dei Marchesi di San Martino. Le pareti e le volte sono state ridecorate per volontà dell'ultimo marchese, Don Paolo d'Aragona, con sfondi e paesaggi lacustri. Camino in stucco e scagliola del tipo carpigiano, serramenti esterni e porte, laccate e dorate, sono originali del sec. XVIII.

14. E' la prima anticamera dello studio del Marchese. Il soffitto e la fascia sottostante sono stati decorati alla fine del cinquecento, con paesaggi e grottesche, attribuiti ai Filippi di Ferrara. Le pareti sono state dipinte a finto parato di tessuto alla fine del settecento.

15. In questa stanza veniva probabilmente amministrata la giustizia, raffigurata sul camino, da parte del Marchese d'Aragona. Il soffitto e la fascia sottostante sono dipinte a grottesche, come per la precedente sala, nella seconda metà del sec. XVI. Le pareti, sempre realizzate nel settecento, sono decorate con cineserie, piccoli ovali con scene di vita orientali. Nello studio, la volta conserva l'originaria decorazione settecentesca, con motivi naturalistici ed animali domestici.

16. Questo piccolo spazio, utilizzato fino al 1945 come sala d'attesa dell'ufficio del podestà, presenta volta e pareti decorate nel 1930 da un pittore locale: sul soffitto, la celebre impresa di Italo Balbo.

17. La sala dell'unicorno è nel cuore del Torrazzo. Sulla struttura del trecento, Borso d'Este ne commissiona le decorazioni a tempera a metà quattrocento: in questo periodo lavorano alcuni pittori della famiglia degli Erri. La raffigurazione racconta alcune "imprese" di casa d'Este, tra cui il mitico animale.

18. La sala degli imperatori è di impianto settecentesco, coincidente con quello originale quattrocentesco. Il soffitto ligneo è del sec. XV. Al di sotto restano tracce di una fascia pittorica a motivi vegetali della seconda metà del sec. XVI. Sul lato nord un grande camino in scagliola carpigiana.

19. Questa sala era originariamente divisa in due ambienti. La parte sud ha le tre pareti originali con decorazioni settecentesche ed un camino in scagliola carpigiana. Il soffitto ligneo è del sec. XV. Al di sotto corre una fascia decorata con figure femminili e animali fantastici, di altissima qualità esecutiva databile alla seconda metà del sec. XVI.