Proseguendo la visita, riguadagnato il corridoio del loggiato, immediatamente sulla destra si incontra l’ingresso dalla Sala delle Dame, le cui pareti narrano una parte decisiva della storia familiare dei Contrari, mostrando in affresco gli stemmi di alcune delle consorti (le dame) dei feudatari di Vignola. É quindi probabile che questa stanza fosse riservata alle mogli dei padroni di casa.
L’arma dei Pio, signori di Carpi, appartiene a Camilla, seconda moglie di Uguccione Contrari; lo stemma dei Rangoni ricorda Beatrice e moglie di Nicolò Contrari, primo conte di Vignola; l’arma dei Campofregoso appartiene a Battistina, sposa di Ambrogio Contrari. La presenza nella sala dello stemma dei Pico di Mirandola è tuttora un enigma in quanto nessun esponente di questa famiglia ha mai contratto matrimonio con un discendente della casa Contrari. Sulla volta si possono scorgere le tracce di un quinto stemma, non identificabile con certezza a causa dei danni subiti dall’affresco, che secondo una recente ipotesi potrebbe appartenere ai nobili Campeggi di Bologna.
Nella chiave di volta è affrescato un rosone con le iniziali M e C, molto probabilmente le iniziali di Mainardo Contrari, padre di Uguccione.