Le prime case di Invorio vennero costruite intorno al castello. Le mura che cingevano il paese erano di due ordini. Il primo era un ampio muro esterno, il cui giro passava per il Galesso, arrivava sotto porta Fura e sotto il Belvedere e risaliva fino a piazza Vittorio Veneto. Proseguiva poi fino a porta Vigana, girava attorno a piazza Martiri, poi attraverso via Odazio, dove ancora č visibile un tratto di muro originario, raggiungeva il parco di villa Oreo e terminava in via Dietro Castello. Il secondo ordine di mura era pertinenza stretta del castello. Girava dal Galesso lungo la villa Bologna, saliva per vicolo Margherita Pusterla, attraversava la casa Zirotti e finiva con il muraglione che ancora si erge dietro il maniero.