Il centro storico conserva la struttura urbanistica originale con l’antico castello medievale e la cinta muraria databili al XIV secolo. La rocca è stata al centro della contesa del territorio da parte dei signori Smeducci di Sanseverino e i Da Varano di Camerino. Il castello compare per la prima volta nei documenti degli archivi storici con il nome di Castrum Galli. La rocca è stata edificata dai Da Varano per la difesa del proprio territorio, subito dopo l’annessione di Gagliole alla signoria, oggi ne resta la base in arenaria dell’antica torre e la cinta muraria. L’accesso al centro storico è permesso tramite due strade attraverso le uniche due porte, quella principale con arco a sesto acuto ribassato e la cosiddetta Porta Zingarina.