Na južnoj strani starog grada, na najuzvišenijem mjestu, sagrađena je gradska tvrđava Kaštel, današnja Citadela, od koje počinju i kojom završavaju gradske zidine. Tvrđava se prvi put pominje 1425. godine. U njoj je jedno vrijeme bilo sjedište zetskog mitropolita poslije prelaska sa Prevlake. Prilikom dogradnje i rekonstrukcije tvrđave u 19. vijeku srušena je mala crkva Santa Maria de Castelo, a u tvrđavi je bio smješten vojni garnizon.