Iznad današnjeg pristaništa u Petrovcu u 16. vijeku Mlečani su sagradili tvrđavu, po kojoj je čitavo mjesto dobilo naziv Kastel Lastva, koju je narod zvao Kastio. U tvrđavi je bio smješten stalni mletački garnizon. Tu su se nalazili i magacini za smještaj vina i drugih proizvoda koji su se odatle izvozili brodovima. Uz tvrđavu su sagradili i Lazaret, sanitarnu zgradu koja je uglavnom služila kao karantin, za smještaj bolesnika za vrijeme epidemija. Od tih građevina ostale su samo zidine.
Tvrđava i Lazaret čine prepoznatljivi dio pejsaža Petrovca, uokviruju petrovački zaliv i odvajaju ga od Tuljanove pećine. Poslednjih decenija, izgradnjom pristaništa i ugostiteljskih objekata (restoran, kafić, diskoteka) ovaj nekad napušteni lokalitet je oživio. Početkom septembra on se pretvara u Jazz scenu poznatih domaćih I svjetskih imena.