Η απαρχή της ίδρυσης του εμβληματικού κάστρου της Λευκάδας τοποθετείται στην αυγή του 14ου αι., όταν ο Λατίνος ηγεμόνας του νησιού Ιωάννης Ορσίνι χτίζει στο ΒΑ άκρο της νησίδας μεταξύ Λευκάδας και Ακαρνανίας, στη θέση Γύρα, ένα μικρό οχυρό για να διασφαλίσει το νησί από τις εχθρικές επιδρομές. Το αρχικό φρούριο πιθανόν διέθετε ορθογώνια κάτοψη και ενισχυόταν με υψηλούς τετράπλευρους πύργους στις γωνίες του. Δυστυχώς σήμερα δεν είναι πια ορατά τα κατάλοιπα της αρχικής αυτής οχύρωσης, καθιστώντας γενικότερα δύσκολη και επισφαλή την εξαγωγή συμπερασμάτων ως προς την αρχική μορφή του οχυρού.
Το κάστρο παρέμεινε υπό τον έλεγχο του Οίκου των Ορσίνι μέχρι το 1331, όταν ο Walter ή Gautier VI de Brienne, κόμης της Βρυέννης και του Λέτσε, καταλαμβάνει τη Λευκάδα και το κάστρο της Αγίας Μαύρας. O έκπτωτος δούκας των Αθηνών ηγείτο μιας «σταυροφορίας» για την ανακατάληψη της Αθήνας από τους Καταλανούς, με την υποστήριξη του Πάπα και των Ανδηγαυών βασιλέων της Νεαπόλεως.
Το τίμημα αυτής της υποστήριξης ήταν να αποσπάσει, αρχικά, εδάφη του Δεσποτάτου της Ηπείρου. Στο πλαίσιο αυτής της εκστρατείας, επιτέθηκε στο αδύναμο κάστρο της Λευκάδας με 800 σιδερόφρακτους ιππότες και το κατέλαβε σχετικά εύκολα. Τον επόμενο χρόνο, ωστόσο, η σταυροφορία λήγει άδοξα και ο Βάλτερος επιστρέφει στην Ιταλία, αλλά οι Ανδηγαυοί παραμένουν στο νησί, χωρίς να προχωρούν σε αλλαγές στο μικρό κάστρο.
Το 1355 ο Βριέννιος παραχώρησε τη χωροδεσποτεία του νησιού στον έμπιστό του Γρατιανό Τζώρτζη από τη Βενετία. Η Αγία Μαύρα είχε τότε ήδη διαμορφωθεί σε φεουδαλικό κάστρο, όπου διέμενε ο φεουδάρχης με την οικογένειά του, ο καθολικός επίσκοπος με τη συνοδεία του, καθώς και ορισμένοι αξιωματούχοι, και η φρουρά.