Στις αρχές του 20ου αιώνα, το κάστρο καθίσταται μία παρωχημένη πλέον αμυντική κατασκευή, λόγω της αλματώδους προόδου της τεχνολογίας των πυροβόλων όπλων. Ωστόσο, οι χώροι του εξακολουθούν να χρησιμοποιούνται κατά διαστήματα για άλλα 50 χρόνια.
Από το 1912 έως το 1913, κατά τη διάρκεια του Α’ Βαλκανικού Πολέμου, το κάστρο μετατράπηκε από τη συμμαχία της Ελλάδας, Βουλγαρίας, Σερβίας και Μαυροβουνίου σε φυλακή για τον εγκλεισμό Τούρκων αιχμαλώτων στρατιωτών.
Το 1922, με το ΦΕΚ 28/Α/26-2-1922, το κάστρο κηρύσσεται ως «προέχον βυζαντινό μνημείο».
Την ίδια χρονιά 5.690 πρόσφυγες καταφθάνουν στη Λευκάδα, εξαιτίας της Μικρασιατικής καταστροφής.
Η έλλειψη καταλυμάτων για τη φιλοξενία τους, αναγκάζει τις τοπικές αρχές να χρησιμοποιήσουν τα κτήρια του κάστρου για τη στέγασή τους, όπου παραμένουν αρκετά χρόνια έως την οριστική αποχώρησή τους το 1932.
Από το 1924 έως το 1937 ο επίπεδος ανοιχτός χώρος, που ορίζεται από τις αγγλικές φυλακές, τον Ναό του Αγ. Σωτήρος και τον Στρατώνα, χρησιμοποιήθηκε από τους αθλητικούς συλλόγους του νησιού ως γήπεδο, όπου διεξάγονταν αγώνες ποδοσφαίρου, ενώ το κτήριο των αγγλικών φυλακών μετατράπηκε σε αποδυτήρια για τους αθλητές.
Στην διάδοση του ποδοσφαίρου στο νησί πρωτοστάτησαν οι πρόσφυγες, που γνώριζαν καλύτερα το άθλημα, καθώς στις χαμένες πατρίδες είχαν εξασκηθεί σε αυτό, παίζοντας με τους Άγγλους.
Παρά την κήρυξη ως αρχαιολογικού χώρου του κάστρου, το 1938, επί δικτατορικού καθεστώτος Ιωάννη Μεταξά, αποφασίστηκε η εκποίηση των οικοδομικών υλικών των κτισμάτων του για τη συγκέντρωση χρημάτων υπέρ του Μετοχικού Ταμείου Στρατού, απόφαση που είχε ως αποτέλεσμα την πρόκληση περαιτέρω ζημιών στα μνημεία του χώρου.
Η καταστροφή είναι περισσότερο εμφανής σήμερα στα διατηρημένα κτήρια της περιόδου της Αγγλοκρατίας, λόγω της ευκολίας με την οποία μπορούσαν να αφαιρεθούν υλικά.
Σε κανένα εξ’ αυτών δεν σώζεται πια ο όροφος και η στέγη, παρά μόνο το ισόγειο.