Εγκαταλελειμμένο στο χρόνο, χωρίς να έχει ποτέ ληφθεί το παραμικρό μέτρο διάσωσης, προστασίας και αξιοποίησης παραμένει το Πανωκάστρι, ένα σημαντικό μνημείο, άγνωστο στους περισσότερους.
Πρόκειται για τα απομεινάρια ενός Βενετσιάνικου κάστρου, στο λόφο πάνω από τον οικισμό Καστρί της Τοπικής Κοινότητας Αγίου Μάμαντος Μυλοποτάμου.
Παρά τη σημαντική ιστορία με την οποία συνδέεται η περιοχή και η οποία αποδεικνύεται από τα σωζόμενα μνημεία της, δυστυχώς δεν υπάρχει κανένας σχεδιασμός για την υλοποίηση των απαιτούμενων έργων αποκατάστασης και διάσωσής τους.
Το Πανωκάστρι, ουσιαστικά υπήρξε η «Ακρόπολη» του Μυλοποτάμου της εποχή της Βενετοκρατίας. Σήμερα σώζονται τμήματα των τειχών και των οχυρώσεων, ο Βυζαντινός Ναός της Παναγίας, υπόγειες δεξαμενές, οι οποίες είναι λαξευμένες μέσα στους βράχους του κάστρου, επιγραφές και οικόσημα της οικογένειας Καλλέργη, η οποία είχε εκεί το ορμητήριο της.
Σύμφωνα με τον De Monacis (Chronicon, s. 191) το κάστρο αυτό κτίστηκε από τους επαναστάτες της οικογένειας Καλλέργη και υπήρξε κατοικία μιας ιστορικής προσωπικότητας, του Αλέξιου Καλλέργη, ο οποίος ηγήθηκε σε Κρητικές Επαναστάσεις κατά της Βενετσιάνικης κατοχής.
Ο Ναός της Κοιμήσεως Θεοτόκου, της Παναγίας της Πανωκαστριανής, όπως τον ξέρουν οι ντόπιοι και βρίσκεται όπως προαναφέραμε μέσα στο κάστρο, έχει διαπιστωθεί, ότι ανεγέρθηκε πάνω στα θεμέλια παλαιότερης, ενώ η διακόσμηση της αψίδας του Ιερού με μικρά τόξα και οικόσημα της οικογένειας Καλλέργη, πιστοποιούν της ιστορικότητά της.
Μικρό κτηνοτροφικό σήμερα χωριό το Καστρί, βρίσκεται σε υψόμετρο 360 μέτρων και το συναντούμε οδηγούμενοι είτε μέσα από τον Άγιο Μάμα είτε από την βόρεια πλευρά του οικισμού περνώντας από το Δαμαβόλου.
Στη θέση του οικισμού άκμασε στην αρχαιότητα η πόλη Πολυθάλπη ή Θεράπνα ή Θεράπναι και η εύρεση ενός υστερομινωϊκού πήλινου ειδώλιου, αποτελεί σημαντικό εύρημα, που ενισχύει την προφορική παράδοση.
Άλλο σημαντικό μνημείο είναι ο Ναός του Αγίου Στεφάνου, ο οποίος βρίσκεται στην θέση Κούκουμος. Ο Ναός τοιχογραφήθηκε το 1391 και είναι ξεχωριστής τέχνης οι Αγιογραφίες που απεικονίζουν τον μελισμό και τον λιθοβολισμό του Πρωτομάρτυρα.
Το Καστρί αναφέρεται σε πολλά έγγραφα του Δουκικού Αρχείου του Χάνδακα από το 1368 έως το 1382. Στο υπ’ αριθμό 735 έγγραφο του 1374 αναφέρεται ότι οι serventarie, kavallerie de Castri, δηλαδή τα πεζικά και ιππικά φέουδα, ήταν του S(er) Alexius Callergi, από το έτος Κυρίου 1341 (ab anno domini MCCCXLI).
Σε άλλο έγγραφο του ίδιου αρχείου, το οποίο χρονολογείται στα 1382, αναφέρεται η πώληση Ιπποτικού φέουδου στο Καστρί και πεζικών φέουδων στο Μελιδόνι.
Στις επίσημες καταγραφές συναντούμε καταγεγραμμένο τον οικισμό ως Castri από τον Fr. Barotsi το 1577. Ακολούθως επίσης ως Castri από τον Καστροφύλακα το 1583 με 199 οφειλόμενες αγγαρείες. Ο Βασιλικάτα δεν αναφέρει τον οικισμό. Στην Τουρκική απογραφή του 1671 αναφέρεται ως Kastri με πέντε χαράτσια. Το 1842 αναφέρεται από τον Χουρμούζη Βυζάντιο ως Καστρί, με τη σημείωση για την ύπαρξη ερειπίων του κάστρου, από το οποίο πήρε το όνομά του ο οικισμός. Το 1881 το Καστρί ανήκε στον Δήμο Αβδανιτών με 60 κατοίκους, το 1900 στον ίδιο δήμο με 67, το 1920 ανήκε στον Αγροτικών Δήμο Αλιάκων με 123, το 1928 στην Κοινότητα Αγίου Μάμαντος με 91, το 1940 καταγράφεται ως Καστρίον με 113 κατοίκους και ακολούθως το 1951 με 131, το 1961 με 119, το 1971 με 73, το 1981 με 59, το 1991 με 44 και το 2001 με 52.
Ο Εμμ. Λαμπρινάκης στο έργο του «Γεωγραφία της Κρήτης», αναφέρει ότι το Καστρί είχε τον Ε’ Επισκοπικό θρόνο της Κρήτης με τον Επίσκοπο της να φέρει τον τίτλο «Αυλοποτάμου».