Επί των ημερών του ως υπεύθυνος των ακαδημιών μαζί με την απερχόμενη διοίκηση πέρασαν πολλά καθώς, το γήπεδο της περιοχής είχε κλείσει για να τοποθετηθεί ο συνθετικός χλοοτάπητας κι από το «μηδέν» όπως σημειώνει ο ίδιος, ξεκίνησε να ανεγερθεί το οικοδόμημα της ομάδας.
Ο Ναπολέων Σκουλούδης υπέβαλλε την παραίτησή του στη διοίκηση με πόνο ψυχής, όπως αφήνει να εννοηθεί παρακάτω…
«Υποβάλω την παραίτησή μου σαν προπονητής από τις Ακαδημίες του Ο.Φ. Αρμένων μετά από μια διαδρομή περίπου 11 χρόνων. Ήταν ένα ταξίδι πολύ όμορφο, αλλά και πολύ δύσκολο. Όμορφο γιατί, καταφέραμε με αυτά τα παιδιά, αλλά και με την συμπαράσταση κάποιων γονιών το ακατόρθωτο, να πρωταγωνιστούμε παντού (εντός και εκτός αγωνιστικών χώρων) και να εισπράττουμε μόνο θετικά σχόλια. Δύσκολο διότι, όταν πήγα στο χωριό μου (τυχαία) τον Οκτώβριο του 2002 με ένα πρόγραμμα Μαζικού Αθλητισμού του Δήμου Ρεθύμνου δεν υπήρχε τί… πο… τα! Υπήρχε μόνο ένα γήπεδο χωμάτινο με σωρούς από μπάζα που μέσα σε αυτές τις συνθήκες αναγκαζόμουν τα δεκαπέντε (15) μόλις παιδιά τότε, να τα προπονήσω και να τους μάθω τα βασικά του ποδοσφαίρου και να τους μεταφέρω την δικιά μου φιλοσοφία. Ίσως να μην έχω κάνει κακό, δεν ξέρω, κάποιοι άλλοι ίσως ξέρουν καλύτερα.