Γνωρίζουμε ἁπό τίς ἁγιογραφικές πηγές γιά τόν Ἀπόστολο Παῦλο, τοῦ ὀποίου τά ἁγιασμένα πόδια πάτησαν στούς Καλούς Λιμένες, ὅτι ἔγινε ἡ παρουσία του αἰτία, ἤδη ἀπό τούς πρώτους αἰώνες νά σχηματιστῆ ὁ πρῶτος πυρήνας μοναστικῶν κοινοτήτων στίς σπηλιές τῆς Νοτίου Κρήτης, συναντῶντας μέ τήν ἐμφάνιση τοῦ ἐρημιτισμοῦ, τούς πρώτους ἀσκητές στά σπήλαια τοῦ Ἁγιοφάραγγου ἀλλά καί σέ ἄλλα σπήλαια τῆς περιοχῆς στά νότια τῶν Ἀστερουσίων Ὀρέων.
Δέν εἴναι τυχαῖα ἡ σειρά τῶν ἱερῶν σπηλαίων που μας εἴναι γνωστά ὡς ἐρημητήρια, ὄπως ὁ Ἅγιος Ἰωάννης, ὁ Ἅγιος Ἀντώνιος, τό Ἀββακόσπηλιο κ.α. Τό ἰδιαίτερο χαρακτηριστικό τους εἴναι ὅτι πρόκειται κυρίως γιά σπήλαια καί τό δεύτερο ὅτι ὅλα βλέπουν πρός τήν θάλασσα.
Σ' αὐτήν τήν ὀμάδα τῶν σπηλαιωδῶν ἀσκητηρίων ἀνήκει κατά τήν μαρτυρία τοῦ ἔγκριτου Ἀρχαιολόγου – Βυζ/λόγου κ. Ἀθανασίου Παλιοῦρα Ὁμ. Καθ. τοῦ Παν/μίου Ἰωαννίνων καί ἡ Μονή Κουδουμᾶ, ὁ ὀποῖος καί τήν χαρακτηρίζει καί ὡς τήν ἀρχαιότερη Μονή τῆς Νότιας Κρήτης. Ἕνας ἄλλος πειστικός, λόγος ἀποδοχῆς παλαιοχριστιανικῆς κατοίκησης στά σπήλαια τοῦ Κουδουμᾶ, πέρα ἀπό τήν παράδοση που δέχεται πως ὁ τόπος δέχτηκε τούς ἀναχωρητές ἤδη ἀπό τόν 4ο αἰῶνα, ἐποχή που ξεκίνησε ἀπό τις λαῦρες τῆς Αἰγύπτου καί τῆς Παλαιστῖνης γιά νά περάσει στή συνέχεια στή Μικρά Ἀσία, στήν Κύπρο, στήν Κρήτη καί ἀπό ἐκεῖ στόν Ἑλλαδικό χῶρο, εἴναι καί ἡ πλήρης ἀπομόνωση καί ἐρημιά.
Οἱ ἀναχωρητές ἀναζητοῦσαν ἀπομακρυσμένες περιοχές, ἐντελῶς ἀπομονωμένες γιά νά ἀσκηθοῦν μόνοι τους ἤ μέ συνοδεία, μόνοι μόνῳ τῷ Θεῷ. Οἱ πρῶτοι ἐρημίτες τοῦ Κουδουμᾶ, πρέπει νά ἔζησαν κατά τόν 6ο και 7ο αἰῶνα στά σπήλαια που περιβάλουν τήν σημερινή Ἱ. Μονή.
