Ἀπὸ νεαρὴ ἡλικία ζήλωσε τὸν ἀσκητικὸ βίο καὶ ἀπῆλθε πρὸς τὸν Ἅγιο Γρηγόριο τὸν Δεκαπολίτη, ἴσως στὸν Ὄλυμπο, γενόμενος μοναχὸς καὶ διδασκόμενος τὰ τῆς μοναχικῆς πολιτείας. Ἡ ὑπακοή του πρὸς τὸν διδάσκαλό του ὑπῆρξε περιβόητη, γι’ αὐτὸ δὲ καὶ ὁ Ἅγιος Γρηγόριος ἔχαιρε καὶ δόξαζε τὸν Θεό. Μετὰ τὸν θάνατο τοῦ διδασκάλου του, κατὰ τὸ παράδειγμα αὐτοῦ, ἀφοῦ περιέτρεξε ξένους τόπους, ἦλθε κατόπιν στὰ Ἱεροσόλυμα, ὅπου καὶ προσκύνησε τοὺς Ἁγίους Τόπους. Ἐκεῖ καλλιεργήθηκαν ἐντός του περισσότερο οἱ πηγὲς τῆς εὐσεβοῦς κατανύξεως καὶ ἡ ἀφοσίωσή του πρὸς τὸν Θεὸ προσέλαβε νέα δύναμη καὶ φλόγα. Ὁ Ὅσιος Ἰωάννης ἐγκαταβίωσε στὴ μονὴ Χαρίτωνος, ὅπου καὶ κοιμήθηκε μὲ εἰρήνη.
