Είναι κυλινδρικός και σώζεται σε ύψος περίπου 20 μ. Η διάμετρος της βάσης του είναι 9,40 μ. και είναι κατασκευασμένος εξ ολοκλήρου από ντόπιο σχιστόλιθο. Στο εσωτερικό του διασώζεται ελικοειδής κλίμακα που οδηγούσε σε πέντε τουλάχιστον ορόφους. Στην κορυφή του, υπάρχει ένα άνοιγμα που καλύπτεται από μια μεγάλη πέτρα. Λίγο πάνω από το υπέρθυρο υπάρχει μια καταπακτή που οδηγεί στο πάνω επίπεδο.
Το μικρό του μέγεθος, επιτρέπει μόνο σε ένα άτομο να ανέβει. Ξεκινώντας από το ισόγειο του πρώτου ορόφου μια σπειροειδής σκάλα, κατασκευασμένη από πέτρα που προεξέχει από τον εσωτερικό τοίχο, οδηγεί στον τελευταίο όροφο (πέμπτος όροφος). Υπάρχει ένας μικρότερος τοίχος από κατεργασμένη πέτρα μέσα στον πύργο. Αυτός ο εσωτερικός τοίχος είναι κατεστραμμένος στα περισσότερα σημεία. Σήμερα δεν υπάρχει στέγη, και το πάνω μέρος έχει κατεδαφιστεί. Στην αρχική του μορφή πρέπει να ήταν 2-3 μέτρα ψηλότερα από ότι είναι τώρα.
Ο πύργος Αγίου Πέτρου είναι κτισμένος σε μία θέση ιδιαίτερα προνομιακή, αφού δεσπόζει στον κάμπο του Γαυρίου της Άνδρου και βλέπει προς τη θάλασσα με δυνατότητα ελέγχου των πλοίων. Επίσης γύρω από το μνημείο υπάρχουν εγκαταστάσεις εξόρυξης μετάλλου (χαλκού), που λειτουργούσαν μέχρι τις αρχές του αιώνα. Υπάρχουν όμως ενδείξεις ότι παρόμοιες εργασίες γίνονταν στην αρχαιότητα. Προφανώς ο ρόλος του μνημείου ήταν για να ελέγχει στεριά και θάλασσα
