Σπούδασε μουσική στο Ωδείο του Παρισιού και την Σκόλα Καντόρουμ (Schola Cantorum de Paris) της ίδιας πόλης με τους Λερού (Leroux), Ζορζ Κοσάντ (Georges Caussade), Βενσάν ντ'Ιντί (Vincent d'Indy) και άλλους. Παρέμεινε στο Μονπαρνάς (Montparnasse) του Παρισιού μέχρι το 1922 και διατήρησε στενές σχέσεις με κύκλους καλλιτεχνών που συμπεριλάμβαναν τους Αλφρέντο Καζέλα (Alfredo Casella), Μωρίς Ραβέλ (Maurice Ravel), Εντγκάρ Βαρέζ και τον Αμεντέο Μοντιλιάνι (Amedeo Modigliani) ο τελευταίος πίνακας του οποίου ήταν το πορτρέτο του Βάρβογλη.

Μετά το 1920, δίδαξε στο Ωδείο Αθηνών και ενεργοποιήθηκε στο χώρο της μουσικής κριτικής και σύνθεσης. Το 1924 διορίσθηκε καθηγητής μουσικής στη δημόσια, μέση εκπαίδευση, και το 1951 τίμηθηκε διά βασιλικού διατάγματος για τη μακράν και ευδόκιμον υπηρεσία του σε αυτήν.^[8] Καταδιώχθηκε κατά την διάρκεια του καθεστώτος της 4ης Αυγούστου στην Ελλάδα για τις πολιτικές πεποιθήσεις του, και μετά τον Β΄ Παγκόσμιο Πόλεμο φυλακίστηκε σε βρετανικό στρατόπεδο συγκέντρωσης.                   

Μαζί με τους Αιμίλιο Ριάδη, Διονύσιο Λαυράγκα, Γεώργιο Λαμπελέτ, και Μανώλη Καλομοίρη, θεωρείται ένας από τους δημιουργούς της σύγχρονης νεοελληνικής μουσικής σκηνής.