Diplômé du Conservatoire national de musique de Tunis et de la Schola Cantorum de Paris, il a obtenu également un DEA et un doctorat en musicologie de l'Université Paris IV-Sorbonne.
Il débute sa carrière artistique en tant qu'altiste au sein de l'Orchestre symphonique tunisien dès sa création en 1969.
Il fonde l'Orchestre 71, puis l'Orchestre arabe de la ville de Tunis qu'il dirige dans les années 1980. Sous sa direction, l'Orchestre arabe de la ville de Tunis épouse un genre tout à fait nouveau en Tunisie : le théâtre chanté. Au cours de cette période, l'orchestre participe activement à l'enrichissement de la scène artistique par de nouvelles créations et de nouvelles voix. Après avoir quitté l'orchestre, il fonde l'ensemble musical Zakharef arabiyya avec lequel il produit quelques spectacles.
Mohamed Garfi est l'un des spécialistes de la musique tunisienne et arabe. À son actif figurent de grands spectacles conçus pour les ouvertures et les clôtures du Festival international de Carthage et du Festival de la médina et des concerts donnés au Théâtre municipal de Tunis. Pour réaliser ses spectacles, il fait appel à des instrumentistes étrangers (en particulier français) et à quelques instrumentistes tunisiens professionnels.
Pendant sa carrière, il collabore avec plusieurs musiciens tunisiens, dont Noureddine El Béji, Dorsaf Hamdani, Amani Souissi, Dhikra Mohamed et Sonia M'Barek, et étrangers dont les frères Rahbani, Marcel Khalifé ou encore Julia Boutros.
Il met en musique plusieurs poèmes, dont ceux d'Abou el Kacem Chebbi, Mahmoud Darwich, Abdelhamid Khraïef, Mnaouar Smadah, Aboû Nouwâs, Amel Donkal, Ahmed Fouad Najm, Mansour Rahbani ou encore Said Akl.
Il produit plusieurs opérettes, Branches rouges, Cantate pour le Liban et Histoire de Carthage, et met en musique plusieurs films comme Et demain... ? de Brahim Babaï et Pique-nique, l'un des trois courts-métrages qui composent le film Au pays du Tararanni de Férid Boughedir.
Ses œuvres sont jouées par plusieurs orchestres dont l'Orchestre symphonique scolaire et universitaire, l'Orchestre arabe de la ville de Tunis, l'Orchestre 71, etc.
