Va néixer a Alemanya, l’any 1936, a la ciutat d’Hamburg, en el si d’una família de pastors. La seva infantesa va estar profundament marcada per la Segona Guerra Mundial i els anys d’escassetat de la postguerra. Des de la seva adolescència, va viatjar molt, primer a Alemanya amb bicicleta, i després fent autostop des d’Anglaterra fins a Grècia, on va visitar el Mont Athos, passant per Itàlia i Iugoslàvia. Després d’estudiar teologia, sobretot a Heidelberg, va treballar com a pastor en pràctiques a Hamburg abans d’entrar a la Comunitat de Taizé el 1962. Va fer el compromís per a tota la vida per Pasqua de 1966.
L’any 1965, el germà Rudolf va començar el seu ministeri de visites més enllà del Teló de Ferro, primer a Hongria, després a l’Alemanya de l’Est, a Txecoslovàquia i a Romania, teixint una xarxa d’amistat amb cristians de diverses Esglésies. Durant els anys 60 i 70 va ser una figura clau a l’hora d’acollir els joves a Taizé i organitzar les primeres trobades europees. El 1983 va marxar cap a l’Àfrica on, durant uns mesos, va viure amb els germans que vivien als suburbis de Mathare Valley a Nairobi. El 1985, es va arribar a la fraternitat de Seül, a Corea del Sud, mentre visitava sovint els germans que vivien al Japó.
El 1987 va marxar a la fraternitat d’Alagoinhas, al nord-est del Brasil, a l’estat de Bahia. Va compartir la vida dels més desfavorits durant més de trenta anys abans de tornar a Taizé el 2020 per motius de salut. Al Brasil, dedicà tota la seva energia als nens del barri obrer on viuen els germans. Organitzà la «Brincadeira» per acollir els infants, amb l’ajuda de voluntaris brasilers i també d’altres llocs, en un espai de confiança, educació i lleure. Visitava les seves famílies, sovint desestructurades. Fou testimoni de la violència, de vegades mortal, que pateixen molts d’ells.
De tornada a Taizé, es mantingué en contacte amb els seus amics gràcies als mitjans de comunicació contemporanis. Continuà també la seva reflexió sobre el futur de l’Església. Uns mesos abans de la seva mort, va publicar un quadern amb el títol evocador The Faith of the Poor («La fe dels pobres»), basat en la seva experiència de convivència entre ells.