Nasceu na Alemanha, em 1936, na cidade de Hamburgo, numa família de pastores. A sua infância foi profundamente marcada pela Segunda Guerra Mundial e pelos anos de escassez do pós-guerra. Desde a adolescência, viajou muito, primeiro pela Alemanha de bicicleta e depois, de boleia, da Inglaterra até à Grécia, onde visitou o Monte Athos, passando pela Itália e pela Jugoslávia. Após estudar teologia, nomeadamente em Heidelberg, trabalhou como pastor estagiário em Hamburgo antes de ingressar na Comunidade de Taizé em 1962. Fez lá o seu compromisso para toda a vida na Páscoa de 1966.
Em 1965, o irmão Rudolf iniciou o seu ministério de visitas para além da Cortina de Ferro, começando pela Hungria e, posteriormente, pela Alemanha de Leste, Checoslováquia e Roménia, construindo uma vasta rede de amizades com cristãos de várias Igrejas. Durante as décadas de 1960 e 1970, foi uma peça-chave no acolhimento de jovens em Taizé e na organização dos primeiros Encontros Europeus. Em 1983, partiu para África, onde viveu durante alguns meses com os irmãos instalados no bairro de lata de Mathare Valley, em Nairobi. Em 1985, juntou-se à fraternidade de Taizé em Seul, na Coreia do Sul, visitando também os irmãos instalados no Japão.
Em 1987, partiu para a fraternidade de Alagoinhas, no nordeste do Brasil, no estado da Bahia. Lá, partilhou a vida com os mais desfavorecidos durante mais de trinta anos, antes de regressar a Taizé em 2020 por motivos de saúde. No Brasil, dedicou toda a sua energia às crianças do bairro popular onde viviam os irmãos. Organizou a "Brincadeira", um espaço de confiança, jogos e educação que acolhia as crianças com a ajuda de voluntários brasileiros e também de outros países. Visitava as suas famílias, muitas vezes desestruturadas, e foi testemunha da violência, por vezes mortal, que atingiu várias delas.
De regresso a Taizé, manteve os laços com os seus amigos graças aos meios de comunicação contemporâneos. Continuou a refletir sobre o futuro da Igreja. Alguns meses antes do seu falecimento, publicou um caderno com o título evocativo "The Faith of the Poor" ("A Fé dos Pobres"), baseado na sua experiência de vida entre eles.