Il est né en Allemagne, en 1936, dans la ville de Hambourg, dans une famille de pasteurs. Son enfance est profondément marquée par la deuxième guerre mondiale et les années de pénurie de l’après-guerre. Dès son adolescence, il a beaucoup voyagé, d’abord en Allemagne à vélo, et puis en stop de l’Angleterre à la Grèce, où il a visité le Mont Athos, en passant par l’Italie et la Yougoslavie. Après avoir étudié la théologie, notamment à Heidelberg, il travaille comme pasteur stagiaire à Hambourg avant d’entrer dans la communauté de Taizé en 1962. Il s’y engage pour toute sa vie à Pâques 1966.
En 1965, frère Rudolf commence son ministère de visites au-delà du rideau de fer, d’abord en Hongrie, puis en Allemagne de l’Est, Pologne, Tchécoslovaquie et Roumanie, tissant tout un réseau d’amitié avec des chrétiens de diverses Églises. Au cours des années 1960 et 1970, il est une cheville ouvrière de l’accueil des jeunes à Taizé et de l’organisation des premières rencontres européennes. En 1983, il part pour l’Afrique où, pour quelques mois, il vit avec les frères installés dans le bidonville de Mathare Valley à Nairobi. En 1985, il rejoint la fraternité de Taizé à Séoul, en Corée du Sud, tout en visitant les frères installés au Japon.
En 1987, il part pour la fraternité d’Alagoinhas au nord-est du Brésil, dans l’État de Bahia. Il y partage la vie des plus démunis pour plus de trente ans avant de revenir à Taizé en 2020 pour des raisons de santé. Au Brésil, il consacre toute son énergie aux enfants du quartier populaire où vivent les frères. Il organise la « Brincadeira » qui permet de les accueillir, avec l’aide de volontaires brésiliens et aussi venus d’ailleurs, dans un espace de confiance, de jeux et d’éducation. Il visite leurs familles, souvent éclatées. Il est témoin de la violence, parfois mortelle, que subissent plusieurs d’entre eux.
De retour à Taizé, il garde les liens avec ses amis grâce aux moyens de communication contemporains. Il poursuit sa réflexion sur l’avenir de l’Église. Quelques mois avant son décès, il publie un cahier au titre évocateur « The Faith of the Poor » (« La foi des pauvres »), basé sur son expérience de vie parmi eux.