Peter Rühmkorf wird am 25. Oktober 1929 in Dortmund als Sohn einer Lehrerin und eines reisenden Puppenspielers geboren. Er wächst in Warstade-Hemmoor bei Stade in Niedersachsen auf. Dort besucht er die Volksschule und das Gymnasium.
1944 wird er zu Stellungsbau und Fronthelferarbeiten herangezogen. Der Einberufung zur Wehrmacht kann er durch Simulation entkommen.

1946 unternimmt er erste Versuche als Schlagertexter, Antikriegslyriker und Verfasser von Agitationsliedern. 1948 gibt er die Zeitschrift Die Pestbeule heraus. 1950 besteht Rühmkorf sein Abitur und beginnt ein Jahr später sein Studium der Pädagogik, Kunstgeschichte, Germanistik und Psychologie in Hamburg, das er sieben Jahre später abbricht.
Während des Studiums beteiligt er sich an den Gründungen der Neuen Studentenbühne, des arbeitskreises progressive kunst und zusammen mit Klaus Rainer Röhl an dem Kabarett Die Pestbeule. Rühmkorf gibt die Zeitschrift Zwischen den Kriegen – Blätter gegen die Zeit gemeinsam mit Werner Riegel heraus, die er auch selbstverlegt. 1953 gründet er das Wolfgang-Borchert-Theater. Rühmkorf arbeitet an der Zeitschrift studentenkurier mit, die sich ab 1958 konkret nennt.

Von 1958 bis 1964 ist Peter Rühmkorf Verlagslektor bei Rowohlt. In dieser Zeit debütiert er bei der Gruppe 47 und schreibt die erfolgreiche Wolfgang Borchert-Monographie nieder. Seit 1961 ist er Mitglied im Verband deutscher Schriftsteller, seit 1963 Mitglied der Freien Akademie der Künste Hamburg und seit 1972 Mitglied im PEN-Zentrum der Bundesrepublik Deutschland.

1964 ist er Stipendiat der Villa Massimo in Rom, und 1966 kommt es zur legendären Open-air-Veranstaltung Jazz und Lyrik auf dem Hamburger Adolphplatz. Peter Rühmkorf ist 1969 Gastdozent für moderne deutsche Literatur in Austin/Texas, 1974 Dozent für Sprache und Text an der Werkkunstschule Hamburg, 1975 Dozent an der Gesamthochschule in Essen und 1976 Stadtschreiber von Bergen-Enkheim. 1977 ist er writer in residence an der University of Warwick in Großbritannien und wird im gleichen Jahr in die Deutsche Akademie für Sprache und Dichtung in Darmstadt aufgenommen
1980 erhält Rühmkorf die Stiftungsdozentur für Poetik an der Johann-Wolfgang-von-Goethe-Universität in Frankfurt am Main. 1985 erhält er einen Lehrauftrag an der Gesamthochschule Paderborn, wird 1986 zum korrespondierenden Mitglied der Akademie der Künste in Berlin/DDR gewählt und 1987 Mitglied der Akademie der Künste Berlin (West). 1989 wird ihm die Ehrenpromotion durch die Justus-Liebig-Universität Gießen überreicht und die Ehrendoktorwürde verliehen. 1991 erhält er einen Lehrauftrag für Kreatives Schreiben an der Universität Essen. 1997 gibt Rühmkorf das Arno Schmidt-Lesebuch Lesen ist schrecklich heraus.

Am 8. Juni 2008 erliegt Peter Rühmkorf im Alter von 78 Jahren einem langen Krebsleiden.