Gerhard Rühm wurde am 12. Februar 1930 in Wien geboren. Nach dem Besuch des Realgymnasiums studierte er an der Wiener Kunstakademie für Musik und darstellende Kunst Klavier und Komposition. Danach nahm er Privatunterricht bei dem Zwölftonkomponisten Josef Matthias Hauer.

Während eines längeren Aufenthaltes im Libanon beschäftigte sich Rühm mit orientalischer Musik. Der Stil der Hauerschen „Zwölfton-Spiele“, ihr lockerer Duktus und ihre seltsame Ausdruckslosigkeit haben Gerhard Rühm tief beeinflußt. Aus expressiven und unmittelbar bedeutsamen Botschaften macht Rühm sich nichts, eher hält er es mit nahezu minimalistischen Strategien, wobei er den Zufall neben der Ordnung bestehen läßt. Die expressionistische Musiksprache der Schönberg-Schule interessiert ihn weniger, doch Reihen-Schemata spielen in seinem (literarischen) Werk eine bedeutende Rolle. Zufalls-Momente wie sich wiederholende Raster spielen bei ihm in Sprache und Aktion, in Musik und Graphik eine erhebliche Rolle.

Anfang der 50er Jahre Annäherung an die bildende Kunst, Bekanntschaft mit H. C. Artmann und erste literarische Arbeiten, vor allem Lautgedichte. Von 1954 bis 1964 lebte Gerhard Rühm als freier Schriftsteller in Wien, aufgrund eines Publikationsboykott in Österreich übersiedelt er nach West-Berlin, wo er bis 1977 lebt. Von Beginn seines Schaffens an ist er intermedial orientiert, sowohl in der Bildenden Kunst (visuelle Poesie, gestische und konzeptionelle Zeichnung, Fotomontage, Buchobjekte) als auch in der Musik (auditive Poesie, Chanson, dokumentarische Melodramen, Vokalensembles, konzeptionelle Klavierstücke, Text-Ton-Transformationen). Entsprechend breit ist sein Wirkungsradius, neben literarischen Publikationen organisiert er Ausstellungen, hält er Vorträge, gibt er Konzerte und Theateraufführungen. Dennoch in der Konzentration auf die hermetische Konstruktion einer Wort- und Tonwelt aus Buchstaben bleibt Gerhard Rühm nach wie vor im strengen und wörtlichen Sinne „Literat“ und durchweg experimenteller Künstler.

Gerhard Rühm ist gemeinsam mit Achleitner, Artmann, Bayer und Wiener Mitbegründer der sogenannten „Wiener Gruppe“ und 1967 Herausgeber der gleichnamigen Anthologie. Ab 1972 war er Dozent an der Staatlichen Kunsthochschule in Hamburg. Außerdem ist er Mitglied der Freien Akademie der Künste in Hamburg. Er war zudem längere Zeit Präsident der Grazer Autorenversammlung.
Er ist Träger zahlreicher renommierter Literaturpreise, darunter der Hörspielpreis der Kriegsblinden (1983), der Große Österreichische Staatspreis für Literatur (1991) und der Grillparzerpreis (1993). Gerhard Rühm lebt heute in Köln.