Considerato da molti quale successore di Beethoven, tanto che la sua Prima sinfonia fu descritta da Hans von Bülow (1830–1894, direttore d'orchestra, pianista e compositore tedesco) come la Decima sinfonia di Ludwig van Beethoven, Johannes Brahms nasce ad Amburgo il giorno 7 maggio 1833.
Secondo di tre figli, la sua famiglia è di modeste origini: il padre Johann Jakob Brahms è musicista popolare polistrumentista (flauto, corno, violino, contrabbasso) ed è grazie a lui che il giovane Johannes si avvicina alla musica. La madre, di professione sarta, si separa dal padre nel 1865.

Il giovane Brahms rivela un precoce talento musicale. Inizia lo studio del pianoforte all'età di sette anni, frequentando anche lezioni di corno e di violoncello. Tra i suoi insegnanti vi saranno Otto Friedrich Willibald Cossel e Eudard Marxsen. Il suo primo concerto pubblico risale al 1843, quando ha solo dieci anni. Fino all'età di tredici anni suona, come il padre, nei locali di Amburgo e, più avanti, dando lezioni di piano, contribuendo così al bilancio famigliare.

A vent'anni intraprende un'importante tournée con il violinista Eduard Remény. Nel 1853 Brahms fa alcuni incontri che si riveleranno molto importanti nella sua vita: conosce il grande violinista Joseph Joachim, con il quale inizia una lunga e proficua collaborazione. Joachim lo presenta poi a Franz Liszt: pare che Brahms si fosse addormentato durante l'esecuzione di Liszt. Sempre Joachim introduce il giovane Brahms in casa Schumann, il cui incontro sarà fondamentale. Da subito e senza riserve Robert Schumann considera Brahms un vero genio tanto che lo indica (sulla rivista "Neue Zeitschrift für Musik" da lui fondata) come il musicista del futuro. Johannes Brahms per parte sua considererà Schumann il suo unico e vero maestro, restando a lui vicino con devozione fino alla morte. Brahms non si sposerà mai, ma resterà legatissimo alla vedova Clara Schumann, in un rapporto di profonda amicizia che avrebbe confinato con la passione.

I dieci anni seguenti vedono Brahms intento ad approfondire i problemi compositivi, impegnandosi nel frattempo prima a Detmold e poi ad Amburgo come maestro di coro. L'attività concertistica di Brahms continua per circa un ventennio (spesso insieme a Joachim) parallelamente all'attività di compositore e direttore d'orchestra. Sua grande passione sono i soggiorni che gli consentono di compiere lunghe e rilassanti passeggiate in mezzo alla natura, e che sono proficua occasione per concentrarsi ad elaborare nuove melodie.

Nel 1862 soggiorna a Vienna e dall'anno successivo diviene la sua città di residenza principale. A Vienna viene molto apprezzato: intreccia relazioni di amicizia (tra cui il critico Eduard Hanslick) e decide di fissare stabilmente dal 1878 la sua residenza. Qui avviene il suo unico incontro con Wagner. Nel 1870, conosce Hans von Bülow, grande direttore che diverrà suo caro amico oltre che profondo estimatore.

A causa del suo bisognoso di perfezione, Brahms sarà lento nello scrivere, pubblicare ed eseguire le proprie opere importanti. La sua Prima sinfonia trova esecuzione solo nel 1876, quando il maestro ha già 43 anni.

Negli ultimi vent'anni di vita Brahms si dedica alla composizione: sono gli anni dei principali lavori per orchestra (le altre tre Sinfonie, il Concerto per violino, il Concerto N.2 per pianoforte e il suo ricco catalogo di capolavori cameristici).

Come avvenuto per il padre, Johannes Brahms muore di cancro: è il 3 aprile 1897. Muore pochi mesi dopo la sua amica di una vita, Clara Schumann. La sua salma viene sepolta nel cimitero di Vienna, nella zona dedicata ai musicisti.