有人說，這是男人在哭泣。他說的是音樂一開始就出現的第1樂章第1主題。
「紮實」「孤獨」，這是要理解此曲的關鍵語。
1885年，布拉姆斯譜寫這一首他最後的交響曲。在3年前，華格納已完成他最後的舞台作品－樂劇「帕西法爾」（1882），1年前，布魯克納完成交響曲第7號（1884）。次年聖桑寫交響曲第3號「風琴」（1886），1887年布魯克納交響曲第8號，1888年馬勒交響曲第1號「巨人」，1889年理查‧史特勞斯交響詩「唐璜」！布拉姆斯發表這一首作品時，華格納已不在世，兩年後李斯特也辭世。時代的腳步，毫不馬虎的走向20世紀。布拉姆斯所處的音樂界環境，就是這樣。
1882年1月，布拉姆斯向指揮家友人畢羅（Hans Guido Freiherr von Bülow, 1830 - 1894）出示巴赫的清唱劇第150號「主啊，我在盼望你」（Nach dir, Herr, verlanget mich）的終曲「我苦難的日子」（根據4小節低音主題的夏康舞曲（Ciaccona），參考下列網頁的音樂，並注意其低音部旋律），說：「使用這主題寫的交響曲終樂章你覺得怎麼樣？不過完全照這樣就不夠流利，應該略為加工。」這事表示他在譜寫交響曲第3號（1883）之前，就已有交響曲第4號終樂章的構想。布拉姆斯早在1873年，寫「海頓主題變奏曲」時，就有在管弦樂作品中使用夏康舞曲的經驗。
BACH： Nach dir, Herr, verlanget mich (Ciaccona BWV 150)
http://www.youtube.com/watch?v=SBlCunVDgKA
1884年夏天，51歲的布拉姆斯到維也納西南約100公里的慕爾茲池修拉克（Mürzzuschlag）避暑，並在當地著手譜寫第4號交響曲。他在前一年發表的第3號交響曲獲得大成功，大家對他的新作品，寄望很大。第2號與第3號交響曲，他都在一個夏天裡完成，但這次作品寫起來相當不容易。結果，這一年只完成前面兩樂章，全曲脫稿，要等到次年夏天。
1885年9月初，他送此曲第1樂章的樂譜送到伊莉莎白‧馮‧赫爾佐根伯格（Elisabet von Herzogenberg）手上。這位赫爾佐根伯格夫人是布拉姆斯的學生，同時也是他討論音樂的同伴。他請她對此音樂表示意見。翌月初，赫爾佐根伯格夫人回他的信：「這是很獨特的作品。愈查愈增加其深度，在黃昏的微光中，最初沒看到的星星，一顆一顆浮現出來。每遇這種情形，我就歡喜、期待、驚嘆。然後逐漸看出來統御這些多元性的一貫的脈動。」她一方面稱讚布拉姆斯之非凡，另一方面由於寫作技術過於複雜，而擔心這些只會停留在「專家們的狹窄的世界，而不會傳到一般善良聽眾的耳朵」。這可能也是布拉姆斯所擔心的。10月8日，在首演之前，布拉姆斯依例招集朋友，使用鋼琴聯彈編曲樂譜，以兩台鋼琴試演這首作品。依照傳記作家馬克斯‧卡爾貝克（Max Kalbeck）的記載，當第1樂章結束時，大家都保持沉默，場面的氣氛有點尷尬。朋友們覺得有點困惑，音樂評論家愛德華·漢斯力克（Eduard Hanslick）與指揮家漢斯·里希特（Hans Richter）的反應是讚否兩論，卡爾貝克甚至建議改寫後兩個樂章。
布拉姆斯的朋友們究竟為什麼覺得有點困惑？原來布拉姆斯在這首作品中，使用一些古老的作曲手法。例如第2樂章使用文藝復興以前的古老教會音樂所使用的音階弗里吉亞調式，第4樂章還使用巴赫的夏康舞曲，那就退到巴洛克時期了。
如前面所述，布拉姆斯完成此曲時，華格納已寫完所有歌劇作品。布拉姆斯應該比華格納接觸較多的新音樂。但是比起「崔斯坦與伊索笛」或「尼貝龍根的指環」，這首交響曲不會令人覺得較新。
華格納與布拉姆斯，兩人都是代表19世紀德國浪漫主義的作曲家，但兩人的作風，以及其他的一切都成對比。一邊是驅使豪華燦爛的樂器編制，需要四夜才能演完的壯大樂劇，引人注目的私生活；另一邊是以音樂內容贏過別人，重視形式的紮實作風，樸素而頑固的性格。圍繞這兩人，世間的愛樂者分成兩派爭論。其實這個爭論並不是當事人兩人之間互相理論，而是第三者不管當事人喜歡不喜歡，只以他們兩人為題材，互相激烈漫罵，很沒有建設性的爭論。
不久，傾向華格納的朋友逐漸離開布拉姆斯，年長的知己小提琴家姚阿幸、指揮家烈威、舒曼遺孀克拉拉也跟他疏離。布拉姆斯沒有挽回他們。親友畫家費爾巴哈（Anselm Feuerbach）、音樂學家諾特博姆（Nottebohm）也相繼去世。布拉姆斯年過半百，沒有結婚生子，往後只有一人過活。
第4號交響曲就在這種情況下誕生。全曲建構在隱藏在內部的熱情與孤獨感引起的哀愁，以及極為紮實的新古典主義作曲手法。布拉姆斯新作品的消息一傳到市井，華格納派就馬上誹謗中傷，不斷惡意批評。布拉姆斯的朋友甚至建議他不要在這種惡劣環境下發表新作。布拉姆斯考慮到無端起風波，沒請以前首演他前面幾首交響曲的維也納愛樂首演第4號，而轉請與畢羅有關係的邁寧根宮廷管弦樂團首演。也由於同樣理由，這首作品沒有呈獻給任何人。
跟他的朋友覺得困惑一樣，曲中使用的手法，讓批評者攻擊他是向後倒退。布拉姆斯刻意使用這種古老手法，從致意趨向「未來音樂」的「進步主義者」看來，簡直就是完全步向過去的態度，暴露「保守主義者布拉姆斯」本性的作法。當時「進步派」佛爾富（Hugo Wolf，他是華格納派，而且是批評布拉姆斯的最先鋒）說此曲表現布拉姆斯的創作活動退步了。他說：「布拉姆斯創作活動的退步是很驚人的。…無內容、空虛、偽善支配e小調交響曲，以布拉姆斯別的作品所沒有的可怕形式，顯露在光天化日之下。」馬勒也說此曲是：「高高在上卻是空洞的聲音」。
布拉姆斯與他的朋友們當初所擔心的，是此曲的難解性。然而，如果只是架構過於複雜細緻，則前三首交響曲也可以加以指摘，問題不在此。問題在於這首作品中，如第2樂章之弗里吉亞調式，第4樂章之夏康舞曲（帕薩喀牙舞曲）。雖然，在半世紀以前，因孟德爾頌復甦「馬太受難曲」而興起古樂復興之風，但當時的一般聽眾，還不習慣於這種古樂因素，只有一小群專家還能接受。
但也不是沒有人稱讚他。擁護布拉姆斯的漢斯力克在維也納首演之後，雖然加了一句「其魅力並非適合於所有一般人」，但還稱讚他的獨創性，對第4樂章還說：「終樂章像是在暗處的泉水。看得愈久愈會看到星光燦然閃爍。」當時當畢羅助手的理查‧史特勞斯，在首演前一天寫給父親的信上說：「這絕對是巨人般的作品。無可比擬的曲趣，還有創造力。曲式的處理、長篇架構，正是天才之作。」
不可否認的，布拉姆斯是一位既保守又內省的人，以致到晚年雖受人尊敬，卻也被評論為「落伍的人士」。第4號交響曲是布拉姆斯對世界潮流的一個回應。或許該說是反駁。布拉姆斯對追逐流行，光有嶄新的形式，卻不具有內容的空洞作品很不以為然，因此可能用這首作品，以他的方式提出抗議。他在終樂章所用的「帕薩喀牙舞曲」不止「落伍」，還是「大大落伍」，因為這種舞曲就是在巴赫的時代，也是已經「落伍」的形式了。
布拉姆斯在22歲時，就想譜寫交響曲。但是布拉姆斯很尊敬貝多芬，常認為如果要寫交響曲，一定要能超越貝多芬才可以寫。因此他寫第一首交響曲時推敲又推敲，經過20年歲月，最後才發表被認為是貝多芬第10號交響曲的第一首交響曲。當然他不會是20年之間一直推敲同一首樂曲，有可能一再改寫。在這段期間廢棄的旋律，有些轉用在鋼琴協奏曲第1號的第2樂章，有些則轉用在「德語安魂曲」中。1862年有了第1號交響曲第1樂章的雛形，由此推測，他寫第1號交響曲的直接時期，可能在這一年前後。最後完成全曲的是14年後的1876年。當年布拉姆斯43歲。
之後，接下去的兩首交響曲就寫得很快，各只需1個夏天。第4號就費了較長的時間，要兩個夏天已如前述。在前三首交響曲克服要超越貝多芬的意識之後，他上遡歷史，想要站在更長久的傳統上，在交響曲中灌入新氣息。李斯特與華格納，覺得交響曲到貝多芬的第9就結束了，因此想在新的範疇中讓音樂進步。他們一直向前看。布拉姆斯的確會回頭看，但是他是為了求進步而回頭看的。交響曲第4號最能顯耀在「進步派」與「保守派」對立的19世紀樂壇中，顯示經常注視過去與未來的布拉姆斯的態度。
現在，這首作品被認為是在古老的樣式裡，裝滿創意與浪漫的成熟作品，是最能代表布拉姆斯性格的音樂。這首音樂的每一個部分，都是完成度很高的浪漫主義交響曲。只聽開頭幾個小節，就能感覺得到進入老年的布拉姆斯的深深的嘆息。第2樂章中間樂段轉調到大調處，像是在悲傷中忽然射入一道光線，聽來很動人。終樂章滲透出已什麼都捨去而不在乎的苦澀。這麼深刻的內涵，卻使用這麼舊的形式，這一定讓當時只追求新樣式的音樂家們嚇一跳。
此曲於1885年10月25日由邁寧根宮廷管弦樂團首演，布拉姆斯自己指揮，大指揮家畢羅打大鼓，理查‧史特勞斯擔任三角鐵。首演時出乎布拉姆斯與其友人們的意外，每演奏一個樂章就引起長久的鼓掌，第3樂章當場重演一次，全曲結束後，應當時邁寧根公的要求，重新演奏第1樂章與第3樂章。次週，由畢羅指揮再演奏了一次。
次年2月，小提琴家姚阿幸建議樂曲的開頭部分予以修改，當時布拉姆斯也同意而補了4小節的短小序奏，但後來又把序奏塗掉，沒有修改。
此曲完成後不久，布拉姆斯住宅附近發生火警，他的房間也開始充滿煙塵。他不顧一切，抓了水桶就跑出去，加入鄰居們的救火行列。鄰居們看到他沒把原稿帶出來，就提醒他說：「布拉姆斯，你的原稿！」「趕快趁現在來得及帶出來吧！」但是他不聽人勸，說他不要緊，繼續救火。他不顧辛苦寫好的交響曲，覺得救鄰居要緊。
鄰居中有一人不忍看到他辛苦完成的作品付之一炬，冒險衝入火場把原稿救出來，否則世人搞不好就無緣聽到這首名曲了。1887年布拉姆斯以64歲去世時，他的故鄉漢堡的市民都舉半旗哀悼，可見他雖失去一些朋友，還是有一大群人挺他，他決不孤獨。
此曲共有4個樂章：
第1樂章 不太快的快板（Allegro non troppo）
e小調，2/2拍子，奏鳴曲式。沒有序奏，一開始，小提琴夾著休止符，斷斷續續奏出第1主題。這主題由下降3度，然後上升6度的連續動機形成。其實，這主題是組合小3度音程的基本小動機而成者。在這裡，既不讓管弦樂轟出強烈聲音，也不讓某個聲部以獨奏出線，普普通通的開始，其中充滿溫柔與哀嘆的表情。接在管樂器含有3連音符的很有節奏感樂句之後，大提琴與法國號以b小調唱出悠然的旋律。有人解釋第2主題從這裡開始，但這也可以看做是過門樂句。木管與弦樂器像解除緊張似的對談之後，木管在B大調上奏出也使用3連音符的圓滑的第2主題。小結尾也是高唱3連音符動機。這段主題呈示部，是四首交響曲當中唯一沒有指定要反復的。開展部主要處理第1主題與3連音符動機。再現部大致依照固定樣式進行，反復小結尾的3連音符動機而逐漸高潮，進入結尾部。在這裡以卡農風格奏出第1主題，在悲痛裡結束第1樂章。其終止形式採用由下屬音進入主音的變格終止。
構成第1主題的基本動機在這樂章中到處出現，並驅使開展動機的技法。
（Carlos Kleiber/the Bavarian State Orchestra）
http://www.youtube.com/watch?v=yCaaPaQx5zg （第1樂章第1部分）
http://www.youtube.com/watch?v=MQ9myj8a2QE （第1樂章第2部分）
第2樂章 中庸的行板（Andante Moderato）
E大調，6/8拍子，缺少開展部的奏鳴曲式。開頭4小節，由法國號與木管提出的動機，就是以E音為中心的弗里吉亞調式。弗里吉亞調式不像通常的音階從Do開始，而是從Mi開始。這是在中世紀，還不會作和聲時代的教會調式。弦樂器以撥奏刻出節奏，單簧管在開頭動機加上和弦奏出帶有哀愁的第1主題。這也給聽眾一些古老的印象。這旋律被帶有3連音符的節奏打斷幾次，音樂高潮後安靜下來。之後，大提琴在B大調上奏出記明要「溫柔的（dolce）」第2主題。這是一段單純的旋律，但到後半表情記號變為「富有表情的（espressivo）」，弦樂器各部以對位法纏繞在一起，非常熱情美麗。再現部較有變化，第2主題的再現，由弦樂8部（第1、第2小提琴與中提琴會分割）合奏。最後，使用弗里吉亞調式的法國號主題回來結束這樂章。
（Carlos Kleiber/the Bavarian State Orchestra）
http://www.youtube.com/watch?v=hvsM_EMwj8M （第2樂章第1部分）
http://www.youtube.com/watch?v=MYKvyXJ-cY4 （第2樂章第2部分）
第3樂章 詼諧的快板（Allgro Giocoso）
C大調，2/4拍子，奏鳴曲式。相當於通常交響曲的3拍子詼諧曲樂章，但這裡採用2拍子，而且又使用奏鳴曲式。前3首交響曲的第3樂章安排比較平穩的間奏曲風格音樂，直到第4號，布拉姆斯才使用較有詼諧曲風格的音樂。樂器編制也加進倍低音管與三角鐵，增加音樂色彩。曲趣也比較明朗，不帶其他樂章的哀愁。開頭出現的第1主題很豪邁。一連串動機一個個出現，聽來有點匆忙而充滿野趣。第2主題由小提琴提出，旋律優美。開展部主要處理第1主題，多用三角鐵。法國號以降D大調變奏這主題，稍微回穩後，第1主題忽然從半途重現，並進入再現部。在尾聲部，定音鼓擂打，各樂器交互奏出第1主題的動機，最後達到最高潮。
一般交響曲通常使用兩台定音鼓，布拉姆斯在這裡使用三台。
（Carlos Kleiber/the Bavarian State Orchestra）
http://www.youtube.com/watch?v=Trr_9rXaI1U （第3樂章）
第4樂章 有力而熱情的快板（Allegro energico e passionato ）
e小調，3/4拍子。如上所述，這樂章主題取自巴赫清唱劇第150號的第7曲夏康舞曲（Ciaccona）。這種舞曲又稱帕薩喀牙舞曲（Passacaglia），是在低音部反復演奏3拍子系緩慢的固定旋律，在上聲部演奏自由變化的和聲與旋律。這是巴洛克形式的一種變奏曲。夏康舞曲與帕薩喀牙舞曲雖然無法做明確區別，但好像不完全一樣。有人說，低音不變化，但和聲會變化的叫帕薩喀牙舞曲，和聲也不會變化的叫夏康舞曲。依此說法，此樂章應該是帕薩喀牙舞曲。不過巴赫清唱劇第150號則做夏康舞曲。
夏康主題有8小節，從主音出發，上昇6個音而達屬音，下降8度回到主音，這8個音符就形成這樂章的主題。值得注意的是這首夏康舞曲異於平常，旋律主題不在低音，而放在高音域。而且放棄調性的首尾一貫性，從a小調開始，結束於e小調。
全體樂章由主題、30段變奏與尾聲部形成。加進長號的全體管樂器奏出8小節主題，弦樂器的撥奏馬上接下去（這裡就已開始第1變奏曲）。之後就轉為低音弦的旋律，然後接到變化多端的變奏。經過長笛很長的獨奏（第12變奏曲）、長號的聖詠（第14變奏曲）、管樂器的聖詠（第15變奏曲），一瞬間回到開頭主題（第16變奏曲）。速度逐漸加快，進入尾聲部而達到高潮，最後結束在熱情的e小調和弦上。
有人把尾聲部視為第31變奏曲，也有人把整個樂章，視為採用奏鳴曲式。認為第1變奏曲到第15變奏曲為主題呈示部；第16~23變奏曲為開展部；第24~30變奏曲為再現部，再現第1~3變奏曲，最後兩個變奏曲以連續下降3度音程暗示第1樂章第1主題。主題呈示部中第1~9變奏曲相當於第1主題，第10~11變奏曲為過門句，第12~15變奏曲相當於第2主題。
（Carlos Kleiber/the Bavarian State Orchestra）
http://www.youtube.com/watch?v=WZGWB93-mmI （第4樂章.）
