我們都知道卷積的重要性，但你知道深度學習領域的卷積究竟是什麼，又有多少種類嗎？ 研究學者 Kunlun Bai 近日發佈一篇介紹深度學習的捲積文章，用淺顯易懂的方式介紹了深度學習領域的各種捲積及其優勢。 鑒於原文過長，機器之心選擇其中部分內容進行介紹，2、4、5、9、11、12 節請參閱原文。tadarise tadarise-5 tadarise5mg tadarise20mg Supertadarise
如果你聽說過深度學習中不同種類的捲積（比如 2D / 3D / 1x1 /轉置/擴張（Atrous）/空間可分/深度可分/平展/分組/混洗分組卷積），並且搞不清楚它們究竟是什麼意思，那麼這篇文章就是為你寫的，能幫你理解它們實際的工作方式。
在這篇文章中，我會歸納總結深度學習中常用的幾種捲積，並會試圖用一種每個人都能理解的方式解釋它們。 除了本文之外，還有一些關於這一主題的好文章，請參看原文。
希望本文能説明你構建起對卷積的直觀認知，並成為你研究或學習的有用參考。
本文目錄
1.卷積與互相關
2.深度學習中的捲積（單通道版本，多通道版本）
3.3D 卷積
4.1×1 卷積
5.卷積算術
6.轉置卷積（去卷積、棋盤效應）
7.擴張卷積
8.可分卷積（空間可分卷積，深度可分卷積）
9.平展卷積
10.分組捲積
11.混洗分組捲積
12.逐點分組卷積
在信號處理、圖像處理和其它工程/科學領域，卷積都是一種使用廣泛的技術。 在深度學習領域，捲積神經網路（CNN）這種模型架構就得名於這種技術。 但是，深度學習領域的捲積本質上是信號/圖像處理領域內的互相關（cross-correlation）。 這兩種操作之間存在細微的差別。
無需太過深入細節，我們就能看到這個差別。 在信號/圖像處理領域，卷積的定義是：
其定義是兩個函數中一個函數經過反轉和位移后再相乘得到的積的積分。 下面的可視化展示了這一思想：
信號處理中的捲積。 過濾器 g 經過反轉，然後再沿水平軸滑動。 在每一個位置，我們都計算 f 和反轉後的 g 之間相交區域的面積。 這個相交區域的面積就是特定位置出的卷積值。
這裡，函數 g 是篩檢程式。 它被反轉後再沿水平軸滑動。 在每一個位置，我們都計算 f 和反轉後的 g 之間相交區域的面積。 這個相交區域的面積就是特定位置出的卷積值。
另一方面，互相關是兩個函數之間的滑動點積或滑動內積。 互相關中的篩檢程式不經過反轉，而是直接滑過函數 f。 f 與 g 之間的交叉區域即是互相關。 下圖展示了卷積與互相關之間的差異
在深度學習中，捲積中的過濾器不經過反轉。 嚴格來說，這是互相關。 我們本質上是執行逐元素乘法和加法。 但在深度學習中，直接將其稱之為卷積更加方便。 這沒什麼問題，因為篩檢程式的權重是在訓練階段學習到的。 如果上面例子中的反轉函數 g 是正確的函數，那麼經過訓練后，學習得到的篩檢程式看起來就會像是反轉后的函數 g。 因此，在訓練之前，沒必要像在真正的捲積中那樣首先反轉篩檢程式。
在上一節的解釋中，我們看到我們實際上是對一個 3D 體積執行卷積。 但通常而言，我們仍在深度學習中稱之為 2D 卷積。 這是在 3D 體積數據上的 2D 卷積。 過濾器深度與輸入層深度一樣。 這個 3D 過濾器僅沿兩個方向移動（圖像的高和寬）。 這種操作的輸出是一張 2D 圖像（僅有一個通道）。
很自然，3D 卷積確實存在。 這是 2D 卷積的泛化。 下面就是 3D 卷積，其篩檢程式深度小於輸入層深度（核大小<通道大小）。 因此，3D 過濾器可以在所有三個方向（圖像的高度、寬度、通道）上移動。 在每個位置，逐元素的乘法和加法都會提供一個數值。 因為篩檢程式是滑過一個 3D 空間，所以輸出數值也按 3D 空間排布。 也就是說輸出是一個 3D 數據。
在 3D 卷積中，3D 過濾器可以在所有三個方向（圖像的高度、寬度、通道）上移動。 在每個位置，逐元素的乘法和加法都會提供一個數值。 因為篩檢程式是滑過一個 3D 空間，所以輸出數值也按 3D 空間排布。 也就是說輸出是一個 3D 數據。
與 2D 卷積（編碼了 2D 域中目標的空間關係）類似，3D 卷積可以描述 3D 空間中目標的空間關係。 對某些應用（比如生物醫學影像中的 3D 分割/重構）而言，這樣的 3D 關係很重要，比如在 CT 和 MRI 中，血管之類的目標會在 3D 空間中蜿蜒曲折
對於很多網路架構的很多應用而言，我們往往需要進行與普通卷積方向相反的轉換，即我們希望執行上採樣。 例子包括生成高解析度圖像以及將低維特徵圖映射到高維空間，比如在自動編碼器或形義分割中。 （在後者的例子中，形義分割首先會提取編碼器中的特徵圖，然後在解碼器中恢復原來的圖像大小，使其可以分類原始圖像中的每個圖元。 ）
實現上採樣的傳統方法是應用插值方案或人工創建規則。 而神經網路等現代架構則傾向於讓網路自己自動學習合適的變換，無需人類干預。 為了做到這一點，我們可以使用轉置卷積。超級犀利士 超級犀利士藥局 超級犀利士香港 超級犀利士副作用 超級犀利士真偽
超級犀利士哪裡買ptt 雙效超級犀利士
轉置卷積在文獻中也被稱為去卷積或fractionally strided convolution。 但是，需要指出「去卷積（deconvolution）」這個名稱並不是很合適，因為轉置卷積並非信號/圖像處理領域定義的那種真正的去卷積。 從技術上講，信號處理中的去卷積是卷積運算的逆運算。 但這裡卻不是這種運算。 因此，某些作者強烈反對將轉置卷積稱為去卷積。 人們稱之為去卷積主要是因為這樣說很簡單。 後面我們會介紹為什麼將這種運算稱為轉置卷積更自然且更合適。
我們一直都可以使用直接的捲積實現轉置卷積。 對於下圖的例子，我們在一個 2×2 的輸入（周圍加了 2×2 的單位步長的零填充）上應用一個 3×3 核的轉置卷積。 上採樣輸出的大小是 4×4。
文章定位：
