mushding 的小小天地

2018 Google 提出 BERT，給 NLP 下了一個定心丸，同時也證明了無監督學習以及預訓練的潛力

但是在坐穩監督式學習的 CV 中，似乎不論如何無監督學習始終超越不了有監督式學習，但是收集資料以及標記資料所花的成本也偷偷在告訴我們無監督的強項

其實早在 2006 年，AI 大佬 LeCun 就曾提過類似的想法了，並且在日後還說出：self-supervised learning is the future of ai 這番很有野心的話，可見大家對於它的期望還是還高的

隨著時間的進展，無監督式學習被 NLP 玩得走火入魔，也慢慢誕生出了新名詞：Self-supervised Learning 自監督學習，這個詞是 LeCun 自己這麼叫的，目的是為了和無監督式學有個區分，但本質上又有哪一點點類似

後來有了 Contrastive Learning、以及 MoCo SimCLR 的提出，應用在 CV 上的自監督學習似乎也在慢慢成長起來…

keywords: Self-supervised Learning、Contrastive Learning

DeepMind 在 2021 年 2 月提出一篇以 CNN based 的 NFNet，旨在把深度學習中已經使用已久的 Batch Normalization 去掉，希望能藉此建構出 Normalize-Free 的網路架構 (正是 NFNet 的名稱由來)

並提出代替 BN 的 AGC (自適應梯度修剪 Adaptive Gradient Clipping)，在調整梯度大小上有著不錯的效果

在手動選用 SE+ResNeXt 網路下，並加上 AGC 的加持，NFNet 成功達到了當前的 SOTA

https://arxiv.org/pdf/2102.06171.pdf

keywords: NFNet、AGC

2021 10 月 Apple 基於 Transformer 提出 MobileViT 架構，其主要目的是把 Transformer 輕量化，以達到能在移動設備上部署。

本篇最主要的方法為結合 MobileNet 與 Transformer，得到效果好、效率也不錯的架構

https://arxiv.org/abs/2110.02178

keywords: MobileViT

時間來到 2017 ~ 2019 年，在這期間 Google 依序提出基於「輕量化」的神經網路 MobileNet v1~v3，在相同效果的條件下，運算量少了非常之多。而 2019 年 EfficientNet 則繼承了這項重責大任，把 NAS 應用在 MobileNet 上，找出最佳的排列組合。結果是非常驚人的，在效率及效果均刷新 SOTA 好幾個百分點，並為 CNN 的發展打下了非常牢固的基礎。

keywords: EfficientNet、NAS、MobileNet

在深度學習發展的今天，要設計一個網路要一件非常簡單的事情，但是要設計出「符合硬體需求」的網路非常困難，要怎麼在硬體的限制下求得最佳效能的網路呢？我們可以加深網路深度、加寬網路…等等技巧，但要怎麼在效能與效果間取一個最佳平衡？於是 NAS 誕生了。NAS 旨在透過一個「非人工」「自動化」的方法去尋找最佳的網路組合。

keywords: NAS、NASNet

在 2021 年 3 月提出 Swin Transformer 後，4 月澳洲 Adelaide 大學提出 Twins-PCPVT 以及 Twins-SVT 兩個新架構來改進 Swin Transformer Backbone 上的一些問題。

本篇論文比較像一個工程報告書，比較 PVT、Swin 以及作者提出的 Twins 之間的優缺點

https://arxiv.org/abs/2104.13840

keywords: Twins-PCPVT、Twins-SVT

論文網址：https://arxiv.org/pdf/2111.09883.pdf

Swin 原班人馬在 2021 11 月提出 Swin Transformer 的改良版 Swin Transformer V2。主要是優化 Swin 在 scale up 大參數模型上的能力

改進了 Swin 架構中的三個小地方：

• post normalization：在 self-attention layer 和 MLP block 後做 layer normalization
• scaled cosine attention approach：使用 cosine 相似度來計算 token pair 之間的關系
• log-spaced continuous position bias：設計全新的相對位置編碼

keywords: Swin v2

vscode 的 remote ssh 真的超好用的，但是就是有時候連線進去會有下面的問題：

keywords: remote ssh、vscode

Docker 真是個好東西，網路前後端開發，實驗室電腦環境配置，都變得超好管理的

keywords: Docker

實驗室電腦 CUDA 版本各種跑掉，花了一個禮拜的時間，才上網找出下面的心得…

keywords: nvidia driver、docker