機(jī)器學(xué)習(xí)：幾種分類識(shí)別問題
分類和識(shí)別是機(jī)器學(xué)習(xí)領(lǐng)域非常常見的一類問題，比如之前非常火熱的 ImageNet 挑戰(zhàn)賽，還有人臉識(shí)別，人臉表情識(shí)別等，接觸機(jī)器學(xué)習(xí)的一般來說，都是從識(shí)別開始，因?yàn)樽R(shí)別比較簡(jiǎn)單直觀，而且大家都對(duì)目前識(shí)別領(lǐng)域比較常見的幾個(gè)數(shù)據(jù)集比如 MNIST, CIFAR-10, CIFAR-100 還有 ImageNet 等都比較熟悉了，這些都是為了解決分類識(shí)別問題而設(shè)計(jì)的數(shù)據(jù)集。
隨著深度學(xué)習(xí)的蓬勃發(fā)展，在分類識(shí)別領(lǐng)域，又分化出來很多不同的方式，雖然這些概念在深度學(xué)習(xí)出來之前，就已經(jīng)有了，但是有了深度神經(jīng)網(wǎng)絡(luò)結(jié)合大數(shù)據(jù)，以前的這些概念又被重新翻出來，不管是新瓶裝舊酒，還是煥發(fā)了第二春，反正這些概念最近又開始被吵的火熱了，什么 few-shot learning, zero-shot learning, incremental-learning，meta-learning 之類的又開始受到了越來越多的關(guān)注。雖然這些概念不僅僅用于分類識(shí)別，不過用分類識(shí)別問題來解釋這些概念簡(jiǎn)單直白。
一般來說，給定一個(gè)數(shù)據(jù)集 X={xi}Ni=1 \mathcal{X}=\{ \mathbf{x}_i \}_{i=1}^{N}X={x
i
?
}
i=1
N
?
，這個(gè)數(shù)據(jù)集屬于 K KK類，假設(shè)標(biāo)簽空間為Y={yj}Nj=1 \mathcal{Y}=\{ \mathbf{y}_j \}_{j=1}^{N}Y={y
j
?
}
j=1
N
?
，x \mathbf{x}x 一般表示為圖像，比如手寫數(shù)字的MNIST數(shù)據(jù)集，一張圖就是一個(gè)數(shù)字比如 0, 1, 2, 3, 4 等等，或者ImageNet 的圖像，一張圖表示某一個(gè)物體，比如貓啊， 狗啊什么的，y \mathbf{y}y 表示一個(gè)標(biāo)簽，就是我們常說的 one-hot 向量，比如 MNIST 的標(biāo)簽是 10 維的向量，ImageNet 的標(biāo)簽是 1000 維的向量， 只有一個(gè)位置是1，其他位置都是0，每個(gè)類的標(biāo)簽按列拼在一起，就可以組成一個(gè)標(biāo)準(zhǔn)的單位矩陣。分類問題，簡(jiǎn)單來說，就是把屬于同一類的圖像聚到一起，都是手寫數(shù)字 0 的圖像，應(yīng)該都?xì)w為一類，都是手寫數(shù)字 2 的圖像，應(yīng)該歸為另外一類，不能把手寫數(shù)字 8 的圖像，歸到 0 這一類，所以分類問題，簡(jiǎn)單來說，就是物以類聚。
從數(shù)學(xué)的角度上來說，分類識(shí)別就是圖像到標(biāo)簽的一個(gè)映射過程 :
X?Y \mathcal{X} \Rightarrow \mathcal{Y}
X?Y
說了這么多，我們把什么是分類識(shí)別問題解釋了，現(xiàn)在來看看，經(jīng)過這么多年的發(fā)展，學(xué)術(shù)界把分類識(shí)別問題又做了不同的劃分，根據(jù)不同的設(shè)定，著手解決不同的問題，歸納起來，主要有以下幾類：
有監(jiān)督學(xué)習(xí)(supervised learning)
無(wú)監(jiān)督學(xué)習(xí)(unsupervised learning)
半監(jiān)督學(xué)習(xí)(semi-supervised learning)
小樣本學(xué)習(xí)(few-shot learning)
零樣本學(xué)習(xí)(zero-shot learning)
增量學(xué)習(xí)(incremental learning)
元學(xué)習(xí)(meta-learning)
open question (classification in the real-world, open environment)
有監(jiān)督學(xué)習(xí)
有監(jiān)督學(xué)習(xí)，應(yīng)該是最常見，發(fā)展最成熟的一種分類識(shí)別問題了，所謂的有監(jiān)督，那就是類別的標(biāo)簽是已知的，目前學(xué)術(shù)界研究的大多數(shù)分類識(shí)別問題都屬于這一類，所以我們見到的數(shù)據(jù)集一般都是帶著標(biāo)簽的，這類問題，都是希望找到一個(gè)映射，圖像空間到類別空間的一個(gè)映射，借著類別標(biāo)簽的 “指引”，把同一類的圖像盡可能的映射到一塊，聚在一起，因?yàn)橛袠?biāo)簽的“指引”，所以這類問題，相對(duì)來說比較容易解決，特別是隨著深度神經(jīng)網(wǎng)絡(luò)與算力的發(fā)展，各大從前的榜單都在被不斷刷新，ImageNet 火了幾年之后，也不再舉辦了，估計(jì)這榜再刷下去也沒什么意思了，有監(jiān)督學(xué)習(xí)，發(fā)展到現(xiàn)在，越來越像在燒錢，比拼的是數(shù)據(jù)和計(jì)算資源。
無(wú)監(jiān)督學(xué)習(xí)
有監(jiān)督學(xué)習(xí)，正如上面說的，需要有標(biāo)簽做“指引”，所以需要很多有標(biāo)簽的數(shù)據(jù)，而且深度學(xué)習(xí)需要消耗大量的數(shù)據(jù)，有標(biāo)簽的數(shù)據(jù)越來越難獲取，需要消耗大量的人力與物力。所以，就有人想，能不能研究一種學(xué)習(xí)模式，可以不需要類別標(biāo)簽，也能讓模型學(xué)會(huì)分類，所以就發(fā)展出了所謂的無(wú)監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)，顧名思義，是不需要類別標(biāo)簽做“指引”的， 直接從數(shù)據(jù)圖像中尋找每一類內(nèi)在的聯(lián)系，把同一類圖像的特征耦合在一起，不過，到目前為止，這類無(wú)監(jiān)督學(xué)習(xí)的效果一直不太理想，沒有標(biāo)簽的指引，模型好像很難學(xué)好。
半監(jiān)督學(xué)習(xí)
介紹了有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，接下來介紹半監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)結(jié)合了有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，既不需要有監(jiān)督學(xué)習(xí)那么多的有標(biāo)簽數(shù)據(jù)，不過與無(wú)監(jiān)督學(xué)習(xí)相比，又多了一些標(biāo)簽數(shù)據(jù)做 “指引”，所以基本上一種把有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)混合在一起學(xué)習(xí)的一種模式。
小樣本學(xué)習(xí) (Few-shot learning)
小樣本學(xué)習(xí)，在深度學(xué)習(xí)火熱起來之前，也有一些人研究，最近兩年，這個(gè)課題又開始受到越來越多的關(guān)注，小樣本學(xué)習(xí)，應(yīng)該還是屬于有監(jiān)督學(xué)習(xí)的一種，只是與常規(guī)的有監(jiān)督學(xué)習(xí)相比，每一類的有標(biāo)注的數(shù)據(jù)非常少，學(xué)術(shù)界經(jīng)常說的的 1-shot, 5-shot 等等，就是說每一類都只有一個(gè)或者五個(gè)有標(biāo)簽的樣本，這個(gè)課題的起源，是為了更好的研究模擬人的認(rèn)知能力，因?yàn)槿巳W(xué)習(xí)識(shí)別一個(gè)東西，是不需要去看那么多的有標(biāo)簽的數(shù)據(jù)的，不過，從目前學(xué)術(shù)界發(fā)表的研究成果來看，基本還是基于 metric-learning 或者 meta-learning 的方式，利用 遷移學(xué)習(xí)的概念，先在大量的有標(biāo)簽的數(shù)據(jù)上訓(xùn)練網(wǎng)絡(luò)，讓網(wǎng)絡(luò)學(xué)到一種有效的特征提取或者學(xué)到一套有效的模型參數(shù)，然后再在小樣本數(shù)據(jù)集上進(jìn)行訓(xùn)練。目前，這個(gè)方向發(fā)表出來的結(jié)果，在 Mini-Image Net 上的識(shí)別率還不是很高，還有進(jìn)一步的提升空間。
零樣本學(xué)習(xí) (Zero-shot learning)
零樣本學(xué)習(xí)，是比小樣本學(xué)習(xí)更進(jìn)一步，最近兩年也變得火熱起來了， 所謂零樣本，那就是完全不需要樣本的參考，而去推斷識(shí)別新的類別，這個(gè)研究目前還處于起步階段，用到的最多的方式，就是基于屬性的識(shí)別，可以把每個(gè)類別進(jìn)一步拆分成很多個(gè)不同屬性的組合，某些屬性的組合，可能就大概率的對(duì)應(yīng)某個(gè)類別，所以，雖然新的類別，沒有帶標(biāo)簽的樣本，但是，從之前的數(shù)據(jù)集上，可以讓模型先學(xué)習(xí)識(shí)別不同的屬性，碰到新樣本的時(shí)候，先識(shí)別出該樣本的屬性，然后再結(jié)合不同的屬性，進(jìn)而判斷出該樣本屬于什么類。
增量學(xué)習(xí) (Incremental learning)
這個(gè)也是目前比較火熱的一個(gè)研究方向，所謂增量學(xué)習(xí)，與之前見識(shí)的學(xué)習(xí)問題不太一樣，早期的分類識(shí)別，都假設(shè)類別是已知的，并且是固定的，也就是說，我們會(huì)先分好訓(xùn)練集，測(cè)試集，并且知道訓(xùn)練集與測(cè)試集的類別都是已知的，但是增量學(xué)習(xí)，提出了另外一種學(xué)習(xí)問題，在真實(shí)的環(huán)境中，數(shù)據(jù)肯定不是一次性就全部給定的，而是在逐漸增加的，逐漸增加的數(shù)據(jù)，有可能是新的類別，也有可能是原來的類別，這樣的話，就需要找到一種學(xué)習(xí)策略，讓模型能夠不斷的去適應(yīng)環(huán)境，增量學(xué)習(xí)最想解決的一個(gè)問題就是“參數(shù)遺忘”，我們知道，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候，都是盡可能地去擬合它所見到的數(shù)據(jù)，如果神經(jīng)在學(xué)習(xí)的過程中，只能見到當(dāng)前的數(shù)據(jù)，而以前的數(shù)據(jù)無(wú)法再見到的話， 那么之前學(xué)到的關(guān)于之前數(shù)據(jù)的性質(zhì)，都將被遺忘，這就有點(diǎn)像狗熊掰棒子一樣，只能顧到當(dāng)下，以前的全給忘了，增量學(xué)習(xí)就是想解決這個(gè)問題，讓模型隨著見到的數(shù)據(jù)越來越多，模型的識(shí)別能力可以逐步提升。
元學(xué)習(xí)(meta-learning)
meta-learning, 號(hào)稱，learning to learn，是目前比較火的一種學(xué)習(xí)策略，說通俗一點(diǎn)，就是希望讓模型自己學(xué)會(huì)怎么訓(xùn)練，類似 auto-ML 的一些東西，這個(gè)在 few-shot learning 領(lǐng)域，有些研究已經(jīng)結(jié)合了 meta-learning 的思想，去訓(xùn)練網(wǎng)絡(luò)。
Open question
最后，說一些題外話，現(xiàn)在學(xué)術(shù)界，考慮分類識(shí)別的時(shí)候，更多的時(shí)候還是在一種可控的環(huán)境下來做，比如 ImageNet 1000 類，聽起來似乎很多，但是與真實(shí)的環(huán)境相比，這 1000 類一點(diǎn)也不多，目前所有主流的測(cè)評(píng)，都是基于這 1000 類來進(jìn)行比較，而忽略了其他類，這就是我們所說的開放環(huán)境，學(xué)術(shù)界是不考慮開放環(huán)境的，因?yàn)殚_放環(huán)境太復(fù)雜，沒有辦法做，如果模型在一個(gè)封閉的環(huán)境下學(xué)習(xí)，只能認(rèn)識(shí)有限的類別，那這種模型永遠(yuǎn)沒有辦法在實(shí)際環(huán)境中工作。
所以，雖然現(xiàn)在 AI 引爆了一股股的熱潮，但是離通用的 AI 還很遙遠(yuǎn)，即使是在簡(jiǎn)單的分類識(shí)別問題上，學(xué)術(shù)界的AI 研究，很多時(shí)候，都是基于 100% 的已知可控，數(shù)據(jù)集被研究了無(wú)數(shù)遍，但是真實(shí)環(huán)境中，可能 90% 都是未知的，如何用 10% 的已知去應(yīng)對(duì) 90% 的未知，這可能是機(jī)器學(xué)習(xí)最大的難點(diǎn)。
————————————————
版權(quán)聲明：本文為CSDN博主「Matrix_11」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/matrix_space/article/details/83713632 |
閩公網(wǎng)安備 35020602000072號(hào)
收藏
贊
踩
樓主