數(shù)據(jù)科學(xué)初學(xué)者指南：10個(gè)基本概念

數(shù)據(jù)科學(xué)是各種工具、算法和機(jī)器學(xué)習(xí)原理的結(jié)合，用于發(fā)現(xiàn)原始數(shù)據(jù)中隱藏的模式。它與統(tǒng)計(jì)學(xué)的不同之處在于，數(shù)據(jù)科學(xué)家使用各種先進(jìn)的機(jī)器學(xué)習(xí)算法來識(shí)別未來特定事件的發(fā)生。數(shù)據(jù)科學(xué)家從多個(gè)角度分析數(shù)據(jù)，有時(shí)甚至從以前未知的角度分析數(shù)據(jù)。

1.數(shù)據(jù)可視化

數(shù)據(jù)可視化是數(shù)據(jù)科學(xué)中最重要的學(xué)科之一。它是用于分析和研究不同變量之間關(guān)系的主要工具之一。在描述性分析中，散點(diǎn)圖、折線圖、條形圖、直方圖、qq 圖、平滑密度圖、箱形圖、配對(duì)圖、熱圖等數(shù)據(jù)可視化工具可用于描述性分析。數(shù)據(jù)可視化還可用于機(jī)器學(xué)習(xí)中的數(shù)據(jù)預(yù)處理和分析、特征選擇、模型構(gòu)建、模型測(cè)試和評(píng)估。

2.異常值

離群值是指與其他數(shù)據(jù)集截然不同的數(shù)據(jù)點(diǎn)。離群值通常只是由于傳感器故障、實(shí)驗(yàn)污染或記錄數(shù)據(jù)時(shí)的人為錯(cuò)誤造成的不良數(shù)據(jù)。有時(shí)，異常值可能預(yù)示著一些真實(shí)的情況，如系統(tǒng)故障。異常值在大型數(shù)據(jù)集中非常常見，也是意料之中的。識(shí)別數(shù)據(jù)集中異常值的常用方法是使用上下文圖。

3.數(shù)據(jù)計(jì)算

大多數(shù)數(shù)據(jù)集都包含缺失值。處理缺失數(shù)據(jù)最簡(jiǎn)單的方法就是放棄一個(gè)數(shù)據(jù)點(diǎn)。為此，可以使用各種插值技術(shù)，從數(shù)據(jù)集的其他訓(xùn)練樣本中估算出缺失值。最常見的插值技術(shù)之一是平均法，即用整列特征的平均值代替缺失值。

4.數(shù)據(jù)縮放

數(shù)據(jù)縮放有助于提高數(shù)據(jù)模型的質(zhì)量和預(yù)測(cè)能力。數(shù)據(jù)縮放可通過將輸入和輸出變量歸一化或標(biāo)準(zhǔn)化為真實(shí)值來實(shí)現(xiàn)。數(shù)據(jù)縮放有兩種類型，如歸一化和標(biāo)準(zhǔn)化。

5.主成分分析

擁有成百上千個(gè)屬性的大型數(shù)據(jù)集往往是冗余的，尤其是在屬性之間相互關(guān)聯(lián)的情況下。在屬性過多的高維數(shù)據(jù)集上訓(xùn)練模型有時(shí)會(huì)導(dǎo)致過度擬合。主成分分析 (PCA) 是一種用于提取特征的統(tǒng)計(jì)方法。PCA 適用于相關(guān)的高維數(shù)據(jù)。PCA 的主要思想是將原始特征空間轉(zhuǎn)換為主成分空間。

6.線性判別分析

線性判別分析的目標(biāo)是找到一個(gè)特征子空間，以優(yōu)化類別的可分離性并最小化維度。因此，線性判別分析是一種監(jiān)督算法。

7.數(shù)據(jù)分割

在機(jī)器學(xué)習(xí)中，數(shù)據(jù)集通常分為訓(xùn)練集和測(cè)試集。模型在訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后在測(cè)試數(shù)據(jù)集上進(jìn)行測(cè)試。測(cè)試數(shù)據(jù)集是一個(gè)未見過的數(shù)據(jù)集，可用來估算泛化誤差(即模型實(shí)施后，將模型應(yīng)用到真實(shí)數(shù)據(jù)集時(shí)的預(yù)期誤差)。

8.監(jiān)督學(xué)習(xí)

通過檢查特征變量與已知目標(biāo)變量之間的關(guān)系來執(zhí)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法。監(jiān)督學(xué)習(xí)有兩個(gè)子類別：連續(xù)目標(biāo)變量和離散目標(biāo)變量。

9.無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)處理無標(biāo)簽數(shù)據(jù)或結(jié)構(gòu)未知的數(shù)據(jù)。無監(jiān)督學(xué)習(xí)技術(shù)允許在沒有已知結(jié)果變量或獎(jiǎng)勵(lì)函數(shù)的情況下，利用數(shù)據(jù)結(jié)構(gòu)提取有意義的信息。K 均值聚類就是無監(jiān)督學(xué)習(xí)算法的一個(gè)例子。

10.強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)的目標(biāo)是創(chuàng)建能在與環(huán)境互動(dòng)的基礎(chǔ)上提高性能的系統(tǒng)(代理)。由于有關(guān)環(huán)境當(dāng)前狀態(tài)的信息通常包括獎(jiǎng)勵(lì)信號(hào)，因此強(qiáng)化學(xué)習(xí)可定義為與監(jiān)督學(xué)習(xí)相關(guān)的領(lǐng)域。

培訓(xùn)啦專業(yè)課程預(yù)習(xí)，3500+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語詳細(xì)講解課程中的考點(diǎn)、難點(diǎn)問題，并提供多方位的課前預(yù)習(xí)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。