二階差分方程定義_二階差分形式

　　把一些相關(guān)的知識(shí)點(diǎn)總結(jié)一下。這個(gè)比長二階差分方程定義，感興趣的挑自己相關(guān)的那部分看。

　　都是一些基礎(chǔ)知識(shí)，面相關(guān)崗位問到的比較多。

　　（回答時(shí)對(duì)算法要有一定的見解，最好不要照書上的背）

　?。ㄒ唬?機(jī)器學(xué)習(xí)方面

　　SVM

　　1、 支撐平面---和支持向量相交的平面二階差分方程定義；；；分割平面---支撐平面中間的平面（最優(yōu)分類平面）

　　2、 SVM不是定義損失，而是定義支持向量之間的距離à目標(biāo)函數(shù)看PPT13~17頁

　　3、 正則化參數(shù)對(duì)支持向量數(shù)的影響

　　LR

　　1、 LR的形式：h(x)=g(f(x))；其中x為原始數(shù)據(jù)；f（x）為線性/非線性回歸得到的值，也叫判定邊界；g（）為Sigmoid函數(shù)，最終h(x)輸出范圍為（0,1）

　　LR對(duì)樣本分布敏感。

　　***LR和樸素貝葉斯（NB）的區(qū)別？

　　LR是loss最優(yōu)化求出的，NB是統(tǒng)計(jì)跳過loss最優(yōu)，直接得出權(quán)重

　　NB比LR多二階差分方程定義了一個(gè)條件獨(dú)立假設(shè)

　　一個(gè)是判別模型（LR），一個(gè)是生成模型（NB）

　　1、 判別模型和生成模型？？？

　　2、 機(jī)器學(xué)習(xí)中，LR和SVM有什么區(qū)別？à

　　兩者都可以處理非線性問題；LR和SVM最初都是針對(duì)二分類問題的。

　　SVM最大化間隔平面、LR極大似然估計(jì)；SVM只能輸出類別，不能給出分類概率

　　兩者loss function不同；LR的可解釋性更強(qiáng)；SVM自帶有約束的正則化

　　2、LR為什么用sigmoid函數(shù)，這個(gè)函數(shù)有什么優(yōu)點(diǎn)和缺點(diǎn)？為什么不用其他函數(shù)？（sigmoid是伯努利分布的指數(shù)族形式）

　　Logistic Regression 只能用于二分類,而sigmoid對(duì)于所有的輸入，得到的輸出接近0或1

　　Sigmoid存在的問題：梯度消失、其輸出不是關(guān)于原點(diǎn)中心對(duì)稱的（訓(xùn)練數(shù)據(jù)不關(guān)于原點(diǎn)對(duì)稱時(shí)，收斂速度非常慢à輸入中心對(duì)稱，得到的輸出中心對(duì)稱時(shí)，收斂速度會(huì)非?？欤?、計(jì)算耗時(shí)

　　Tanh激活函數(shù)存在的問題：梯 度消失、計(jì)算耗時(shí)，但是其輸出是中心對(duì)稱的

　　ReLU：其輸出不關(guān)于原點(diǎn)對(duì)稱；反向傳播時(shí)，輸入神經(jīng)元小于0時(shí)，會(huì)有梯度消失問題；當(dāng)x=0時(shí)，該點(diǎn)梯度不存在（未定義）；

　　ReLu失活（dead RELU）原因：權(quán)重初始化不當(dāng)、初始學(xué)習(xí)率設(shè)置的非常大

　　Maxout：根據(jù)設(shè)置的k值，相應(yīng)的增大了神經(jīng)元的參數(shù)個(gè)數(shù)

　　Xavier權(quán)重初始化方法：對(duì)每個(gè)神經(jīng)元的輸入開根號(hào)

　　3、 SVM原問題和對(duì)偶問題關(guān)系？

　　SVM對(duì)偶問題的獲得方法：將原問題的目標(biāo)函數(shù)L和約束條件構(gòu)造拉格朗日函數(shù)，再對(duì)L中原參數(shù)和lambda、miu分別求導(dǎo)，并且三種導(dǎo)數(shù)都等于0；再將等于0的三個(gè)導(dǎo)數(shù)帶入原目標(biāo)函數(shù)中，即可獲得對(duì)偶問題的目標(biāo)函數(shù)

　　關(guān)系：原問題的最大值相對(duì)于對(duì)偶問題的最小值

　　4、 KKT（Karysh-Kuhn-Tucker）條件有哪些，完整描述？

　　KKT條件是思考如何把約束優(yōu)化轉(zhuǎn)化為無約束優(yōu)化à進(jìn)而求約束條件的極值點(diǎn)

　　下面兩個(gè)思考題的答案都是在需要優(yōu)化的目標(biāo)為凸函數(shù)（凸優(yōu)化）的情況下。

　　問題一：當(dāng)一個(gè)優(yōu)化問題是凸優(yōu)化問題時(shí)，可以直接用KKT條件求解。

　　5、 凸優(yōu)化（可行域?yàn)榧s束條件組成的區(qū)域）

　　5、 SVM的過程？Boost算法？

　　6、 決策樹過擬合哪些方法，前后剪枝

　　決策樹對(duì)訓(xùn)練屬性有很好的分類能力；但對(duì)位置的測試數(shù)據(jù)未必有好的分類能力，泛化能力弱，即發(fā)生過擬合。

　　防止過擬合的方法：剪枝（把一些相關(guān)的屬性歸為一個(gè)大類，減少?zèng)Q策樹的分叉）；隨機(jī)森林

　　7、 L1正則為什么可以把系數(shù)壓縮成0，坐標(biāo)回歸的具體實(shí)現(xiàn)細(xì)節(jié)？

　　L1正則化可以實(shí)現(xiàn)稀疏（即截?cái)啵?，使?xùn)練得到的權(quán)重為0；

　　l1正則會(huì)產(chǎn)生稀疏解，即不相關(guān)的的特征對(duì)應(yīng)的權(quán)重為0，就相當(dāng)于降低了維度。但是l1的求解復(fù)雜度要高于l2,并且l1更為流行

　　正則化就是對(duì)loss進(jìn)行懲罰（加了正則化項(xiàng)之后，使loss不可能為0,lambda越大懲罰越大-->lambda較小時(shí)，約束小，可能仍存在過擬合；太大時(shí)，使loss值集中于正則化的值上）

　　正則化使用方法：L1/L2/L1+L2

　　8、 LR在特征較多時(shí)可以進(jìn)行怎樣的優(yōu)化？-->L1正則有特征選擇的作用

　　如果是離線的話，L1正則可以有稀疏解，batch大點(diǎn)應(yīng)該也有幫助，在線的解決思路有ftrl,rds,robots,還有阿里的mlr。當(dāng)然還可以用gbdt,fm,ffm做一些特性選擇和組合應(yīng)該也有效果。

　　9、 機(jī)器學(xué)習(xí)里面的聚類和分類模型有哪些？

　　分類：LR、SVM、KNN、決策樹、RandomForest、GBDT

　　回歸：non-Linear regression、SVR（支持向量回歸-->可用線性或高斯核（RBF））、隨機(jī)森林

　　聚類：Kmeans、層次聚類、GMM（高斯混合模型）、譜聚類

　　10、 聚類算法（可以作為監(jiān)督學(xué)習(xí)中稀疏特征的處理）：Kmeans、層次聚類、GMM（高斯混合模型）

　　聚類算法唯一用到的信息是樣本和樣本之間的相似度。

　　評(píng)判聚類效果準(zhǔn)則：高類間距，低類內(nèi)距；高類內(nèi)相似度，低類間相似度。

　　相似度與距離負(fù)相關(guān)。

　　圖像之間的距離的度量是對(duì)每個(gè)像素操作，最后獲得距離

　　Kmeans和GMM需要制定類別K

　　A、Kmeans算法：對(duì)于已有的未標(biāo)記的樣本，同時(shí)給定結(jié)果聚類的個(gè)數(shù)K；目標(biāo)是把比較接近的樣本歸為一類，總共得到k個(gè)cluster

　　Kmeans中初始k個(gè)中心點(diǎn)（Kmeans對(duì)中心點(diǎn)的選取比較敏感）的選取方法：a、隨機(jī)選取k個(gè)初始的樣本中心點(diǎn)(b、直接選取k個(gè)樣本點(diǎn))，然后計(jì)算每個(gè)樣本到k個(gè)選定的樣本中心點(diǎn)的距離；再比較待聚類樣本到初始樣本點(diǎn)的距離，將待聚類的樣本指定為距離較近的各個(gè)類別（離哪個(gè)近，就歸為哪一類）；最后重新計(jì)算聚類中心：；重復(fù)迭代。

　　Kmeans收斂狀態(tài):

　?。?）聚類中心不再變化（2）每個(gè)樣本到對(duì)應(yīng)聚類中心的距離之和不再有很大的變化

　　損失函數(shù)àloss function后面的||xn-uk||^2表示采用歐式距離作為距離度量：

　　Kmeans可以用于圖像分割；

　　Kmeans的缺點(diǎn)：對(duì)初始樣本點(diǎn)的選取敏感；對(duì)異常點(diǎn)（如：一個(gè)遠(yuǎn)離大多數(shù)點(diǎn)的孤立的點(diǎn)）的免疫不好；對(duì)團(tuán)狀數(shù)據(jù)點(diǎn)效果較好，對(duì)帶狀效果不好；

　　Kmeans與Kmeans++初始化的區(qū)別：Kmeans初始樣本點(diǎn)的選取是隨機(jī)選取的；Kmeans++是選取最遠(yuǎn)的k個(gè)點(diǎn)作為初始樣本點(diǎn)

　　A、 層次聚類

　　有兩種層次聚類--)bottom-up（從多個(gè)類聚成一個(gè)類-->每次都是合并最相似的兩個(gè)類）、up-bottom（一個(gè)類到多個(gè)類-->每次都剔除最不相似的類）；層次距離是一種樹狀結(jié)構(gòu)

　　Kmeans與層次聚類對(duì)比：

　　C、高斯混合模型à由單高斯模型線性加權(quán)組合

　　初始參數(shù)：樣本點(diǎn)屬于各個(gè)高斯函數(shù)的概率，以及每個(gè)高斯函數(shù)的均值和方差（參數(shù)都是隨機(jī)給定）

　　GMM求解過程àEM算法求解

　　E-step（由已知的均值和方差估算在該參數(shù)下的樣本點(diǎn)的分布）和M-step（由樣本點(diǎn)的分布再求均值和方差）是EM算法。

　　à這和EM求解的過程一樣

　　Kmeans是硬聚類（每個(gè)樣本只能屬于某一類）；而GMM對(duì)于每個(gè)樣本點(diǎn)，都有屬于每個(gè)類的概率。

　　GMM優(yōu)勢(shì)：多個(gè)分布的組合、速度快（EM算法求解）、最大數(shù)據(jù)似然概率

　　GMM劣勢(shì)：對(duì)初始化值敏感，容易陷入局部最優(yōu)、需指定k個(gè)高斯分布；對(duì)非凸分布數(shù)據(jù)集效果不好。

　　11、 kmeans的分類過程，用kmeans的數(shù)據(jù)有什么樣的分布（高斯分布），loss函數(shù)是啥？

　　見問題“9”

　　12、 邏輯斯特回歸和線性回歸的損失函數(shù)？

　　13、 正則化為什么能防止過擬合？(https://www.zhihu.com/question/20700829)

　　過擬合表現(xiàn)在訓(xùn)練數(shù)據(jù)上的誤差非常小，而在測試數(shù)據(jù)上誤差反而增大。其原因一般是模型過于復(fù)雜，過分得去擬合數(shù)據(jù)的噪聲. 正則化則是對(duì)模型參數(shù)添加先驗(yàn)，使得模型復(fù)雜度較小，對(duì)于噪聲的輸入擾動(dòng)相對(duì)較小。

正則化時(shí)，相當(dāng)于是給模型參數(shù)w 添加了一個(gè)協(xié)方差為1/lambda 的零均值高斯分布先驗(yàn)。對(duì)于lambda =0，也就是不添加正則化約束，則相當(dāng)于參數(shù)的高斯先驗(yàn)分布有著無窮大的協(xié)方差，那么這個(gè)先驗(yàn)約束則會(huì)非常弱，模型為了擬合所有的訓(xùn)練數(shù)據(jù)，w可以變得任意大不穩(wěn)定。lambda越大，表明先驗(yàn)的高斯協(xié)方差越小，模型約穩(wěn)定，相對(duì)的variance(方差)也越小。

　　10、關(guān)鍵詞

　　1、訓(xùn)練集測試集驗(yàn)證集劃分方式

　　https://www.zhihu.com/question/26588665/answer/33490049

　　2、TPR（Recall）、FPR、ROC 、AUC(與準(zhǔn)確率和召回率有關(guān))

　　https://blog.csdn.net/feiyang2010jin/article/details/50547365

　　3、坐標(biāo)軸下降法->用來解決loss function對(duì)參數(shù)不可導(dǎo)時(shí)（此時(shí)梯度下降算法不再有效），求取參數(shù)更新量的方法

　　坐標(biāo)軸下降法和梯度下降法具有同樣的思想，都是沿著某個(gè)方向不斷迭代，但是梯度下降法是沿著當(dāng)前點(diǎn)的負(fù)梯度方向進(jìn)行參數(shù)更新，而坐標(biāo)軸下降法是沿著坐標(biāo)軸的方向。

　　https://blog.csdn.net/ymmxz/article/details/69396222

　　lasso(Least absolute shrinkage and selection operator)

　　坐標(biāo)軸下降法和最小角回歸法（https://blog.csdn.net/bbbeoy/article/details/72523540）都是求解Lasso回歸的方法。

　　4、批量梯度下降算法BGD，小批量梯度下降法MBGD，隨機(jī)梯度下降算法SGD的比較

　　https://blog.csdn.net/yMMxz/article/details/69371926

　　5、學(xué)習(xí)率褪火 （衰減）-->沒學(xué)習(xí)多少次都會(huì)將學(xué)習(xí)率減少（lr/decay_rate）

　　6、多分類問題轉(zhuǎn)二分類方法-->組合多個(gè)二分類器來實(shí)現(xiàn)多分類器，方法如下：

　　a.一對(duì)多法（one-versus-rest,簡稱OVR SVMs）。訓(xùn)練時(shí)依次把某個(gè)類別的樣本歸為一類,其他剩余的樣本歸為另一類，這樣k個(gè)類別的樣本就構(gòu)造出了k個(gè)SVM。分類時(shí)將未知樣本分類為具有最大分類函數(shù)值的那類。

　　b.一對(duì)一法（one-versus-one,簡稱OVO SVMs或者pairwise）。其做法是在任意兩類樣本之間設(shè)計(jì)一個(gè)SVM，因此k個(gè)類別的樣本就需要設(shè)計(jì)k(k-1)/2個(gè)SVM。當(dāng)對(duì)一個(gè)未知樣本進(jìn)行分類時(shí)，最后得 票最多的類別即為該未知樣本的類別。

　　c.層次支持向量機(jī)（H-SVMs）。層次分類法首先將所有類別分成兩個(gè)子類，再將子類進(jìn)一步劃分成兩個(gè)次級(jí)子類，如此循環(huán)，直到得到一個(gè)單獨(dú)的類別為止。

　　說明：LR的多分類也可以用上面的方法。

　　https://blog.sina.com.cn/s/blog_4af0fab001010ybp.html

　　https://blog.sina.com.cn/s/blog_4c98b96001009b8d.html

　　1、 跳出局部極小值方法

　　-->優(yōu)化方法，如momentum updata、Adam等；調(diào)整學(xué)習(xí)率

　　4、顯著性檢驗(yàn)

　　5、線性回歸、廣義線性回歸

　　7、最小二乘誤差及其概率解釋

　　9、LDA（二類、多類）

　　11、類別不平衡解決方法：欠采樣、過采樣、閾值移動(dòng)

　　12、模型融合方法：bagging、隨機(jī)森林、ADABOOST、 Gradient Boosting Tree

　　前面兩種是綜合多個(gè)模型的結(jié)果；后面兩個(gè)是重復(fù)訓(xùn)練

　　Bagging-->模型融合（隨機(jī)森林也屬于模型融合）；有兩種方法(bagging對(duì)樸素貝葉斯沒什么用，因?yàn)镹B太穩(wěn)定，提升不大)

　　ADABOOST（boosting一類的算法）的步驟-->重復(fù)迭代和訓(xùn)練；每次分配給錯(cuò)的樣本更高的權(quán)重；最簡單的分類器（如：線性分類器的二分類）疊加

　　ADABOOST分類過程詳細(xì)解釋如下：先用一個(gè)簡單的分類器將樣本分成兩類；為分錯(cuò)的樣本分配更高的權(quán)重（初始權(quán)重設(shè)為1/N即可，N為樣本數(shù)）；重復(fù)上次兩個(gè)過程（再次分類，并為錯(cuò)誤的樣本設(shè)置更高的權(quán)重）；最后將所有樣本數(shù)據(jù)正確分類后，將各個(gè)分類器疊加。

　　Gradient Boosting Tree：和Adaboost的思路類似，解決回歸問題。

　　14、 決策樹、隨機(jī)森林、GBDT、XGBOOST

　　A、決策樹（有監(jiān)督學(xué)習(xí)）：

　　建立決策樹的關(guān)鍵，即在當(dāng)前狀態(tài)下選擇哪個(gè)屬性作為分類依據(jù)。根據(jù)不同的目標(biāo)函數(shù)，建立決策樹主要有一下三種方法：ID3、C4.5、CART

　　B、Bootstraping：不需要外界幫助，僅依靠自身力量讓自己變得更好。

　　C、隨機(jī)森林（bagging+決策樹）：

　　Bootstrap采樣：有放回的重復(fù)抽樣

　　D、Adaboost：

　　教程第11節(jié) 決策樹隨機(jī)森林……pdf –p37

　　E、 GBDT—梯度下降決策樹（有監(jiān)督學(xué)習(xí)）

　　15、 熵 信息增益（ID3算法）、信息增益率（C4.5算法）、基尼系數(shù)（CART）

　　教程第11節(jié) 決策樹隨機(jī)森林……pdf -p10

　　16、 投票機(jī)制

　　1）一票否決（一致表決）、2）少數(shù)服從多數(shù)、3）有效多數(shù)（加權(quán)）

　　16、數(shù)值優(yōu)化理論：梯度下降、牛頓、共軛梯度

　　牛頓法（dk為更新量）-->引入了二階偏導(dǎo)（Hessian矩陣）-->求解無約束優(yōu)化（迭代的初始值一般是隨機(jī)選取的）

　　缺點(diǎn)：不能保證Hessian矩陣（二階偏導(dǎo)組成的矩陣）一定可逆

　　17、SVM、SVR、軟間隔SVM、SMO

　　18、SVM核函數(shù)

　　核函數(shù)主要是將線性不可分的數(shù)據(jù)映射到高位空間再進(jìn)行分類

　　核函數(shù)的種類：

　　高斯核是用的最多的核函數(shù)à對(duì)訓(xùn)練數(shù)據(jù)分類效果最好

　　高斯核的缺點(diǎn)：容易過擬合，需要更多的樣本、泛化能力弱

　　19、距離方法：閔科夫斯基 、VDM、馬氏距離

　　20、K-means、KNN、LVQ、DBSCAN、譜聚類

　　21、降維方法：LDA、PCA、SVD

　　22、特征選擇方法：總體分為過濾型、包裹型、嵌入型（à基于模型的；如：正則化）

　　Relief、LVW、正則化（L1/L2）

　　特征選擇的原因：特征存在冗余（特征相關(guān)度太高）、摻雜了噪聲（特征對(duì)預(yù)測結(jié)果有負(fù)影響）

　　L1正則化是截?cái)嘈?yīng)（實(shí)現(xiàn)稀疏，把不相關(guān)的特征的系數(shù)變成0）；L2正則化是縮放效應(yīng)，使最后得到的參數(shù)很小

　　25、交叉熵？KL散度（也叫KL距離）？

　　25、最大熵模型、EM(Expectation Maximization)算法

　　最大熵模型的求解可以轉(zhuǎn)化為對(duì)偶問題的極大化；

　　26、特征-->數(shù)據(jù)中抽取出來的對(duì)結(jié)果預(yù)測有用的信息

　　特征工程-->使用專業(yè)背景知識(shí)和技巧處理數(shù)據(jù)，使得特征能在機(jī)器學(xué)習(xí)算法上發(fā)揮很好的作用的過程。

　　27、交叉驗(yàn)證

　　K折交叉驗(yàn)證（K-flod cross validation）

　　https://www.cnblogs.com/boat-lee/p/5503036.html

　　將訓(xùn)練集分成K份；依次將第i（i=k,…,1）折作為交叉驗(yàn)證集，其余k-1折（除第i折外）作為測試集；總共進(jìn)行k次，每進(jìn)行完一次訓(xùn)練，都用test data去測試，得到k個(gè)準(zhǔn)確率；最后取k個(gè)準(zhǔn)確率的均值作為最后結(jié)果。

　　28、過擬合和欠擬合

　　欠擬合（under fitting）：參數(shù)過少，不足以表達(dá)數(shù)據(jù)的特征

　　過擬合（over fitting）：參數(shù)過多，過渡擬合數(shù)據(jù)，泛化能力差（訓(xùn)練時(shí)的準(zhǔn)確率很好，但測試的時(shí)候就很差）

　　欠擬合解決方法：找更多的特征；減小正則化系數(shù)

　　（二）深度學(xué)習(xí)方面

　　1、MLP的BP過程？delta的意義？每一層節(jié)點(diǎn)的殘差？

　　2、max pool層怎么做的？

　　3、caffe架構(gòu)？caffe如何構(gòu)建網(wǎng)絡(luò)?

　　4、去卷積過程（轉(zhuǎn)置卷積）？https://blog.csdn.net/fate_fjh/article/details/52882134

　　5、單個(gè)神經(jīng)元是否線性可分（模式識(shí)別的概念，是否能用用線性函數(shù)將樣本分類）？

　　是否線性可分是對(duì)于樣本集的;線性可分是數(shù)據(jù)集合的性質(zhì)，和分類器沒啥關(guān)系。

　　可以通過線性函數(shù)分類的即為線性可分

　　6、深度學(xué)習(xí)模型的發(fā)展？深度學(xué)習(xí)的評(píng)價(jià)標(biāo)準(zhǔn)？

　　7、強(qiáng)化學(xué)習(xí)應(yīng)用場景和方法？adaboost和cascade adaboost？損失函數(shù)有哪些？分類回歸聚類的區(qū)別與聯(lián)系？目標(biāo)檢測的三種方法？

　　8、目標(biāo)檢測常用的網(wǎng)絡(luò),RCNN, SPP, Fast RCNN, Faster RCNN的區(qū)別？

　　9、隨機(jī)梯度下降，標(biāo)準(zhǔn)梯度？softmax公式？信息熵公式？

　　10、SVM和softmax的區(qū)別？

　　Svm具有附加穩(wěn)定性，當(dāng)樣例滿足邊界條件時(shí)，該樣例不會(huì)影響損失函數(shù)；而softmax將考慮所有的樣例

　　11、訓(xùn)練時(shí)，mini-batch與GPU的內(nèi)存匹配-->訓(xùn)練網(wǎng)絡(luò)時(shí)的mini batch是由GPU的內(nèi)存決定的。

　　12、正則化：正則化表現(xiàn)的是對(duì)高維度W的懲罰力度，當(dāng)正則化系數(shù)（lambda）很大時(shí)，使w變的非常小，最終的結(jié)果是函數(shù)變得非常平滑。正則化系數(shù)（lambda）越小，擬合程度越高，效果越好。

　　13、batch normalization中g(shù)amma和beta初始化為1和0，然后在訓(xùn)練中優(yōu)化他們

　　BN可以減少dropout（可以不要dropout）

　　14、當(dāng)訓(xùn)練到最后，loss值很大，但精度在上升？-->說明loss變化很小，需要增大學(xué)習(xí)率

　　梯度爆炸（loss發(fā)散，出現(xiàn)nan）-->學(xué)習(xí)率很大，需要減小學(xué)習(xí)率

　　15、如果loss開始一直不變，但是從某點(diǎn)開始下降的原因à因?yàn)槌跏贾颠x定的不好，錯(cuò)誤的初始值會(huì)讓梯度一開始接近0。

　　16、優(yōu)化策略的比較：

　　https://www.cnblogs.com/denny402/p/5074212.html

　　SGD-->Momentum updata-->Nesterov Momentum updata-->AdaGrad update--> RMSProp update-->Adam update

　　以上都是一階優(yōu)化方法，對(duì)于二階優(yōu)化方法(BFGS和L-BFGS)，二階優(yōu)化方法不需要學(xué)習(xí)率這個(gè)參數(shù)，可以直接對(duì)目標(biāo)進(jìn)行優(yōu)化。

　　SGD:根據(jù)梯度直接更新w

　　Momentum updata：不是通過計(jì)算得到的梯度直接更新w，而是增加一個(gè)變量V（定義為速度），改變了和梯度直接相關(guān)，再用V更新w

　　Nesterov Momentum updata:更新方式

　　AdaGrad update：每個(gè)參數(shù)自適應(yīng)學(xué)習(xí)速率的方法（因?yàn)閰?shù)空間的每一維都有自己的學(xué)習(xí)速率，它會(huì)根據(jù)梯度的規(guī)模的大小動(dòng)態(tài)變化）

　　長時(shí)間訓(xùn)練時(shí)，AdaGrad算法會(huì)發(fā)生什么？-->根據(jù)更新公式，不斷有正數(shù)加到cache中，更新步長會(huì)逐漸衰減到0，最后完全停止學(xué)習(xí)。

　　1e-7：平滑因子，防止除數(shù)變成0

　　RMSProp update:解決了AdaGrad中會(huì)停止更新的問題

　　Adam update:

　　adagrad記錄的是梯度的二階矩，并按指數(shù)和形式表示

　　Momentum的作用：穩(wěn)定梯度的方向

　　17、模型集成

　　先單獨(dú)訓(xùn)練多個(gè)不同的模型；在訓(xùn)練時(shí)，將每個(gè)模型的結(jié)果取平均值即可。-->可提升精度

　　缺點(diǎn)是必須單獨(dú)訓(xùn)練不同的模型

　　18、Cross entropy loss 和sigmod Cross entropy loss的區(qū)別？

　　https://blog.csdn.net/u012235274/article/details/51361290

　　看博文里寫的就沒啥區(qū)別

　　SmoothL1Loss

　　優(yōu)勢(shì)：smoothL1Loss在接近0的時(shí)候，看起來像二次函數(shù)

　　SoftMaxWithLoss

　　19、沒有隱藏層的神經(jīng)網(wǎng)絡(luò)是線性的，只能處理線性可分的問題（線性可分問題從二維角度看，即分界線是一條直線，多維就是存在線性超平面將其分類）。

　　20、卷積神經(jīng)網(wǎng)絡(luò)中，在沒有zero-padding的情況下,當(dāng)輸入為7*7,filter為3*3，stride為3是，這里的stride是不允許這樣設(shè)置的，因?yàn)檫@樣的話輸出就是2.333*2.333（不是整數(shù)），所以zero-padding避免了這種情況的發(fā)生

　　Zero-padding的另一種作者用，就是避免圖像在卷積神經(jīng)網(wǎng)絡(luò)中向前傳播時(shí)，圖像提取出來的特征越來越小，zero-padding可以保證圖像的尺寸。

　　21、定位和檢測的區(qū)別：

　　區(qū)別在于要找的目標(biāo)的數(shù)量；

　　對(duì)于定位，圖像中只有一個(gè)或一種對(duì)象，用框標(biāo)出對(duì)象的位置

　　對(duì)于檢測，圖像中有多個(gè)目標(biāo)或多種對(duì)象。

　　23、數(shù)據(jù)不足時(shí)：

　　數(shù)據(jù)增強(qiáng)、transfer learning（fine-tuning：根據(jù)數(shù)據(jù)集的大小，訓(xùn)練網(wǎng)絡(luò)的最后一層或者最后幾層）、修改網(wǎng)絡(luò)

　　Fine-tuning:固定網(wǎng)絡(luò)，即為學(xué)習(xí)率為0、需要訓(xùn)練的層的學(xué)習(xí)率比較高（原來訓(xùn)練好的網(wǎng)絡(luò)的學(xué)習(xí)率的十分之一）、當(dāng)預(yù)訓(xùn)練的層（中間層）需要改變時(shí)，學(xué)習(xí)率很?。ㄈ缭瓕W(xué)習(xí)率的一百分之一）

　　24、goolenet和resnet中用到的結(jié)構(gòu)（瓶頸結(jié)構(gòu) bottlenecks：輸入輸出相同）

　　1x1的卷積層相當(dāng)于全連接層-->遍歷所有像素

　　3x3的卷積可以替換成1x3和3x1的不對(duì)稱卷積（inception v3）-->減少參數(shù)

　　25、CNN中 卷積的實(shí)現(xiàn)

　　傅里葉變換可以用于大卷積核的運(yùn)算

　　im2col（主要的）：

　　caffe和torch不支持使用16位計(jì)算。

　　26、WindowDataLayer（窗口數(shù)據(jù)），用于檢測，可以讀取hdf5數(shù)據(jù)。

　　27、Caffe中的交叉驗(yàn)證？

　　定義兩個(gè)prototxt文件（訓(xùn)練階段和測試階段），train_val.prototxt和deploy.prototxt;后者用于測試集中，測試階段的train_val.prototxt用于驗(yàn)證。

　　28、其他框架？

　　Torch-->C和Lua語言寫的，Torch中主要的是Tensors類

　　TensorFlow-->pip安裝，TensorBoard為可視化工具 ，支持多GPU，支持分布式訓(xùn)練（多機(jī)），支持RNN

　　Theano、MxNet、

　　29、語義分割（Semantic Segmentation）和實(shí)例分割（Instance Segmentation）

　　語義分割-->操作像素，標(biāo)記每個(gè)像素所屬的標(biāo)簽à不關(guān)心具體的類，同一類目標(biāo)標(biāo)記為相同的像素

　　實(shí)例分割à 輸出類別同時(shí)標(biāo)記像素（同時(shí)檢測并分割）-->關(guān)心目標(biāo)的類，不同目標(biāo)標(biāo)記為不同的像素（同一類中的目標(biāo)也標(biāo)記為不同 的像素）

　　分割時(shí)使用全卷積網(wǎng)絡(luò)（以filter為1*1的卷積層替換fc層，操作每個(gè)像素）可以得到所有像素的標(biāo)簽，而不用先將圖像分成許多小塊，再通過卷積為塊 的中心像素分類（這樣就很耗時(shí)）

　　30、反卷積（卷積轉(zhuǎn)置）

　　31、Spatial Transformer Networks（空間變換網(wǎng)絡(luò)）

　　32、無監(jiān)督學(xué)習(xí)

　　聚類等、PCA(線性的)

　　自動(dòng)編碼器（Auto encoder）、Generative Adversarial Networks（GAN）

　?。ㄈ﹫D像方面

　　1、opencv遍歷像素的方式？

　　2、LBP原理？

　　3、HOG特征計(jì)算過程，還有介紹一個(gè)應(yīng)用HOG特征的應(yīng)用？

4、opencv里面mat有哪些構(gòu)造函數(shù)？

5、如何將buffer類型轉(zhuǎn)化為mat類型？

6、opencv如何讀取png格式的圖片？（我貌似記得opencv不能讀取png格式的圖片，好像每種格式圖片的表頭不一樣，需要轉(zhuǎn)化，給他說了半天他，他也沒明白）

7、opencv如何讀取內(nèi)存圖片？

8、opencv里面有哪些庫？

9、用過opencv里面哪些函數(shù)？（我順帶回答了一下canny，HR又問opencv里面有c-a-n-n-y有這幾個(gè)字母的函數(shù)嗎，尷尬。。。又問我如何自己寫canny邊緣檢測算法）

10、opencv里面為啥是bgr存儲(chǔ)圖片而不是人們常聽的rgb？

12、二階差分方程定義你說opencv里面的HOG+SVM效果很差？他就直接來了句為啥很差？差了就不改了？差了就要換其他方法？、

13、講講HOG特征？他在dpm里面怎么設(shè)計(jì)的，二階差分方程定義你改過嗎？HOG能檢測邊緣嗎？里面的核函數(shù)是啥？那hog檢測邊緣和canny有啥區(qū)別？

13、如何求一張圖片的均值？（考慮了溢出和分塊求解，貌似不滿意。。。回頭看看積分圖里面如何解決溢出的。）

14、如何寫程序?qū)D像放大縮??？（我回答的插值，不太對(duì)。。。比如放大兩倍可以插值，那放大1.1倍呢，）-->放大1.1倍也可以插值

15、如何遍歷一遍求一張圖片的方差？（回答的是采用積分圖，并讓我推導(dǎo)這樣為啥可行。這個(gè)問題以前幫同學(xué)解決過。。。）

　　（四）編程方面（C++/Python）

　　1、 全排列

　　2、 矩陣求最長連續(xù)遞增的路徑長度？à

　　329. Longest Increasing Path in a Matrix https://leetcode.com/problems/longest-increasing-path-in-a-matrix/discuss/

3、vector和list的區(qū)別？

4、c里面有哪些內(nèi)存申請(qǐng)方法？

5、虛函數(shù)和純虛函數(shù)的區(qū)別？

6、重載、覆蓋、重寫的區(qū)別？

7、用過C++11嗎？用過里面的哪些？

8、有哪些類型轉(zhuǎn)換函數(shù)？以及用在哪些場景？

9、用過GCC嗎？會(huì)linux嗎？

10、堆和棧的區(qū)別？

11、Python中定義類的私有變量？在變量前面加雙下劃線“__”，如：__x，則為私有變量

　　11、請(qǐng)描述指針數(shù)組和數(shù)組指針的區(qū)別

　　指針數(shù)組：array of pointers，即用于存儲(chǔ)指針的數(shù)組，也就是數(shù)組元素都是指針

　　數(shù)組指針：a pointer to an array，即指向數(shù)組的指針

　　還要注意的是他們用法的區(qū)別，下面舉例說明。

　　int* a[4] 指針數(shù)組

　　表示：數(shù)組a中的元素都為int型指針

　　元素表示：*a[i] *(a[i])是一樣的，因?yàn)閇]優(yōu)先級(jí)高于*

　　int (*a)[4] 數(shù)組指針

　　表示：指向數(shù)組a的指針 元素表示：(*a)[i]

（五）開放性問題

　　1、最后問面試官的問題

　?。?）我以后的面試要注意哪些問題，提點(diǎn)建議？或?yàn)榱烁玫貏偃芜@個(gè)崗位，我還需要補(bǔ)充哪些技能？ 入職后是否有產(chǎn)品培訓(xùn)和技能培訓(xùn)？

　?。?）當(dāng)感覺還可以時(shí)，就問公司培訓(xùn)制度，晉升機(jī)制，以及自己來了應(yīng)該做什么，當(dāng)感覺沒戲時(shí)，就問，你給我一些關(guān)于職業(yè)的建議吧，以及怎么提升自己

　　3、 HR面試（自己總結(jié)的）

　?。?） 期望薪資

　?。?） 你理想的工作是什么樣的？

　?。?） 關(guān)于你以后的工作打算，你有什么想法？

　?。?） 職業(yè)規(guī)劃

　?。?） 做項(xiàng)目時(shí)遇到的困難及解決方法？

　?。?）做科研辛苦嗎？

　?。?） 對(duì)公司的看法？為什么應(yīng)聘我們公司？

　?。?） 你在同齡人中處于什么檔次 和大牛的差距在哪？

　?。?） 你跟同齡人相比有什么優(yōu)勢(shì)?

　?。?） 你除了我們公司，還投了哪些公司？

　　說幾個(gè)

　　（10） BAT之外，你最最想去的是哪家公司，為什么？

　?。?1） 如果我們給你發(fā)offer，你還會(huì)繼續(xù)秋招么？

　?。?2） 【跨專業(yè)】本科+研究生在本專業(yè)學(xué)了多年，為什么沒在本行業(yè)求職？

　　（13） 【家離企業(yè)所在地較遠(yuǎn)】為什么想來xx地方工作，父母支持么？

　?。?4） 【對(duì)象】如果對(duì)象和你在意向工作地發(fā)生分歧，你怎么處理？

　　（15） 優(yōu)缺點(diǎn)？

　?。?6） 介紹你一次最失敗的一次經(jīng)歷？

　?。?7） 介紹你一次最成功的一次經(jīng)歷？

　?。?8） 這份工作你有想過會(huì)面對(duì)哪些困難嗎？

　?。?9） 如果你發(fā)現(xiàn)上司做錯(cuò)了，你將怎么辦？

　?。?9）你覺得大學(xué)生活使你收獲了什么?

　?。?0）你對(duì)加班的看法？

　?。?1）當(dāng)公司給出的待遇偏低不足以吸引到優(yōu)秀人才的時(shí)候，你該怎么去招聘？

　　這些知識(shí)點(diǎn)都是我自己總結(jié)的，包括HR面的問題。

　　輕 松 一 刻