人臉服務由影象演算法團隊研發,其中識別模組在LFW上取得了99.48%的準確率。人臉服務不僅僅侷限於在LFW上獲得良好的指標,而且致力於應用人臉識別技術去解決社交網路和網際網路應用中的實際問題。
1.簡介
人臉識別系統主要包括影象獲取、人臉檢測和定位、影象預處理、人臉特徵提取、以及人臉識別(身份確認或者身份查詢),如下圖所示。系統輸入一般是一張或者一系列含有未確定身份的人臉影象,以及人臉資料庫中的若干已知身份的人臉影象或者相應的人臉特徵編碼,而其輸出則是一系列相似度分數,表明待識別人臉的身份。
2.人臉檢測
人臉檢測主要用於定點陣圖像中的人臉,通過改進Boosting 的訓練框架並基於大量人臉影象訓練了一個通用人臉檢測模型,目前已經可以處理多角度和有部分遮擋的人臉。檢測的效果如下圖所示:
3.關鍵點定位
關鍵點定位主要用於在已知人臉所在位置的基礎上,自動標註人臉的五官位置,如(眼睛、鼻子、嘴巴)等位置。我們選取人眼和嘴角以及鼻尖等特徵明顯的關鍵點建立點分佈模型,通過Cascade Regression的方法訓練和預測關鍵點位置,解決了以上問題,如下圖所示:
4.人臉屬性分析
除了人臉識別技術,同時研發了人臉屬性分析技術,旨在提取人臉的各種語義屬性資訊,包括姿態估計、性別估計、年齡估計、表情識別、人種分類、美顏指數等。目前我們可以從圖片中分析出人臉的性別、年齡、種族、微笑,其中性別準確率大於97%,年齡誤差小於4歲,達到了業界主流水平,示意圖如下圖所示:
5.同模聚合
當抽取得到人臉的特徵以後,可以通過聚類的方法將這些特徵按一定的粒度聚合成不同的類,相同類裡面的人臉會相同或者相似,這樣可以把圖片中相同模特的商品聚合在一起,可以產生一些新的玩法,同模聚合的效果如下圖所示:
6.其他方面
人臉搜尋/敏感人物監控:主要用於對圖片中重要人物,如政治敏感人物,明星進行監控,或者一些傳統的安全監控行業的可疑分子的視訊監控。首先通過人臉識別演算法提取出人臉影象特徵資訊,在資料庫進行特徵比對找到對應的人物資訊。這類產品可以佈置在伺服器端,離線呼叫和線上呼叫均可,目前主要應用在阿里媽媽直通車和鑽展業務,對商品廣告圖片的明星臉進行監控,使得大規模商品影象的明星資質監控成為可能。
互動產品/安全領域:人臉識別系統中的每個模組都可以單獨組成一個產品功能,人臉檢測和關鍵點定位可以用於手機拍照的人臉檢測和跟蹤,在其上開發出一些人臉美化、表情大咖、自黑動畫等,最近在蘋果appstore上排名第一的app Faceu就是基於人臉技術做的;而人臉識別可以用於手機的人臉解鎖,賬戶的登入驗證,明星臉搜尋等。
精準廣告投放:人臉屬性分析技術,可以應用於商業領域和廣告領域,包括廣告效果評估,人群分析,精準廣告投放等應用,目前已經應用在“拍立淘”影象搜尋。