導讀：智能問(wèn)答是人工智能領(lǐng)域中一個(gè)比較受關(guān)注的方向，目前廣泛應用于各種垂直或綜合的搜索引擎、智能客服、智能助手以及智能手機、車(chē)載音箱等。本次分享的主題是QQ瀏覽器搜索中的智能問(wèn)答技術(shù)，主要分為以下幾個(gè)部分：

1.背景介紹

智能問(wèn)答在搜索中的應用搜索中的Top1問(wèn)答

2.關(guān)鍵技術(shù)

搜索問(wèn)答的技術(shù)框架KBQA：基于知識圖譜的問(wèn)答DeepQA：基于搜索 機器閱讀理解的問(wèn)答

3.前沿研究

端到端問(wèn)答知識指導的問(wèn)答多模態(tài)問(wèn)答

01

背景介紹

1. 問(wèn)答在搜索中的應用

問(wèn)答的核心是通過(guò)理解語(yǔ)言和運用知識來(lái)進(jìn)行提問(wèn)和回答。從應用角度看，由于人類(lèi)有獲取信息的需求和旺盛的好奇心，問(wèn)答的場(chǎng)景無(wú)處不在；從研究角度看，問(wèn)答是認知智能的前沿之一。

問(wèn)答在搜索場(chǎng)景的應用可以分為兩類(lèi)。一類(lèi)是滿(mǎn)足用戶(hù)的直接搜索需求，即在搜索結果頁(yè)給用戶(hù)提供精準的答案，例如Top1問(wèn)答卡片。另一類(lèi)是通過(guò)問(wèn)答的方式與用戶(hù)交互，來(lái)幫助用戶(hù)澄清、細化和延伸需求，例如推薦和對話(huà)形式的問(wèn)答。

2. 搜索中的Top1問(wèn)答

下圖展示了QQ瀏覽器搜索中Top1問(wèn)答的一些產(chǎn)品形態(tài)，包括短答案、長(cháng)答案、列表答案、視頻答案、集合和圖片答案。

--

02

關(guān)鍵技術(shù)

1. 搜索問(wèn)答技術(shù)與系統

搜索中問(wèn)答的明確需求占比接近1/4。這些問(wèn)題不限領(lǐng)域，不限類(lèi)型，一般可分成事實(shí)類(lèi)和非事實(shí)類(lèi)。搜索中問(wèn)答的數據源是多種多樣的。從資源類(lèi)型上看，包括網(wǎng)頁(yè)、UGC（用戶(hù)生產(chǎn)內容，如社區問(wèn)答）和PGC（專(zhuān)業(yè)生產(chǎn)內容，例如自媒體號）。從文本的組織形態(tài)上來(lái)講，數據可以分成結構化、半結構化和無(wú)結構化三種。結構化的數據具有一定約束，以知識圖譜為代表；半結構化數據的典型代表是開(kāi)放生態(tài)構建或者從社區問(wèn)答抽取的具有一定格式的問(wèn)答對數據；無(wú)結構化數據廣泛存在，例如普通的網(wǎng)頁(yè)文本。

搜索中的問(wèn)答技術(shù)主要分為KBQA和DeepQA。

KBQA指基于知識圖譜的問(wèn)答，面向的是結構化數據，底層是離線(xiàn)構建的知識圖譜，在線(xiàn)通過(guò)問(wèn)題解析、圖譜查詢(xún)和推理得到答案，主要適用于事實(shí)類(lèi)問(wèn)題。

DeepQA是一系列基于搜索和機器閱讀理解（MRC）的問(wèn)答技術(shù)，可以處理更廣泛的非結構化數據，基于離線(xiàn)問(wèn)答內容構建和理解，在線(xiàn)通過(guò)搜索獲得候選文檔、使用機器閱讀理解技術(shù)來(lái)抽取答案，能解決更多問(wèn)題需求類(lèi)型。在實(shí)際應用中，針對不同類(lèi)型的數據，我們構建了三套DeepQA系統，分別是優(yōu)質(zhì)問(wèn)答數據源上的獨立檢索系統、全網(wǎng)搜索結合在線(xiàn)MRC的通用問(wèn)答系統、以及端到端問(wèn)答系統。

下圖右側展示的是搜索問(wèn)答系統的整體架構。離線(xiàn)部分是問(wèn)答內容的構建和理解，比如對專(zhuān)業(yè)生產(chǎn)內容做質(zhì)量和權威性分析、從全網(wǎng)數據中進(jìn)行問(wèn)答對的挖掘和選取等；數據源包括網(wǎng)頁(yè)庫、優(yōu)質(zhì)問(wèn)答庫和知識圖譜；在線(xiàn)部分包括搜索問(wèn)答結果的召回和排序、段落匹配和答案抽取、知識圖譜檢索和推理計算等，以及問(wèn)答融合決策從多源結果中決定最終展現給用戶(hù)的答案。

2. KBQA：基于知識圖譜的問(wèn)答系統

圖譜問(wèn)答系統的數據依據不同實(shí)體更新的要求分為三路，數據通過(guò)直接的三元組索引查詢(xún)或者圖數據庫存儲檢索系統應用。

在線(xiàn)圖譜問(wèn)答的流水線(xiàn)之一是語(yǔ)義解析的方法，系統先對查詢(xún)進(jìn)行領(lǐng)域分類(lèi)以裝配不同類(lèi)型的處理流程（例如漢語(yǔ)詩(shī)詞類(lèi)、單實(shí)體類(lèi)、多實(shí)體關(guān)系類(lèi)），然后對查詢(xún)進(jìn)行語(yǔ)法樹(shù)分析和形式邏輯規約，在三元組中遞歸查詢(xún)和拼裝得到最終答案。該方法的優(yōu)點(diǎn)是支持一些復雜的查詢(xún)推理，且在規則適用的范疇內準確率較高。另一種流水線(xiàn)是基于深度學(xué)習的方法，系統首先識別出具有問(wèn)答意圖的查詢(xún)，然后通過(guò)深度模型識別查詢(xún)問(wèn)題中的實(shí)體，對實(shí)體屬性和查詢(xún)表達進(jìn)行深度語(yǔ)義匹配映射，計算出候選結果并進(jìn)行清洗和排序得到答案。該方法的優(yōu)點(diǎn)是對查詢(xún)語(yǔ)義理解較好，泛化性強，召回率較高。

3. DeepQA：基于搜索 機器閱讀理解的問(wèn)答系統

下面主要圍繞DeepQA相關(guān)工作展開(kāi)介紹。

早期的DeepQA系統具有非常復雜的流水線(xiàn)，例如IBM的Waston，以及2017年第一版立知問(wèn)答。系統包括多個(gè)數據挖掘和機器學(xué)習模塊，在問(wèn)題分析、答案候選的特征抽取、評分排序等諸多環(huán)節都可能有錯誤的傳播和積累，可擴展性不強。2017年以后，斯坦福的陳丹琦等人提出了一個(gè)面向規模文檔集的開(kāi)放域問(wèn)答系統——DrQA，系統定義了一種新的開(kāi)放域問(wèn)答實(shí)現方式，即通過(guò)檢索和深度機器閱讀理解（MRC）產(chǎn)生答案。在SQuAD等公開(kāi)數據集和評測的推動(dòng)下，深度機器閱讀理解發(fā)展迅速，在查詢(xún)和文檔語(yǔ)義建模、上下文信息交互建模、答案抽取和預測方式建模上都不斷涌現新的方法，2019年機器閱讀理解系統甚至在事實(shí)類(lèi)問(wèn)答上超過(guò)了人類(lèi)水平。

然而在真實(shí)的搜索場(chǎng)景中，DeepQA仍然面臨著(zhù)很多挑戰。首先是用戶(hù)的需求紛繁復雜，表達方式也千差萬(wàn)別，而互聯(lián)網(wǎng)數據規模巨大，需求檢索匹配的難度很大。其次是網(wǎng)頁(yè)數據多種多樣，頁(yè)面類(lèi)型和格式繁多、質(zhì)量參差、答案的形式不一，機器閱讀理解面臨較大的挑戰。

下面介紹一些應對搜索場(chǎng)景的問(wèn)題我們所做的工作。

（1）短答案MRC

短答案MRC任務(wù)的定義是從搜索結果的多個(gè)文檔中抽取唯一的答案片段，并提供支持答案的文本來(lái)源。這個(gè)任務(wù)會(huì )面臨以下一些挑戰：

①搜索結果噪聲過(guò)多

噪聲包括不相關(guān)結果、不一致答案等。短答案抽取模型是一個(gè)多文檔段落抽取的模型，我們將搜索排名topN（常用N=10）的文檔段落輸入到BERT中進(jìn)行表示建模，然后預測段落中答案的起始位置。為了解決輸入文檔不相關(guān)的問(wèn)題，我們將答案存在性判別和答案起止位置預測兩個(gè)目標進(jìn)行聯(lián)合訓練；為了應對各文檔的答案不一致問(wèn)題，我們加入了多文檔交互，將多個(gè)文檔中包含答案概率最大的片段拼接起來(lái)進(jìn)行建模，信息融合之后再預測文檔包含答案的概率。

②答案出現常識性錯誤

常識性錯誤即模型輸出無(wú)意義答案，例如邊界錯誤、答案類(lèi)型錯誤。我們的做法是引入一些外部知識，例如百科、知識圖譜等，給候選文檔中符合答案類(lèi)型的實(shí)體打上特殊的標記，在建模過(guò)程中加強對它們的關(guān)注。

③魯棒性問(wèn)題

這里魯棒性問(wèn)題指的是由于過(guò)擬合導致模型輸出不穩定。Dropout是一種有效的減少過(guò)擬合的方式，但它的缺點(diǎn)是不能保持輸出的一致性。我們應用了R-Drop，通過(guò)將Dropout作用于輸出層，降低了訓練和測試的不一致性，同時(shí)引入對稱(chēng)KL散度作為正則項，增強了輸出的穩定性。在實(shí)驗過(guò)程中，我們發(fā)現對輸出層使用兩次dropout效果較好。此外我們還對訓練數據進(jìn)行了同語(yǔ)義問(wèn)題的數據增強，加入相同語(yǔ)義query下的段落輸出部分的KL-Loss，增強了模型的穩定性。

④答案歸一化和多span問(wèn)題

在抽取式閱讀理解中，由于多文檔表述的不一致，往往會(huì )遇到答案歸一化的問(wèn)題，比如安全帶使用期限是幾年的問(wèn)題答案可能有3到5年、3年至5年等；而且還有答案并不是連續判斷，比如沉魚(yú)落雁指的是誰(shuí)這個(gè)問(wèn)題中，答案可能對應文檔中兩個(gè)片段（span）。為了解決上述問(wèn)題，我們嘗試用生成式閱讀理解方法，以Fusion-in-Decoder（FiD）為例，將檢索得到的多文檔分別進(jìn)行編碼表示，拼接起來(lái)輸入到decoder生成統一的答案。

實(shí)踐中利用大規模點(diǎn)擊日志文檔生成查詢(xún)進(jìn)行預訓練，利用短答案日志構建大量弱監督數據進(jìn)行自訓練，有效提升了生成式閱讀理解的效果。由于生成模型輸出的答案得分其實(shí)是語(yǔ)言模型的困惑度，不能很好地刻畫(huà)答案本身的置信度，我們訓練了一個(gè)生成答案的置信度預測模型，對答案輸出進(jìn)行決策。

（2）長(cháng)答案MRC

相比短答案，長(cháng)答案MRC受到的研究關(guān)注相對較少，一方面因為問(wèn)題更加復雜，數據集稀缺，另一方面因為長(cháng)答案在內容和表達方式上有不確定性，評價(jià)起來(lái)也相對較難。

搜索場(chǎng)景中長(cháng)答案和短答案主要有以下幾個(gè)方面的差異：

①長(cháng)答案MRC-組合式問(wèn)答

針對長(cháng)答案包含信息量大、不連續的特點(diǎn)，我們提出了一種組合式問(wèn)答的任務(wù)形式：從搜索結果的單個(gè)文檔中抽取出一組片段來(lái)合成精選摘要答案。任務(wù)輸入為給定問(wèn)題和文檔的完整片段組合，輸出為答案片段組合。評價(jià)方式為片段預測的F1和人工評價(jià)相結合。

組合式問(wèn)答模型的整體框架基于BERT，輸入是問(wèn)題和進(jìn)行了啟發(fā)式分句的文檔句子序列，輸出是每個(gè)句子是否是答案的概率。我們引入了兩個(gè)非常有用的設計。

第一個(gè)是引入頁(yè)面的結構信息。由于網(wǎng)頁(yè)的HTML能夠一定程度上反映頁(yè)面結構、文本關(guān)聯(lián)以及展示內容的重要度等特征，我們選擇了部分網(wǎng)頁(yè)標簽作為符號輸入到模型中。

第二個(gè)是引入針對性的預訓練任務(wù)。—般預訓練都是建模句子級別的關(guān)系，沒(méi)有有效挖掘文檔結構的信息；我們引入了兩類(lèi)相關(guān)的預訓練任務(wù)，一類(lèi)是問(wèn)題選擇（QS），即隨機替換一個(gè)問(wèn)題并預測；另一類(lèi)是節點(diǎn)選擇（NS），可以對句子和符號進(jìn)行隨機替換或打亂順序。這樣的預訓練任務(wù)可以讓模型更深刻地理解問(wèn)題和長(cháng)文本的內容。

由于文檔具有層級結構，一個(gè)自然的想法是利用圖網(wǎng)絡(luò )來(lái)建模。我們嘗試在模型輸出側增加圖網(wǎng)絡(luò )，將句子中詞的連接、句子之間的連接以及問(wèn)題和句子的連接用圖結構表示并通過(guò)Attention Mask實(shí)現，實(shí)驗表明加入層次結構信息的效果提升明顯。

長(cháng)答案閱讀理解中同樣可以采用短答案閱讀理解類(lèi)似的思路：（1）同時(shí)預測文檔可答概率和答案句子概率；（2）引入門(mén)機制學(xué)習文檔和句子的關(guān)系；（3）使用R-drop提升魯棒性。

我們發(fā)現模型對問(wèn)題的理解仍然不夠充分。舉一個(gè)極端的例子：當不輸入問(wèn)題，直接針對文檔預測長(cháng)答案，模型仍然能夠達到一定的抽取效果。說(shuō)明閱讀理解模型輸出的答案受到文檔本身的影響較大，而對問(wèn)題的關(guān)注不夠。為了解決這個(gè)問(wèn)題，我們做了一些數據樣本增強和對抗的工作。一方面通過(guò)主動(dòng)學(xué)習不斷優(yōu)化訓練數據，讓模型學(xué)習到更多不會(huì )的能力，另一方面通過(guò)點(diǎn)擊日志挖掘同一個(gè)文檔下語(yǔ)義相同或不同的query。由于同一個(gè)文檔中的不同部分可以回答不同的問(wèn)題，這樣可以讓模型更關(guān)注問(wèn)題相關(guān)的信息，而不是文檔本身。

（3）長(cháng)答案MRC-判斷類(lèi)觀(guān)點(diǎn)問(wèn)答

對于判斷類(lèi)觀(guān)點(diǎn)問(wèn)答任務(wù)，考慮到用戶(hù)不會(huì )僅僅滿(mǎn)足于論斷，而會(huì )更關(guān)心論據，我們設計了一個(gè)模型，首先抽取能夠回答問(wèn)題的長(cháng)答案，即論據，然后根據該論據做論斷的分類(lèi)，產(chǎn)生一個(gè)短答案。

模型的整體結構是基于長(cháng)答案模型結構的改進(jìn)，在抽取長(cháng)答案的同時(shí)，將query、title和長(cháng)答案抽取過(guò)程中最高概率答案句拼接起來(lái)輸入判斷模塊。通過(guò)論據抽取和論點(diǎn)分類(lèi)兩個(gè)目標的聯(lián)合學(xué)習，模型可以解決短答案抽取無(wú)法解決的問(wèn)題。比如在下圖的例子中，對于把兔子關(guān)在籠子里好嗎這個(gè)問(wèn)題，短答案抽取并不能直接抽取出好或者不好的答案片段，而通過(guò)分類(lèi)可以知道它是一個(gè)否定的回答。

（4）問(wèn)答式搜索

DeepQA的一個(gè)重要部分是從大規模數據檢索出相關(guān)候選文檔，才能通過(guò)閱讀理解模型抽取答案。傳統搜索更關(guān)注相關(guān)性，即文檔和問(wèn)題相關(guān)，而問(wèn)答更關(guān)注檢索結果是否能回答問(wèn)題，這是問(wèn)答式搜索和傳統搜索的不同。

問(wèn)答式搜索系統需要一種更細粒度、更精準的語(yǔ)義檢索匹配方式。稠密段落檢索，即通過(guò)深度語(yǔ)義表示學(xué)習，從大規模文本中檢索出和查詢(xún)相關(guān)的段落，包括自然段、任意句子、詞片段。稠密段落檢索是稠密向量檢索的一種。傳統基于關(guān)鍵字詞構建的倒排檢索（稀疏檢索），雖能精確地召回結果，但是會(huì )面臨比較嚴重的語(yǔ)義鴻溝問(wèn)題；而稠密向量檢索是解決查詢(xún)和文檔之間語(yǔ)義鴻溝的有效手段，但是從符號到向量的表示過(guò)程損失了一定的語(yǔ)義。所以需要對稠密向量表示進(jìn)行優(yōu)化，并設計合適的向量檢索和語(yǔ)義匹配方法。

問(wèn)答式搜索也是一個(gè)從大規模數據到少量能抽取答案的文檔的金字塔式篩選過(guò)程。為了提高在線(xiàn)服務(wù)效率，在面向海量數據的召回和初排階段一般使用非交互式匹配模型，待檢索到一定規模的相關(guān)候選后再采用更精細化也更加耗時(shí)的交互式匹配模型。交互式和非交互式匹配模型各有其優(yōu)缺點(diǎn)，如圖所示。

稠密段落檢索模型

我們選用非交互式異形雙塔模型進(jìn)行稠密段落檢索的Query-Passage語(yǔ)義表示學(xué)習。通過(guò)網(wǎng)頁(yè)搜索日志和問(wèn)答對數據可以獲取大量的正負樣本，從而進(jìn)行大規模對比學(xué)習。

這里介紹一種向量表示的優(yōu)化方法——Barlow-Twins。通過(guò)在訓練目標里加上一個(gè)相關(guān)性去除目標，降低向量表示的冗余性，使得訓練出來(lái)的向量在空間的分布非常均勻。

負采樣方法是對比學(xué)習中非常重要的一環(huán)，對稠密向量表示效果有很大影響，我們對負采樣進(jìn)行了兩個(gè)方面的優(yōu)化：

一個(gè)是很多相關(guān)工作都會(huì )采用的Cross-batch負采樣，在多 GPU 并行訓練時(shí)，將其它 GPU 批次內的全部段落作為當前問(wèn)題的負樣本，極大地增加了負樣本數，也使得訓練效率得到很大提升。Cross-batch負采樣還能緩解訓練和推理時(shí)負樣本分布的不一致性，因為在問(wèn)答式搜索中，模型需要從大規模數據集中找到相關(guān)答案候選，但訓練過(guò)程見(jiàn)到的查詢(xún)段落樣本通常遠小于預測時(shí)的候選數據規模，這會(huì )導致模型在訓練時(shí)表現良好而在應用中不夠好。

另一個(gè)是提升負樣本的質(zhì)量。一方面需要讓負樣本對模型來(lái)說(shuō)更難，這樣能學(xué)習到更多的知識。另一方面要盡可能少地引入False Negative樣本。我們提出了混合降噪負采樣策略：先通過(guò)非降噪負采樣，例如已有的召回模型（BM25、初始訓練的召回模型等）進(jìn)行Top-K采樣，這樣得到的樣本相對較難，當然也會(huì )引入一些False Negative；然后進(jìn)行降噪負采樣，通過(guò)訓練一個(gè)Re-ranker對樣本進(jìn)行篩選，去除實(shí)際可能是正例的噪聲；兩者結合訓練，實(shí)驗證明效果提升非常明顯。

Query-Passage交互匹配模型

召回階段的核心任務(wù)是區分答案相關(guān)和不相關(guān)的候選，召回之后就需要通過(guò)匹配更進(jìn)一步排序這些候選文檔。這里簡(jiǎn)要介紹一下我們的Query-Passage交互匹配模型。

模型訓練主要分三個(gè)階段，首先利用大規模網(wǎng)頁(yè)數據，包括百科、微信、知乎以及問(wèn)答點(diǎn)擊頁(yè)面等多樣的數據進(jìn)行預訓練；接下來(lái)是對比式弱監督訓練，通過(guò)點(diǎn)擊和曝光未點(diǎn)擊數據、問(wèn)答對結合負采樣構造正負樣本；最后在人工標注的問(wèn)答匹配數據上進(jìn)行訓練。人工標注的樣本有四類(lèi)標簽，分別是完全不相關(guān)、相關(guān)、能部分回答問(wèn)題、能完整地很好回答問(wèn)題。為了進(jìn)一步提升模型效果，我們還使用了自訓練技術(shù)，利用人工標注數據訓練模型之后，通過(guò)該模型進(jìn)行大量的自動(dòng)化標注并從中篩選一些高質(zhì)量標注數據，繼續訓練原始模型。多次迭代之后，模型的泛化性能會(huì )有較大的提升。

--

03

前沿研究

下面介紹開(kāi)放域智能問(wèn)答的一些相關(guān)前沿研究和進(jìn)展。

1. 端到端問(wèn)答

近年來(lái)關(guān)于開(kāi)放域端到端問(wèn)答的研究如火如荼，下圖摘自ACL 2020 Tutorial: Open domain question and answering，對端到端問(wèn)答系統發(fā)展的總結。

第一代端到端問(wèn)答模型采取兩階段的方式，通過(guò)檢索器和閱讀器串聯(lián)來(lái)進(jìn)行答案提取，例如DrQA；前面我們所講的DeepQA系統也是遵循這種范式的設計；第二代的模型為閱讀器和檢索器聯(lián)合優(yōu)化的模型，如R3、DenSPI；第三代的模型不需要檢索器，直接通過(guò)模型生成答案，如T5、GPT3。

檢索器和閱讀器的聯(lián)合優(yōu)化是一個(gè)難點(diǎn)。一種方法是將檢索的文檔看做隱變量，依靠EM優(yōu)化語(yǔ)義表示模型和生成模型，即通過(guò)閱讀器的輸出概率作為檢索器優(yōu)化的目標，反過(guò)來(lái)再基于檢索器的輸出優(yōu)化閱讀器的輸出概率。這樣交替進(jìn)行同時(shí)提升閱讀器和檢索器的效果。我們嘗試了一種Hard-EM的方法，直接把預測答案是否包含于檢索文檔作為硬匹配信號來(lái)優(yōu)化文檔檢索的過(guò)程。如下圖所示，通過(guò)答案硬匹配文檔獲得訓練三元組，然后訓練FiD答案抽取模型，再利用新的答案抽取模型預測出來(lái)的更優(yōu)質(zhì)的答案，繼續硬匹配和過(guò)濾候選文檔輸入。幾輪循環(huán)之后答案抽取的EM和F1指標均得到提升。

2. 知識指導的問(wèn)答

如何在深度模型中引入知識也是問(wèn)答研究的熱點(diǎn)。真實(shí)場(chǎng)景中有很多問(wèn)題需要知識推理，比如小汽車(chē)科目二多少分及格這個(gè)問(wèn)題，示例的法規文本里沒(méi)有明確的描述，但是可以根據推理得到答案；葡萄籽油的食用方法這個(gè)問(wèn)題，不同答案中包含的知識點(diǎn)相互存在沖突和分歧，需要進(jìn)行知識驗證。

知識指導的問(wèn)答相關(guān)工作，有一種是把特定的知識輸入到答案抽取模型一起學(xué)習，比如K-BERT，把原輸入中實(shí)體所涉及到的三元組通過(guò)軟位置編碼的方式融合到輸入中，從而引入了實(shí)體相關(guān)的知識。另一類(lèi)方法是通過(guò)知識增強的預訓練模型提升下游任務(wù)的效果。

QQ瀏覽器搜索內容技術(shù)團隊還提出了一種知識增強預訓練的方法，該模型引入了三類(lèi)知識性任務(wù)，包括遠程關(guān)系監督分類(lèi)、三元組文本mask預測、以及同類(lèi)實(shí)體替換預測，訓練過(guò)程中將這三類(lèi)任務(wù)和語(yǔ)言模型任務(wù)結合在一起訓練。為了保證原始模型的參數在訓練過(guò)程中不會(huì )有災難性遺忘，設計了一個(gè)新的知識記憶結構，將原有模型的所有參數固定住，只用這個(gè)新的知識記憶矩陣承載上面多任務(wù)引入的知識。實(shí)驗證明知識增強的預訓練在很多下游任務(wù)上都能夠獲得一定的提升，尤其是在上下文不充分的短文本任務(wù)上。

3. 多模態(tài)問(wèn)答

當前越來(lái)越多的優(yōu)質(zhì)內容以視頻形式存在，從文本答案到視頻答案也是一個(gè)大的趨勢?；谝曨l載體的問(wèn)答需要對視頻內容進(jìn)行感知分析 語(yǔ)義分析，進(jìn)而通過(guò)顯示/隱式的語(yǔ)義表示和計算（檢索、匹配、閱讀、生成）得到視頻化的答案。

我們現在做的一個(gè)比較初步的工作是利用視頻的語(yǔ)音和字幕進(jìn)行視頻文本化，然后通過(guò)閱讀理解結合文本生成的技術(shù)進(jìn)行視頻答案摘要，通過(guò)文本生成和字幕時(shí)間匹配，還能得到視頻分段以及關(guān)鍵幀標簽。右圖是我們在視頻問(wèn)答做出來(lái)的短答案摘要的效果，相對于文本答案可以給用戶(hù)提供更多便捷性的幫助。未來(lái)還有更多基于多模態(tài)內容的問(wèn)答研究值得探索。

--

04

Q