很多人每天花費(fèi)大量時(shí)間使用移動(dòng)設(shè)備鍵盤：撰寫電子郵件，發(fā)短信，參與社交媒體等。 然而，移動(dòng)鍵盤仍然在處理速度方面處于劣勢(shì)。 用戶平均在移動(dòng)設(shè)備上的打字速度比在物理鍵盤上慢35％。 為了改變這一點(diǎn)，最近谷歌團(tuán)隊(duì)為Gboard for Android提供了許多改進(jìn)，致力于創(chuàng)建一個(gè)智能機(jī)制的 鍵盤，能夠?yàn)橛脩粢匀魏芜x擇的語言提供建議和糾正錯(cuò)誤，從而實(shí)現(xiàn)更快更高質(zhì)量的輸入。

事實(shí)上，移動(dòng)鍵盤將觸摸輸入轉(zhuǎn)換為文本的方式類似于語音識(shí)別系統(tǒng)將語音輸入轉(zhuǎn)換為文本的方式，雷鋒網(wǎng)了解到，該團(tuán)隊(duì)將利用語音識(shí)別的經(jīng)驗(yàn)來實(shí)現(xiàn)觸摸輸入。

團(tuán)隊(duì)首先創(chuàng)建了一個(gè)強(qiáng)大的空間模型，將原始觸摸點(diǎn)的模糊序列映射到鍵盤上的按鍵，就像用聲學(xué)模型將聲音定位到語音單元的順序一樣。

第二，構(gòu)建一個(gè)基于有限狀態(tài)傳感器（FST）的核心解碼引擎，以確定給定輸入觸摸序列的最有可能的字符序列。 隨著數(shù)學(xué)形式主義和語音應(yīng)用的廣泛成功， FST解碼器將提供支持各種復(fù)雜鍵盤輸入行為以及語言特性所需的靈活性。 在這篇文章中，將為您詳細(xì)介紹這兩個(gè)系統(tǒng)的發(fā)展。

神經(jīng)空間模型

移動(dòng)鍵盤輸入的錯(cuò)誤通常歸結(jié)于“胖手指打字”（fat finger typing，或在滑動(dòng)打字中定位到空間位置相似的詞，如下圖所示）以及認(rèn)知和操作錯(cuò)誤（表現(xiàn)為拼寫錯(cuò)誤，字符插入，刪除或互換等）。 智能鍵盤需要能夠解決這些錯(cuò)誤，并且可以快速準(zhǔn)確地預(yù)測(cè)正確的單詞。 據(jù)雷鋒網(wǎng)了解，該團(tuán)隊(duì)為Gboard構(gòu)建了一個(gè)空間模型，用于在字符級(jí)別處理這些錯(cuò)誤，將屏幕上的觸摸點(diǎn)映射到實(shí)際按鍵。

兩個(gè)位置相似的詞：“吸血鬼vampire”和“價(jià)值value”的平均滑動(dòng)路徑

一直到最近，Gboard還在使用高斯模型量化敲擊相鄰按鍵的概率和基于規(guī)則的模型，來表示認(rèn)知和動(dòng)作錯(cuò)誤。 這些模型簡(jiǎn)單直觀，但并不能直接優(yōu)化與更高的打字質(zhì)量相關(guān)的指標(biāo)。 根據(jù)語音搜索聲學(xué)模型方面的經(jīng)驗(yàn)，用連接時(shí)間分類（CTC）標(biāo)準(zhǔn)訓(xùn)練的單個(gè)高效長(zhǎng)期短期記憶（LSTM）模型替代了高斯模型和基于規(guī)則的模型。

然而，訓(xùn)練這個(gè)模型比預(yù)期的要復(fù)雜得多。 雖然聲學(xué)模型是從人類轉(zhuǎn)錄的音頻數(shù)據(jù)進(jìn)行訓(xùn)練的，但是并不能輕松地轉(zhuǎn)錄數(shù)百萬的觸摸點(diǎn)序列和滑動(dòng)軌跡。 所以該團(tuán)隊(duì)利用用戶交互信號(hào)，例如自動(dòng)修正和建議選擇作為負(fù)面和正面的半監(jiān)督學(xué)習(xí)信號(hào)，因此形成了豐富的培訓(xùn)和測(cè)試集。

對(duì)應(yīng)單詞“可以could”（左）的原始數(shù)據(jù)點(diǎn)，以及每個(gè)采樣方差（右）的歸一化采樣軌跡

使用來自語音識(shí)別文獻(xiàn)的大量技術(shù)來迭代NSM模型，使其足夠小且足夠快以便在任何設(shè)備上運(yùn)行。 TensorFlow基礎(chǔ)設(shè)施用于訓(xùn)練數(shù)百種模型，優(yōu)化鍵盤上顯示的各種信號(hào)：完成，建議，滑動(dòng)等。

經(jīng)過一年多的 努力，完成的模型比初始版本快6倍，大小僅是最初的十分之一。同時(shí)，它還顯示出在脫機(jī)數(shù)據(jù)集上的錯(cuò)誤自動(dòng)更正減少約15％的錯(cuò)誤，而錯(cuò)誤解碼手勢(shì)則減少了10％。

有限狀態(tài)轉(zhuǎn)換器

雖然NSM使用空間信息來幫助確定敲擊或滑動(dòng)的字符是什么，但還是有一些額外的限制——詞匯和語法 ——這些是可以承受的。詞典告訴我們語言中出現(xiàn)了什么詞匯，而概率語法告訴我們什么話可能接在其他的話后面。為了對(duì)這些信息進(jìn)行編碼，使用有限狀態(tài)換能器。 FST（Finite-State Transducers）一直是Google語音識(shí)別和綜合系統(tǒng)的關(guān)鍵組成部分。它提供了一種原則性的方式來表示自然語言處理中使用的各種概率模型（詞典，語法，規(guī)范化等）以及操縱，優(yōu)化，組合和搜索模型所需的數(shù)學(xué)框架。

在Gboard中，一個(gè)鍵傳感器緊湊地表示鍵盤這個(gè)詞，如下圖所示。 它編碼從按鍵序列到字的映射，允許替代鍵序列和可選空格。

該轉(zhuǎn)換器沿著從起始狀態(tài)（粗體1）到最終狀態(tài)（兩圈狀態(tài)0和1）的路徑編碼“I”，“I’ve”，“If”。 每個(gè)弧用一個(gè)輸入按鍵（“：”之前）和一個(gè)對(duì)應(yīng)的輸出字符（“：”之后）標(biāo)記，其中ε編碼空符號(hào)。 “I’ve”中的撇號(hào)可以省略。 用戶有時(shí)會(huì)跳過空格鍵。 為了說明這一點(diǎn)，轉(zhuǎn)換器中的單詞之間的過渡空格鍵是可選的。 ε和空格后弧允許存在多個(gè)單詞。

概率n元傳感器用于表示鍵盤的語言模型。 模型中的狀態(tài)代表一個(gè)（直到）n-1個(gè)字的上下文，并且離開該狀態(tài)的弧，將被標(biāo)記為一個(gè)后續(xù)字符以及跟隨該上下文的概率（由文本數(shù)據(jù)估計(jì)）。 這些與給出關(guān)鍵觸摸序列的可能性（滑動(dòng)中的離散觸摸或連續(xù)手勢(shì)）的空間模型被組合并且用波束搜索進(jìn)行探索。

通用FST原則，如流式傳輸，動(dòng)態(tài)模型支持等，為構(gòu)建新的鍵盤解碼器帶來了很大的幫助，但還需要添加一些新的功能。 當(dāng)人們說話的時(shí)候，并不需要解碼器來完善你所說的話，或者猜測(cè)你會(huì)在后面說些什么來省下幾個(gè)音節(jié)； 但是當(dāng)你輸入時(shí)，你會(huì)感受到詞語完成和預(yù)測(cè)的幫助。 此外，該團(tuán)隊(duì)希望鍵盤可以提供無縫多語言支持，如下所示。

在Gboard上輸入三種語言

讓新的解碼器投入實(shí)際應(yīng)用是一項(xiàng)復(fù)雜的工作，但FST原則有很多好處。 例如，支持印地語等語言的音譯只是解碼器的簡(jiǎn)單擴(kuò)展。

音譯模型

在許多具有復(fù)雜腳本的語言中，已經(jīng)開發(fā)了羅馬化系統(tǒng)，以將字符映射成拉丁字母，通常根據(jù)其發(fā)音。 例如，拼音“xièxiè”對(duì)應(yīng)漢字“謝謝”。 拼音鍵盤允許用戶在QWERTY布局上方便地輸入單詞，并將它們自動(dòng)“翻譯”到目標(biāo)腳本中。 同樣，一個(gè)音譯印地語鍵盤允許用戶輸入“daanth”（牙齒）“????”。 而拼音確定是一個(gè)羅馬化系統(tǒng)，印地語音譯則更模糊; 例如“daant”將是“????”的有效替代方案。

印地語的滑動(dòng)字符轉(zhuǎn)換

正如從字母序列到單詞（詞典）的傳感器映射以及為單詞序列提供概率的加權(quán)語言模型自動(dòng)化，該團(tuán)隊(duì)為拉丁語按鍵序列和目標(biāo)腳本符號(hào)序列構(gòu)建了22種印度語的加權(quán)轉(zhuǎn)換器映射。 一些語言屬于多個(gè)書寫系統(tǒng)（例如Bodo可以寫在孟加拉文或梵文的腳本中），因此在音譯和本機(jī)布局之間，在短短幾個(gè)月內(nèi)就建立了57種新的輸入法。

FST解碼器的本質(zhì)性質(zhì)將支持完成所有的工作，預(yù)測(cè)，滑動(dòng)打字和許多UI功能，無需額外的工作，從而使 Gboard能夠從一開始就向印度用戶提供豐富的體驗(yàn)，一個(gè)更智能的鍵盤。

總而言之，最近的工作將解碼延遲降低了50％，將用戶手動(dòng)更正的字?jǐn)?shù)減少了10％以上，能夠為印度的22種官方語言提供音譯支持，并啟用了許多新功能。

雖然谷歌團(tuán)隊(duì)希望這些最近的變化能夠改善用戶的打字體驗(yàn)，但他們也同時(shí)認(rèn)識(shí)到，在移動(dòng)設(shè)備上打字的問題絕對(duì)不能算是解決了。 Gboard仍然會(huì)提出似乎不直觀或低效用的建議，并且手勢(shì)的解碼建議仍然可能為人類永遠(yuǎn)不會(huì)選擇的詞語。 然而，該團(tuán)隊(duì)的工作為強(qiáng)大的機(jī)器智能算法的轉(zhuǎn)變開辟了新的空間，谷歌正在積極探索為全球用戶提供更有用的工具和產(chǎn)品。