如何利用深度學(xué)習(xí)實(shí)現(xiàn)移動應(yīng)用程序自動化

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應(yīng)屆畢業(yè)生專屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個全額獎學(xué)金名額~ !

立即領(lǐng)取

感謝您參與論壇問題回答

經(jīng)管之家送您兩個論壇幣！

+2 論壇幣

如何利用深度學(xué)習(xí)實(shí)現(xiàn)移動應(yīng)用程序自動化
移動應(yīng)用程序已經(jīng)在數(shù)字化方面留下了印記。Google Play商店和Apple Store中已經(jīng)有大量應(yīng)用程序。如今幾乎所有內(nèi)容都有應(yīng)用程序。但是，隨著移動應(yīng)用程序市場的擴(kuò)展，它們面臨著新的挑戰(zhàn)和需要克服的障礙。
深度學(xué)習(xí)是人工智能的輔助技術(shù)。它使用算法來解析數(shù)據(jù)并提供對應(yīng)用程序及其問題的深入了解。通常，時間限制和截止日期的壓力會使開發(fā)人員變得更好，并且不允許開發(fā)人員或更高級別的管理層在盛大發(fā)布之前正確地測試應(yīng)用程序，在這里深度學(xué)習(xí)可以幫助自動化移動應(yīng)用程序的測試和部署。
用戶和系統(tǒng)之間的交互通過GUI（圖形用戶界面）得以促進(jìn)。特別地，交互可以包括點(diǎn)擊，滾動或?qū)⑽谋据斎氲紾UI元素中，諸如按鈕，圖像或文本塊。輸入生成器可以為多個測試產(chǎn)生交互，
人形系統(tǒng)：
類人系統(tǒng)趨向于通過自動化來測試應(yīng)用程序，但仍使系統(tǒng)像人工測試器一樣工作。它是一個自動化的GUI測試生成器，可以學(xué)習(xí)人類如何與移動應(yīng)用程序進(jìn)行交互，然后使用學(xué)習(xí)到的模型指導(dǎo)人類生成測試器。
此方法可以分為兩個階段：
離線階段：
這是一個離線階段，用于通過人工生成的交互跟蹤來訓(xùn)練模型。深度神經(jīng)網(wǎng)絡(luò)用于識別GUI（圖形用戶界面）與用戶執(zhí)行的交互之間的關(guān)系。GUI在當(dāng)前UI中表示為可視信息。
交互表示為動作類型（觸摸，滑動等）和動作的位置坐標(biāo)。從大量的人機(jī)交互痕跡中學(xué)習(xí)后，Humanoid能夠預(yù)測新用戶界面的動作類型和動作位置的概率分布。由于UI被認(rèn)為是應(yīng)用程序開發(fā)中最重要的因素之一，因此企業(yè)希望聘用移動應(yīng)用程序開發(fā)人員，  他們可以優(yōu)化應(yīng)用程序的UI，但是預(yù)測的分布用于預(yù)測與人類交互的每個UI元素。以及如何與之互動。
在線階段：
在在線測試階段，Humanoid為被測應(yīng)用程序（AUT）構(gòu)建了一個名為UI過渡圖（UTG）的GUI模型。人型機(jī)器人使用GUI模型和交互模型來確定要發(fā)送的測試輸入。UTG指導(dǎo)“人形生物”系統(tǒng)在瀏覽的UI之間導(dǎo)航，而交互模型指導(dǎo)新的Uis的瀏覽。
交互軌跡預(yù)處理：
為了訓(xùn)練用戶交互模型，使用了具有人類交互軌跡的大型數(shù)據(jù)集，這是類人動物的關(guān)鍵組成部分。原始的人機(jī)交互軌跡就像是連續(xù)的運(yùn)動事件流。
每個動作代表進(jìn)入，移動和離開屏幕的光標(biāo)的位置。由于動畫和動態(tài)加載的內(nèi)容，光標(biāo)狀態(tài)的變化是連續(xù)的。
模型學(xué)習(xí)：
它使用機(jī)器學(xué)習(xí)算法從人機(jī)交互軌跡中學(xué)習(xí)人機(jī)交互模式。最終用戶根據(jù)他們的需求和要求與應(yīng)用程序進(jìn)行交互。
他們通過GUI與應(yīng)用程序進(jìn)行交互�？紤]到UI上下文向量，交互模型的輸出是“動作”，很可能由處于當(dāng)前狀態(tài)的人類執(zhí)行。該預(yù)測的“動作”是預(yù)期的類人動作的類型和位置的概率分布。
卷積層：
這是一種非常流行的圖像特征提取方法。在涉及現(xiàn)實(shí)數(shù)據(jù)集的計算機(jī)視覺任務(wù)時，它被證明是非常有效的。輸入的寬度和高度通過位于卷積層之后的stride-2最大合并層減少到一半。池層還幫助模型識別具有不同環(huán)境的相似特征的UI元素。
剩余的LSTM模塊：
LSTM代表長期短期記憶，這是一個用于解決諸如視頻分類或機(jī)器翻譯之類的序列建模問題的網(wǎng)絡(luò)。普通LSTM的輸入和輸出的最后維度是通過殘差路徑直接添加的，這種殘差結(jié)構(gòu)使神經(jīng)網(wǎng)絡(luò)優(yōu)化更加容易。它還指導(dǎo)開發(fā)人員應(yīng)該在UI元素內(nèi)執(zhí)行的操作的位置。
反卷積層：
該組件從殘留LSTM模塊的低分辨率輸出中生成高分辨率概率分布�？梢钥紤]使用諸如雙線性內(nèi)插，解卷積等選項(xiàng)來實(shí)現(xiàn)高分辨率概率分布。使用反卷積層是因?yàn)樗�比D插值方法更容易與DNN集成，并且更通用。
類人生物方法的好處：
對于大多數(shù)UI狀態(tài)，類人動物可以將類人的行為排在前10％。
人形模型帶給測試生成器的時間開銷很小。
類人動物可以為超過50％的UI狀態(tài)的人為操作分配最高的概率。
基于模型的測試工具可以為移動應(yīng)用程序測試實(shí)現(xiàn)更好的測試性能。
無論是開源應(yīng)用還是市場應(yīng)用，它對兩種類型的應(yīng)用都非常有效。
局限性：
人形模型并不包括來自人機(jī)交互的所有輸入。
對于某些應(yīng)用，通過類人動物獲得的覆蓋率不到10％
人形模型尚未探索文本信息。
類人動物模型主要基于人與人之間的互動，避免了非人與人之間的互動。
結(jié)論：
隨著與人工智能相關(guān)的技術(shù)將得到更多關(guān)注和研究支持，將出現(xiàn)高度先進(jìn)的移動應(yīng)用程序，這些應(yīng)用程序可以改變我們看到智能手機(jī)的方式。隨著人形機(jī)器人模型從人機(jī)交互中學(xué)習(xí)并提供概率分布，以渲染高度智能的應(yīng)用程序，并為每個用戶請求提供更多實(shí)時響應(yīng)。與其他測試工具相比，它能夠?qū)崿F(xiàn)更高的測試覆蓋率和更快的速度，因此可以自動化開源和市場應(yīng)用程序的測試過程，從而節(jié)省了許多企業(yè)和公司的成本和時間。此外，使用機(jī)器學(xué)習(xí)算法可以使過程無錯誤。

關(guān)注 CDA人工智能學(xué)院 ，回復(fù)“錄播”獲取更多人工智能精選直播視頻！

掃碼加我 拉你入群

請注明：姓名-公司-職位

以便審核進(jìn)群資格，未注明則拒絕

分享0 收藏0 回帖

關(guān)鍵詞：深度學(xué)習(xí) 應(yīng)用程序 移動應(yīng)用 自動化 機(jī)器學(xué)習(xí)算法