每一種信息的來源或者形式，都可以稱為一種模態。例如，人有觸覺，聽覺，視覺，嗅覺。多模態機器學習旨在通過機器學習的方法實現處理和理解多源模態信息的能力。多模態學習從1970年代起步，經歷了幾個發展階段，在2010年后***步入深度學習(deeplearning)階段。在某種意義上，深度學習可以被看作是允許我們“混合和匹配”不同模型以創建復雜的深度多模態模型。目前，多模態數據融合主要有三種融合方式：前端融合(early-fusion)即數據水平融合(data-levelfusion)、后端融合(late-fusion)即決策水平融合(decision-levelfusion)以及中間融合(intermediate-fusion)。前端融合將多個**的數據集融合成一個單一的特征向量空間，然后將其用作機器學習算法的輸入，訓練機器學習模型，如圖1所示。由于多模態數據的前端融合往往無法充分利用多個模態數據間的互補性，且前端融合的原始數據通常包含大量的冗余信息。因此，多模態前端融合方法常常與特征提取方法相結合以剔除冗余信息，基于領域經驗從每個模態中提取更高等別的特征表示，或者應用深度學習算法直接學習特征表示，然后在特性級別上進行融合。后端融合則是將不同模態數據分別訓練好的分類器輸出決策進行融合，如圖2所示。2025 年 IT 趨勢展望：深圳艾策的五大技術突破。系統安全測評

    并將測試樣本的dll和api信息特征視圖、格式信息特征視圖以及字節碼n-grams特征視圖輸入步驟s2訓練得到的多模態深度集成模型中，對測試樣本進行檢測并得出檢測結果。實驗結果與分析(1)樣本數據集選取實驗評估使用了不同時期的惡意軟件和良性軟件樣本，包含了7871個良性軟件樣本和8269個惡意軟件樣本，其中4103個惡意軟件樣本是2011年以前發現的，4166個惡意軟件樣本是近年來新發現的；3918個良性軟件樣本是從全新安裝的windowsxpsp3系統中收集的，3953個良性軟件樣本是從全新安裝的32位windows7系統中收集的。所有的惡意軟件樣本都是從vxheavens網站中收集的，所有的樣本格式都是windowspe格式的，樣本數據集構成如表1所示。表1樣本數據集類別惡意軟件樣本良性軟件樣本早期樣本41033918近期樣本41663953合計82697871(2)評價指標及方法分類性能主要用兩個指標來評估：準確率和對數損失。準確率測量所有預測中正確預測的樣本占總樣本的比例，*憑準確率通常不足以評估預測的魯棒性，因此還需要使用對數損失。對數損失(logarithmicloss)，也稱交叉熵損失(cross-entropyloss)，是在概率估計上定義的，用于測量預測類別與真實類別之間的差距大小。CNAS軟件系統測評怎么做性能基準測試GPU利用率未達理論最大值67%。

    先將當前軟件樣本件的二進制可執行文件轉換為十六進制字節碼序列，然后采用n-grams方法在十六進制字節碼序列中滑動，產生大量的連續部分重疊的短序列特征，提取得到當前軟件樣本的二進制可執行文件的字節碼n-grams的特征表示。生成軟件樣本的dll和api信息特征視圖，是先統計所有類別已知的軟件樣本的pe可執行文件引用的dll和api信息，從中選取引用頻率**高的多個dll和api信息；然后判斷當前的軟件樣本的導入節里是否存在選擇出的某個引用頻率**高的dll和api信息，如存在，則將當前軟件樣本的該dll或api信息以1表示，否則將其以0表示，從而對當前軟件樣本的所有dll和api信息進行表示形成當前軟件樣本的dll和api信息特征視圖。生成軟件樣本的格式信息特征視圖，是從當前軟件樣本的pe格式結構信息中選取可能區分惡意軟件和良性軟件的pe格式結構特征，形成當前軟件樣本的格式信息特征視圖。從當前軟件樣本的pe格式結構信息中選取可能區分惡意軟件和良性軟件的pe格式結構特征，是從當前軟件樣本的pe格式結構信息中確定存在特定格式異常的pe格式結構特征以及存在明顯的統計差異的格式結構特征。特定格式異常包括：(1)代碼從**后一節開始執行，(2)節頭部可疑的屬性，。

    特征之間存在部分重疊，但特征類型間存在著互補，融合這些不同抽象層次的特征可更好的識別軟件的真正性質。且惡意軟件通常偽造出和良性軟件相似的特征，逃避反**軟件的檢測，但惡意軟件很難同時偽造多個抽象層次的特征逃避檢測。基于該觀點，本發明實施例提出一種基于多模態深度學習的惡意軟件檢測方法，以實現對惡意軟件的有效檢測，提取了三種模態的特征(dll和api信息、pe格式結構信息和字節碼3-grams)，提出了通過前端融合、后端融合和中間融合這三種融合方式集成三種模態的特征，有效提高惡意軟件檢測的準確率和魯棒性，具體步驟如下：步驟s1、提取軟件樣本的二進制可執行文件的dll和api信息、pe格式結構信息以及字節碼n-grams的特征表示，生成軟件樣本的dll和api信息特征視圖、格式信息特征視圖以及字節碼n-grams特征視圖；統計當前軟件樣本的導入節中引用的dll和api，提取得到當前軟件樣本的二進制可執行文件的dll和api信息的特征表示。對當前軟件樣本的二進制可執行文件進行格式結構解析，并按照格式規范提取**該軟件樣本的格式結構信息，得到該軟件樣本的二進制可執行文件的pe格式結構信息的特征表示。艾策醫療檢測中心為體外診斷試劑提供全流程合規性驗證服務。

    本發明屬于惡意軟件防護技術領域：：，涉及一種基于多模態深度學習的惡意軟件檢測方法。背景技術：：：惡意軟件是指在未明確提示用戶或未經用戶許可的情況下，故意編制或設置的，對網絡或系統會產生威脅或潛在威脅的計算機軟件。常見的惡意軟件有計算機**(簡稱**)、特洛伊木馬(簡稱木馬)、計算機蠕蟲(簡稱蠕蟲)、后門、邏輯**等。惡意軟件可能在用戶不知情的情況下竊取計算機用戶的信息和隱私，也可能非法獲得計算機系統和網絡資源的控制，破壞計算機和網絡的可信性、完整性和可用性，從而為惡意軟件控制者謀取非法利益。騰訊安全發布的《2017年度互聯網安全報告》顯示，2017年騰訊電腦管家pc端總計攔截**近30億次，平均每月攔截木馬**近，共發現**或木馬***。這些數目龐大、名目繁多的惡意軟件侵蝕著我國的***、經濟、文化、***等各個領域的信息安全，帶來了前所未有的挑戰。當前的反**軟件主要采用基于特征碼的檢測方法，這種方法通過對代碼進行充分研究，獲得惡意軟件特征值(即每種惡意軟件所獨有的十六進制代碼串)，如字節序列、特定的字符串等，通過匹配查找軟件中是否包含惡意軟件特征庫中的特征碼來判斷其是否為惡意軟件。艾策檢測團隊采用多模態傳感器融合技術，構建智能工廠設備狀態健康監測體系。軟件驗收安全檢測費用

云計算與 AI 融合：深圳艾策的創新解決方案。系統安全測評

    幫助客戶提升內部技術團隊能力。例如，某三甲醫院在采用艾策科技的醫療信息化系統檢測方案后，不僅系統漏洞率下降45%，其IT團隊的安全意識與應急響應能力也提升。技術創新未來方向艾策科技創始人兼CTO表示：“作為軟件檢測公司，我們始終將技術創新視為競爭力。未來，公司將重點投入AI算法優化、邊緣計算檢測等前沿領域，為電力能源、政企單位等行業提供更高效、更智能的質量保障服務。”深圳艾策信息科技有限公司是一家立足于粵港澳大灣區，依托信息技術產業，面向全國客戶提供專業、可靠服務的第三方CMACNAS檢測機構。在檢測服務過程中，公司始終堅持以客戶需求為本，秉承公平公正的第三方檢測要求，遵循國家檢測標準規范，確保檢測數據和結果準確可靠，運用前沿A人工智能技術提高檢測效率。我們追求創造優異的社會價值，我們致力于打造公司成為第三方檢測行業的行業榜樣。系統安全測評