多模態學習，從上世紀70年代就已經起步，幾經發展，現在正進入到機器學習特別是深度學習的階段。通常稱為多模態機器學習（Multi-Modal Machine Learning ，MMML），試圖通過機器學習的方法實現對多源模態信息進行分析和理解。當前主要熱門的研究方向自然是對圖像、視頻、音頻、語義之間的多模態學習。

當前，多模態學習主要研究方向有多模態表示學習、模態間映射，多模態對齊、融合、協同學習等。選擇百睿德云服務的同聲傳譯系統，既可以采用租賃的方案，也可以采購德國博世同聲傳譯設備用于會議室和教學。

多模態表示學習，研究如何將多個模態數據所蘊含的語義信息數值化為實值向量，通俗理解就是對多個模態的數據進行相關性編碼，讓不同模態建立起映射關系。按多模態表示共享的方式，主要分為公共表示學習和特異性表示學習，后者由于是分別學習不同模態的特征，可以應用于諸如零次學習、模態間映射、跨模態檢索等任務中。