谷歌推出SensorLM，將傳感器信號轉換爲以人爲本的健康洞察

![谷歌研究院發布 SensorLM 將多模態可穿戴數據轉化爲易於理解的健康洞察](http://img-cdn.gateio.im/social/moments-725c12e9c46ba0114b04a3ff6ac8c0a5019283746574839201

專注於基礎研究和應用研究的Google Research推出了SensorLM，這是一種新型的傳感器-語言基礎模型，旨在增強對高維可穿戴傳感器數據的解釋。SensorLM在超過103,000個個體的5970萬小時的多模態傳感器輸入上進行訓練，能夠從復雜的傳感器信號中生成詳細的人類可讀描述，建立了傳感器數據分析領域的新基準。

爲了開發SensorLM的訓練數據集，來自127個國家的103,643名參與者中抽取了大約250萬個人天的去標識化傳感器數據。這些數據是在2024年3月1日至5月1日期間從Fitbit和Pixel Watch設備收集的，所有參與者均已知情同意其匿名數據用於旨在推動健康和科學領域的普遍知識的研究。

研究人員實施了一種自動化的分層管道，通過計算統計數據、識別模式和直接從傳感器數據中總結事件來生成描述性標題，以應對大規模數據標記的挑戰。這種方法使得創建了目前已知的最大的將傳感器輸入與語言對齊的數據集，超越了以往研究中使用的數據集規模。

SensorLM的架構結合並協調了廣泛使用的多模態預訓練方法，特別是對比學習和生成預訓練，形成一個統一的框架。在對比學習階段，模型被訓練以將傳感器數據的片段與從一組替代選項中選擇的適當文本描述關聯起來。

這個過程使模型能夠準確區分各種身體活動或生理狀態，例如區分輕鬆遊泳和以力量爲重點的鍛煉。在生成預訓練階段，模型學習直接從傳感器輸入生成文本描述，從而增強其傳達高維數據復雜、上下文敏感解釋的能力。這些訓練策略的結合使SensorLM能夠形成對傳感器數據如何映射到自然語言的全面而細致的多模態理解。

實驗揭示SensorLM在零-shot分類、少-shot學習和跨模態理解方面的先進能力

根據谷歌研究，SensorLM在涉及人類活動識別和醫療保健應用的多樣化現實場景中進行了性能評估，顯示出在這些領域相較於現有領先模型的明顯改進。SensorLM在標籤數據有限的環境中表現尤爲出色。它展示了強大的零樣本分類能力，能夠在不需要模型微調的情況下正確識別20種不同活動，並展現了有效的少樣本學習，能夠快速適應新任務，所需示例極少。其跨模態檢索功能還實現了傳感器數據與自然語言之間的相互可解釋性，使用戶能夠使用文本搜索傳感器模式或從傳感器輸入生成相關描述——這種方法支持專家分析工作流。

除了分類，SensorLM還能夠僅基於可穿戴傳感器輸入生成結構化和上下文感知的文本摘要。實驗比較表明，這些輸出通常比非領域特定語言模型生成的輸出更連貫和準確。研究還觀察到，SensorLM 的性能隨着訓練數據、模型規模和計算資源的增加而持續提升，這與之前在模型擴展方面建立的原則一致。這些發現表明，該方法仍處於其潛力的早期階段，值得繼續探索。

SensorLM的開發引入了一個通過自然語言解釋復雜可穿戴傳感器數據的框架。這是通過一種新開發的分層標題方法以及迄今爲止認爲是最大的傳感器-語言數據集來實現的。因此，SensorLM模型系列在增強個人健康數據的可獲取性和實用性方面邁出了重要一步。通過使機器能夠通過語言解釋生理信號，這項工作爲更個性化和信息豐富的健康反饋奠定了基礎。未來的努力將探索擴展到代謝譜分析和高級睡眠監測等領域，廣泛目標是支持個性化健康工具、臨牀監測系統和能夠進行自然語言交互的數字健康助手。基於此研究的任何未來產品的開發和部署可能需要經過臨牀驗證和監管監督。