Підрозділ, зосереджений як на фундаментальних, так і на прикладних дослідженнях, Google Research представив SensorLM, нову сім'ю моделей сенсорно-мовного фундаменту, розроблених для покращення інтерпретації високор вимірних даних з носимих сенсорів. Навчений на величезному обсязі в 59,7 мільйона годин мультимодальних сенсорних даних від більш ніж 103 000 осіб, SensorLM здатен генерувати детальні, зрозумілі людині описи з складних сигналів сенсорів, встановлюючи нову планку у сфері аналізу сенсорних даних.
Для розробки навчального набору даних для SensorLM було відібрано приблизно 2,5 мільйона людино-днів деідентифікованих сенсорних даних від 103,643 учасників з 127 країн. Ці дані були зібрані з пристроїв Fitbit та Pixel Watch у період з 1 березня по 1 травня 2024 року, причому всі учасники надали інформовану згоду на використання їх анонімних даних у дослідженнях, спрямованих на розширення загальних знань у сфері здоров'я та науки.
Дослідники реалізували автоматизований ієрархічний конвеєр, який генерує описові заголовки, обчислюючи статистику, розпізнаючи шаблони та підсумовуючи події безпосередньо з даних датчиків, щоб вирішити проблему маркування великих обсягів даних. Цей підхід дозволив створити те, що на сьогодні є найбільшою відомою базою даних, яка узгоджує вхідні дані датчиків з мовою, перевершивши обсяги баз даних, що використовувалися в попередніх дослідженнях.
Архітектура SensorLM включає та гармонізує широко використовувані мультимодальні методології попереднього навчання, зокрема контрастивне навчання та генеративне попереднє навчання, у єдину структуру. У фазі контрастивного навчання модель навчається асоціювати сегменти сенсорних даних з відповідними текстовими описами, обраними з групи альтернатив.
Цей процес дозволяє моделі точно відрізняти різні фізичні активності або фізіологічні стани, такі як розрізнення між легким плаванням і тренуванням, орієнтованим на силу. На етапі генеративного попереднього навчання модель навчається створювати текстові описи безпосередньо з сенсорних вхідних даних, що підвищує її здатність передавати складні, контекстно чутливі інтерпретації високо вимірювальних даних. Інтеграція цих стратегій навчання дозволяє SensorLM формувати всебічне та тонке мультимодальне розуміння того, як сенсорні дані відображаються на природну мову.
Експерименти виявляють просунуті можливості SensorLM в нульовій класифікації, навчанні з кількома прикладами та крос-модальному розумінні
Згідно з дослідженням Google, продуктивність SensorLM оцінювалася в різних реальних сценаріях, що включають розпізнавання людської активності та медичні застосунки, демонструючи чіткі покращення в порівнянні з існуючими провідними моделями в цих областях. SensorLM особливо добре працює в середовищах з обмеженими маркованими даними. Він продемонстрував сильні можливості нульової класифікації, правильно ідентифікуючи 20 різних активностей без необхідності в тонкій налаштуванні моделі, і показав ефективне навчання з кількома прикладами, швидко адаптуючись до нових завдань з мінімальною кількістю прикладів. Його функціональність крос-модального пошуку також дозволяє взаємну інтерпретацію між даними датчиків та природною мовою, дозволяючи користувачам шукати патерни датчиків за допомогою тексту або генерувати відповідні описи з вхідних даних датчиків — підхід, який підтримує робочі процеси експертного аналізу.
На додаток до класифікації, SensorLM здатний генерувати структуровані та контекстно усвідомлені текстові резюме, базуючись виключно на вхідних даних з носимих датчиків. Експериментальні порівняння вказують на те, що ці результати, як правило, є більш зв'язними та точними, ніж ті, що генеруються недоменно специфічними мовними моделями. Дослідження також виявило, що продуктивність SensorLM постійно зростає зі збільшенням обсягу навчальних даних, розміру моделі та обчислювальних ресурсів, що відповідає раніше встановленим принципам масштабування моделей. Ці результати свідчать про те, що підхід залишаєтся на ранній стадії свого потенціалу і потребує подальшого вивчення.
Розробка SensorLM представляє собою структуру для інтерпретації складних даних носимих датчиків за допомогою природної мови. Це стало можливим завдяки новій ієрархічній методи підписування та тому, що вважається найбільшою датасетом сенсорів і мови, зібраним на сьогоднішній день. В результаті, модельна сім'я SensorLM забезпечує крок вперед у покращенні доступності та корисності особистих даних про здоров'я. Дозволяючи машинам інтерпретувати фізіологічні сигнали через мову, ця робота закладає основу для більш індивідуалізованого та інформативного зворотного зв'язку про здоров'я. Майбутні зусилля будуть досліджувати розширення в такі області, як метаболічне профілювання та вдосконалений моніторинг сну, з більшою метою підтримки персоналізованих інструментів для добробуту, систем клінічного моніторингу та цифрових помічників охорони здоров'я, здатних до взаємодії природною мовою. Розробка та впровадження будь-яких майбутніх продуктів на основі цього дослідження можуть підлягати клінічній валідації та регуляторному контролю.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Google представляє SensorLM, який перетворює сенсорні сигнали на орієнтовані на людину здоров'я інсайти.
Підрозділ, зосереджений як на фундаментальних, так і на прикладних дослідженнях, Google Research представив SensorLM, нову сім'ю моделей сенсорно-мовного фундаменту, розроблених для покращення інтерпретації високор вимірних даних з носимих сенсорів. Навчений на величезному обсязі в 59,7 мільйона годин мультимодальних сенсорних даних від більш ніж 103 000 осіб, SensorLM здатен генерувати детальні, зрозумілі людині описи з складних сигналів сенсорів, встановлюючи нову планку у сфері аналізу сенсорних даних.
Для розробки навчального набору даних для SensorLM було відібрано приблизно 2,5 мільйона людино-днів деідентифікованих сенсорних даних від 103,643 учасників з 127 країн. Ці дані були зібрані з пристроїв Fitbit та Pixel Watch у період з 1 березня по 1 травня 2024 року, причому всі учасники надали інформовану згоду на використання їх анонімних даних у дослідженнях, спрямованих на розширення загальних знань у сфері здоров'я та науки.
Дослідники реалізували автоматизований ієрархічний конвеєр, який генерує описові заголовки, обчислюючи статистику, розпізнаючи шаблони та підсумовуючи події безпосередньо з даних датчиків, щоб вирішити проблему маркування великих обсягів даних. Цей підхід дозволив створити те, що на сьогодні є найбільшою відомою базою даних, яка узгоджує вхідні дані датчиків з мовою, перевершивши обсяги баз даних, що використовувалися в попередніх дослідженнях.
Архітектура SensorLM включає та гармонізує широко використовувані мультимодальні методології попереднього навчання, зокрема контрастивне навчання та генеративне попереднє навчання, у єдину структуру. У фазі контрастивного навчання модель навчається асоціювати сегменти сенсорних даних з відповідними текстовими описами, обраними з групи альтернатив.
Цей процес дозволяє моделі точно відрізняти різні фізичні активності або фізіологічні стани, такі як розрізнення між легким плаванням і тренуванням, орієнтованим на силу. На етапі генеративного попереднього навчання модель навчається створювати текстові описи безпосередньо з сенсорних вхідних даних, що підвищує її здатність передавати складні, контекстно чутливі інтерпретації високо вимірювальних даних. Інтеграція цих стратегій навчання дозволяє SensorLM формувати всебічне та тонке мультимодальне розуміння того, як сенсорні дані відображаються на природну мову.
Експерименти виявляють просунуті можливості SensorLM в нульовій класифікації, навчанні з кількома прикладами та крос-модальному розумінні
Згідно з дослідженням Google, продуктивність SensorLM оцінювалася в різних реальних сценаріях, що включають розпізнавання людської активності та медичні застосунки, демонструючи чіткі покращення в порівнянні з існуючими провідними моделями в цих областях. SensorLM особливо добре працює в середовищах з обмеженими маркованими даними. Він продемонстрував сильні можливості нульової класифікації, правильно ідентифікуючи 20 різних активностей без необхідності в тонкій налаштуванні моделі, і показав ефективне навчання з кількома прикладами, швидко адаптуючись до нових завдань з мінімальною кількістю прикладів. Його функціональність крос-модального пошуку також дозволяє взаємну інтерпретацію між даними датчиків та природною мовою, дозволяючи користувачам шукати патерни датчиків за допомогою тексту або генерувати відповідні описи з вхідних даних датчиків — підхід, який підтримує робочі процеси експертного аналізу.
На додаток до класифікації, SensorLM здатний генерувати структуровані та контекстно усвідомлені текстові резюме, базуючись виключно на вхідних даних з носимих датчиків. Експериментальні порівняння вказують на те, що ці результати, як правило, є більш зв'язними та точними, ніж ті, що генеруються недоменно специфічними мовними моделями. Дослідження також виявило, що продуктивність SensorLM постійно зростає зі збільшенням обсягу навчальних даних, розміру моделі та обчислювальних ресурсів, що відповідає раніше встановленим принципам масштабування моделей. Ці результати свідчать про те, що підхід залишаєтся на ранній стадії свого потенціалу і потребує подальшого вивчення.
Розробка SensorLM представляє собою структуру для інтерпретації складних даних носимих датчиків за допомогою природної мови. Це стало можливим завдяки новій ієрархічній методи підписування та тому, що вважається найбільшою датасетом сенсорів і мови, зібраним на сьогоднішній день. В результаті, модельна сім'я SensorLM забезпечує крок вперед у покращенні доступності та корисності особистих даних про здоров'я. Дозволяючи машинам інтерпретувати фізіологічні сигнали через мову, ця робота закладає основу для більш індивідуалізованого та інформативного зворотного зв'язку про здоров'я. Майбутні зусилля будуть досліджувати розширення в такі області, як метаболічне профілювання та вдосконалений моніторинг сну, з більшою метою підтримки персоналізованих інструментів для добробуту, систем клінічного моніторингу та цифрових помічників охорони здоров'я, здатних до взаємодії природною мовою. Розробка та впровадження будь-яких майбутніх продуктів на основі цього дослідження можуть підлягати клінічній валідації та регуляторному контролю.