Отделение, сосредоточенное как на фундаментальных, так и на прикладных исследованиях, Google Research представило SensorLM, новую семью моделей основанных на сенсорах и языке, разработанных для улучшения интерпретации многомерных данных носимых сенсоров. Обученный на обширных 59,7 миллионах часов мультимодальных сенсорных данных от более чем 103 000 человек, SensorLM способен производить детализированные, читаемые человеком описания из сложных сенсорных сигналов, устанавливая новую веху в области анализа сенсорных данных.
Для разработки обучающего набора данных для SensorLM было отобрано примерно 2,5 миллиона человеко-дней анонимизированных сенсорных данных от 103643 участников из 127 стран. Эти данные были собраны с устройств Fitbit и Pixel Watch в период с 1 марта по 1 мая 2024 года, при этом все участники предоставили информированное согласие на использование их анонимизированных данных в исследовании, направленном на расширение общих знаний в области здоровья и науки.
Исследователи реализовали автоматизированный иерархический конвейер, который генерирует описательные подписи, вычисляя статистику, распознавая шаблоны и подводя итоги событиям непосредственно из данных датчиков, чтобы решить задачу маркировки крупномасштабных данных. Этот подход позволил создать то, что на сегодняшний день является крупнейшим известным набором данных, согласующим входные данные датчиков с языком, превзойдя масштаб наборов данных, использованных в предыдущих исследованиях.
Архитектура SensorLM включает и гармонизирует широко используемые методологии многомодального предварительного обучения, в частности контрастивное обучение и генеративное предварительное обучение, в единую структуру. На этапе контрастивного обучения модель обучается ассоциировать сегменты сенсорных данных с соответствующими текстовыми описаниями, выбранными из группы альтернатив.
Этот процесс позволяет модели точно различать различные физические активности или физиологические состояния, такие как различение легкого плавания и силовой тренировки. На этапе генеративного предварительного обучения модель учится производить текстовые описания непосредственно из входных данных сенсоров, что улучшает ее способность передавать сложные, чувствительные к контексту интерпретации высокоразмерных данных. Интеграция этих стратегий обучения позволяет SensorLM формировать всестороннее и тонкое мультимодальное понимание того, как данные сенсоров соотносятся с естественным языком.
Эксперименты раскрывают продвинутые возможности SensorLM в нулевой классификации, обучении с небольшим количеством примеров и кросс-модальном понимании
Согласно исследованию Google, производительность SensorLM была оценена в различных реальных сценариях, связанных с распознаванием человеческой активности и приложениями в области здравоохранения, показывая явные улучшения по сравнению с существующими ведущими моделями в этих областях. SensorLM особенно хорошо работает в средах с ограниченным количеством размеченных данных. Он продемонстрировал сильные возможности нулевой классификации, правильно идентифицируя 20 различных действий без необходимости тонкой настройки модели, и показал эффективное обучение с небольшим количеством примеров, быстро адаптируясь к новым задачам с минимальными примерами. Его функциональность кросс-модального поиска также обеспечивает взаимную интерпретируемость между данными сенсоров и естественным языком, позволяя пользователям искать сенсорные паттерны с помощью текста или генерировать соответствующие описания на основе сенсорных данных — подход, который поддерживает рабочие процессы экспертного анализа.
В дополнение к классификации, SensorLM способен генерировать структурированные и контекстно-осведомленные текстовые резюме, основываясь исключительно на входных данных носимых датчиков. Экспериментальные сравнения показывают, что эти результаты, как правило, более связные и точные, чем те, что генерируются языковыми моделями, не относящимися к данной области. Исследование также показало, что производительность SensorLM последовательно увеличивается с ростом объема обучающих данных, размера модели и вычислительных ресурсов, что соответствует ранее установленным принципам масштабирования моделей. Эти результаты предполагают, что данный подход остается на ранней стадии своего потенциала и требует дальнейшего изучения.
Разработка SensorLM представляет собой структуру для интерпретации сложных данных носимых сенсоров с помощью естественного языка. Это стало возможным благодаря недавно разработанному иерархическому методу аннотирования и тому, что считается крупнейшим набором данных сенсорного языка, собранным на сегодняшний день. В результате семейство моделей SensorLM делает шаг вперед в повышении доступности и полезности данных о здоровье. Позволяя машинам интерпретировать физиологические сигналы с помощью языка, данная работа закладывает основу для более персонализированной и информативной обратной связи по вопросам здоровья. Будущие усилия будут направлены на расширение в такие области, как метаболический профиль и продвинутое мониторирование сна, с более широкой целью поддержки персонализированных инструментов для оздоровления, систем клинического мониторинга и цифровых помощников в области здоровья, способных к взаимодействию на естественном языке. Разработка и внедрение любых будущих продуктов на основе этого исследования могут подлежать клинической проверке и регулированию.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Google представляет SensorLM, который переводит сигналы сенсоров в ориентированные на человека данные о здоровье.
Отделение, сосредоточенное как на фундаментальных, так и на прикладных исследованиях, Google Research представило SensorLM, новую семью моделей основанных на сенсорах и языке, разработанных для улучшения интерпретации многомерных данных носимых сенсоров. Обученный на обширных 59,7 миллионах часов мультимодальных сенсорных данных от более чем 103 000 человек, SensorLM способен производить детализированные, читаемые человеком описания из сложных сенсорных сигналов, устанавливая новую веху в области анализа сенсорных данных.
Для разработки обучающего набора данных для SensorLM было отобрано примерно 2,5 миллиона человеко-дней анонимизированных сенсорных данных от 103643 участников из 127 стран. Эти данные были собраны с устройств Fitbit и Pixel Watch в период с 1 марта по 1 мая 2024 года, при этом все участники предоставили информированное согласие на использование их анонимизированных данных в исследовании, направленном на расширение общих знаний в области здоровья и науки.
Исследователи реализовали автоматизированный иерархический конвейер, который генерирует описательные подписи, вычисляя статистику, распознавая шаблоны и подводя итоги событиям непосредственно из данных датчиков, чтобы решить задачу маркировки крупномасштабных данных. Этот подход позволил создать то, что на сегодняшний день является крупнейшим известным набором данных, согласующим входные данные датчиков с языком, превзойдя масштаб наборов данных, использованных в предыдущих исследованиях.
Архитектура SensorLM включает и гармонизирует широко используемые методологии многомодального предварительного обучения, в частности контрастивное обучение и генеративное предварительное обучение, в единую структуру. На этапе контрастивного обучения модель обучается ассоциировать сегменты сенсорных данных с соответствующими текстовыми описаниями, выбранными из группы альтернатив.
Этот процесс позволяет модели точно различать различные физические активности или физиологические состояния, такие как различение легкого плавания и силовой тренировки. На этапе генеративного предварительного обучения модель учится производить текстовые описания непосредственно из входных данных сенсоров, что улучшает ее способность передавать сложные, чувствительные к контексту интерпретации высокоразмерных данных. Интеграция этих стратегий обучения позволяет SensorLM формировать всестороннее и тонкое мультимодальное понимание того, как данные сенсоров соотносятся с естественным языком.
Эксперименты раскрывают продвинутые возможности SensorLM в нулевой классификации, обучении с небольшим количеством примеров и кросс-модальном понимании
Согласно исследованию Google, производительность SensorLM была оценена в различных реальных сценариях, связанных с распознаванием человеческой активности и приложениями в области здравоохранения, показывая явные улучшения по сравнению с существующими ведущими моделями в этих областях. SensorLM особенно хорошо работает в средах с ограниченным количеством размеченных данных. Он продемонстрировал сильные возможности нулевой классификации, правильно идентифицируя 20 различных действий без необходимости тонкой настройки модели, и показал эффективное обучение с небольшим количеством примеров, быстро адаптируясь к новым задачам с минимальными примерами. Его функциональность кросс-модального поиска также обеспечивает взаимную интерпретируемость между данными сенсоров и естественным языком, позволяя пользователям искать сенсорные паттерны с помощью текста или генерировать соответствующие описания на основе сенсорных данных — подход, который поддерживает рабочие процессы экспертного анализа.
В дополнение к классификации, SensorLM способен генерировать структурированные и контекстно-осведомленные текстовые резюме, основываясь исключительно на входных данных носимых датчиков. Экспериментальные сравнения показывают, что эти результаты, как правило, более связные и точные, чем те, что генерируются языковыми моделями, не относящимися к данной области. Исследование также показало, что производительность SensorLM последовательно увеличивается с ростом объема обучающих данных, размера модели и вычислительных ресурсов, что соответствует ранее установленным принципам масштабирования моделей. Эти результаты предполагают, что данный подход остается на ранней стадии своего потенциала и требует дальнейшего изучения.
Разработка SensorLM представляет собой структуру для интерпретации сложных данных носимых сенсоров с помощью естественного языка. Это стало возможным благодаря недавно разработанному иерархическому методу аннотирования и тому, что считается крупнейшим набором данных сенсорного языка, собранным на сегодняшний день. В результате семейство моделей SensorLM делает шаг вперед в повышении доступности и полезности данных о здоровье. Позволяя машинам интерпретировать физиологические сигналы с помощью языка, данная работа закладывает основу для более персонализированной и информативной обратной связи по вопросам здоровья. Будущие усилия будут направлены на расширение в такие области, как метаболический профиль и продвинутое мониторирование сна, с более широкой целью поддержки персонализированных инструментов для оздоровления, систем клинического мониторинга и цифровых помощников в области здоровья, способных к взаимодействию на естественном языке. Разработка и внедрение любых будущих продуктов на основе этого исследования могут подлежать клинической проверке и регулированию.