Синтетические данные

Синтетические данные - это искусственно сгенерированная информация, которая имитирует статистические свойства реальных данных, а не собирается непосредственно из реальных событий или измерений. В области искусственного интеллекта (ИИ) и машинного обучения (МЛ) синтетические данные служат важнейшей альтернативой или дополнением к реальным обучающим данным. Они особенно ценны, когда сбор достаточного количества реальных данных затруднен, дорог, требует много времени(Руководство по сбору данных и аннотациям) или вызывает опасения по поводу конфиденциальности данных. Эта искусственно созданная информация помогает обучать такие модели, как Ultralytics YOLO, тестировать системы и исследовать сценарии, которые в реальности могут быть редкими или опасными, что в конечном итоге повышает инновационность и эффективность моделей.

Как создаются синтетические данные

Для создания синтетических данных используются различные техники, в зависимости от требуемой сложности и достоверности. Некоторые распространенные подходы включают в себя:

• Статистическое моделирование: Использование статистических методов, таких как выборка из вероятностных распределений или регрессионные модели, полученные на основе реальных данных.
• Симуляции: Создание виртуальных сред или процессов для получения данных. Это распространено в робототехнике и автономных системах, где используются такие платформы, как NVIDIA Omniverse или Unity Simulation.
• Модели глубокого обучения: Используй методы глубокого обучения (Deep Learning, DL), особенно генеративные адверсарные сети (Generative Adversarial Networks, GANs) и, в последнее время, диффузионные модели. Эти модели изучают глубинные закономерности реальных данных и генерируют новые, похожие точки данных. В оригинальной статье о GAN была представлена основополагающая концепция в этой области.

Важность в искусственном интеллекте и компьютерном зрении

Синтетические данные дают несколько значительных преимуществ для развития ИИ и компьютерного зрения:

• Преодоление дефицита данных: В условиях ограниченности или дороговизны реальных данных ты получаешь большие объемы данных, что помогает в обучении надежных моделей(Советы по обучению моделей).
• Повышение конфиденциальности данных: Генерирует данные, сохраняющие статистические свойства и не содержащие конфиденциальной информации о реальном мире, что помогает соблюдать правила конфиденциальности и позволяет использовать такие техники, как дифференциальная конфиденциальность.
• Уменьшение предвзятости: можно тщательно контролировать, чтобы смягчить или расширить представление недопредставленных групп или сценариев, помогая устранить предвзятость в наборе данных и способствовать справедливости в ИИ.
• Охватывая крайние случаи: Позволяет создавать данные, представляющие редкие или опасные сценарии (например, аварии автономных транспортных средств, редкие медицинские состояния), которые сложно зафиксировать в реальности. Это улучшает обобщение модели.
• Эффективность затрат и времени: Часто генерировать данные дешевле и быстрее, чем собирать и маркировать реальные данные(Data Labeling Explained).

В компьютерном зрении синтетические изображения часто используются для обучения моделей для таких задач, как обнаружение объектов, сегментация изображений и оценка позы в различных условиях (например, при меняющемся освещении, погоде, ракурсах), которые трудно найти в доступных наборах данных.

Применение в реальном мире

Синтетические данные применяются во многих отраслях:

• ИИ в автомобилестроении: Обучение моделей для самодвижущихся автомобилей требует огромного количества разнообразных данных о вождении. Симуляторы, такие как среда моделирования Waymo, генерируют синтетические сценарии, включающие редкие события вроде аварий или необычных дорожных условий, что крайне важно для тестирования безопасности без риска в реальном мире. Это ускоряет разработку надежных автономных систем.
• ИИ в здравоохранении: Разработка моделей ИИ для анализа медицинских изображений, например для обнаружения опухолей, часто сталкивается с проблемами, связанными с правилами конфиденциальности пациентов (например, HIPAA) и нехваткой маркированных данных для редких заболеваний. Синтетические медицинские изображения или истории болезни (например, созданные с помощью таких инструментов, как Synthea) позволяют исследователям обучать модели без ущерба для конфиденциальности, демократизируя доступ к данным.

Среди других применений - финансовое моделирование(AI in Finance), розничная торговля(AI for Smarter Retail) и обучение робототехнике.

Синтетические данные против дополнения данных

Хотя и синтетические данные, и увеличение данных направлены на улучшение наборов данных, это разные понятия:

• Дополнение данных: Представляет собой применение преобразований (таких как поворот, кадрирование, изменение цвета) к существующим реальным точкам данных для создания слегка измененных версий. Это увеличивает разнообразие обучающего набора на основе распределения исходных данных. Модели Ultralytics часто включают в себя встроенные дополнения(Albumentations Integration).
• Синтетические данные: Синтетические данные - это совершенно новые данные, созданные искусственно, часто с помощью симуляторов или генеративных моделей вроде GAN. Они не обязательно начинаются с конкретной реальной точки данных и могут представлять собой сценарии, полностью отсутствующие в исходном наборе данных.

По сути, увеличение данных расширяет вариативность существующих данных, в то время как синтетические данные могут создавать совершенно новые точки данных и сценарии, предлагая мощный способ дополнить или даже заменить реальные данные в обучении моделей ИИ, управляемых с помощью таких платформ, как Ultralytics HUB.