Robusto y de datos

Nature Biomedical Engineering (2023)Citar este artículo

142 Accesos

55 Altmetric

Detalles de métricas

Los modelos de aprendizaje automático para tareas médicas pueden igualar o superar el rendimiento de los expertos clínicos. Sin embargo, en entornos diferentes a los del conjunto de datos de entrenamiento, el rendimiento de un modelo puede deteriorarse sustancialmente. Aquí informamos una estrategia de aprendizaje de representación para modelos de aprendizaje automático aplicados a tareas de imágenes médicas que mitiga ese problema de rendimiento 'fuera de distribución' y que mejora la solidez del modelo y la eficiencia del entrenamiento. La estrategia, que denominamos REMEDIS (por "Imágenes médicas sólidas y eficientes con autosupervisión"), combina el aprendizaje de transferencia supervisado a gran escala en imágenes naturales y el aprendizaje autosupervisado contrastivo intermedio en imágenes médicas y requiere una personalización mínima específica de la tarea. Mostramos la utilidad de REMEDIS en una variedad de tareas de diagnóstico por imágenes que cubren seis dominios de imágenes y 15 conjuntos de datos de prueba, y mediante la simulación de tres escenarios realistas fuera de distribución. REMEDIS mejoró las precisiones de diagnóstico dentro de la distribución hasta en un 11,5 % con respecto a los modelos básicos supervisados sólidos, y en entornos fuera de la distribución solo requirió del 1 al 33 % de los datos para el reentrenamiento para igualar el rendimiento de los modelos supervisados reentrenados utilizando todos los datos disponibles . REMEDIS puede acelerar el ciclo de vida de desarrollo de modelos de aprendizaje automático para imágenes médicas.

Esta es una vista previa del contenido de suscripción, acceda a través de su institución

Acceda a Nature y a otras 54 revistas de Nature Portfolio

Obtenga Nature+, nuestra suscripción de acceso en línea de mejor valor

$29.99 / 30 días

cancelar en cualquier momento

Suscríbete a este diario

Reciba 12 números digitales y acceso en línea a artículos

$79.00 por año

solo $ 6.58 por número

Alquila o compra este artículo

Obtenga solo este artículo durante el tiempo que lo necesite

$39.95

Los precios pueden estar sujetos a impuestos locales que se calculan durante el pago

Los conjuntos de datos de Northwestern Medicine y Apollo Hospitals se usaron bajo licencia para el estudio actual y no están disponibles públicamente. Las solicitudes de acceso a la base de datos de Optimam se pueden realizar a través de este formulario web. Los datos de teledermatología no identificados utilizados en este estudio no están disponibles públicamente debido a restricciones en el acuerdo de intercambio de datos. El conjunto de datos sin etiquetar utilizado para la clasificación de DME son datos no identificados de EyePACS Inc. Los investigadores interesados deben comunicarse con [email protected] para consultar sobre el acceso a los datos de EyePACS y acercarse a la Oficina de Investigación y Desarrollo para consultar sobre el acceso a los datos de VA. El resto de los datos anotados para las tareas de clasificación de DME ID y OOD se recopilaron en el Rajavithi Hospital Thailand y en el Lions Eye Institute y no están disponibles públicamente debido a restricciones en el acuerdo de intercambio de datos. Los datos utilizados en la evaluación y el entrenamiento previo de la clasificación de condiciones de radiografía de tórax, incluidos MIMIC-CXR, CheXpert y ChestX-ray 14, están disponibles públicamente. Los datos utilizados para el ajuste fino de ID y la evaluación de la detección de metástasis están disponibles públicamente en el sitio web del desafío CAMELYON. Los datos TCGA utilizados para el entrenamiento previo para las tareas de detección de metástasis basadas en patología y predicción de supervivencia están disponibles a través del sitio web de los NIH. El resto de los datos utilizados en las tareas de patología no están disponibles públicamente debido a restricciones en el acuerdo de intercambio de datos. Además, ImageNet-1K (ILSVRC-2012)68 utilizado para el entrenamiento previo de modelos supervisados de referencia e ImageNet-21K utilizado para el entrenamiento previo de modelos BiT-M están disponibles públicamente a través del sitio web de ImageNet. Los modelos BiT-L entrenados en el conjunto de datos JFT-300M54 no están disponibles públicamente debido a restricciones en el acuerdo de intercambio de datos.

Varios componentes principales del trabajo están disponibles en repositorios de código abierto, como la biblioteca T. El código base y los pesos preentrenados utilizados para el preentrenamiento autosupervisado están disponibles en S. El código base y los pesos preentrenados para los modelos BiT están disponibles en B. Todos los experimentos y los detalles de implementación se describen con suficiente detalle en Métodos y en Información complementaria para respaldar replicación con bibliotecas no propietarias. El código base utilizado para nuestra comparación con ResNet-RS se basó en R. Los investigadores pueden acceder fácilmente a una serie de puntos de control y modelos generados a través de REMEDIS a través de P. Además, los repositorios de Foundation Medical ML en GitHub ofrecen acceso a códigos que pueden utilizarse para entrenar modelos basados en REMEDIS.

LeCun, Y., Bengio, Y. & Hinton, G. Aprendizaje profundo. Naturaleza 521, 436–444 (2015).

Artículo CAS PubMed Google Académico

Yala, A., Lehman, C., Schuster, T., Portnoi, T. y Barzilay, R. Un modelo basado en mamografía de aprendizaje profundo para mejorar la predicción del riesgo de cáncer de mama. Radiología 292, 60–66 (2019).

Artículo PubMed Google Académico

Wu, N. et al. Las redes neuronales profundas mejoran el desempeño de los radiólogos en la detección del cáncer de mama. Trans. IEEE. Medicina. Imágenes 39, 1184–1194 (2019).

Artículo PubMed PubMed Central Google Académico

McKinney, SM et al. Evaluación internacional de un sistema de IA para el cribado del cáncer de mama. Naturaleza 577, 89–94 (2020).

Artículo CAS PubMed Google Académico

Rajpurkar, P. et al. Aprendizaje profundo para el diagnóstico de radiografía de tórax: una comparación retrospectiva del algoritmo CheXNeXt con radiólogos en ejercicio. PLoS Med. 15, e1002686 (2018).

Artículo PubMed PubMed Central Google Académico

Esteva, A. et al. Clasificación a nivel dermatólogo del cáncer de piel con redes neuronales profundas. Naturaleza 542, 115–118 (2017).

Artículo CAS PubMed PubMed Central Google Scholar

Liu, Y. et al. Un sistema de aprendizaje profundo para el diagnóstico diferencial de enfermedades de la piel. Nat. Medicina. 26, 900–908 (2020).

Artículo CAS PubMed Google Académico

Bera, K., Schalper, KA, Rimm, DL, Velcheti, V. & Madabhushi, A. Inteligencia artificial en patología digital: nuevas herramientas para diagnóstico y oncología de precisión. Nat. Reverendo Clin. oncol. 16, 703–715 (2019).

Artículo PubMed PubMed Central Google Académico

Rakha, EA et al. Aplicaciones actuales y futuras de la inteligencia artificial en patología: una perspectiva clínica. J. Clin. Patol. 74, 409–414 (2021).

Artículo CAS PubMed Google Académico

Wulczyn, E. et al. Predicción de supervivencia interpretable para el cáncer colorrectal mediante el aprendizaje profundo. npj Dígito. Medicina. 4, 71 (2021).

Artículo PubMed PubMed Central Google Académico

Gulshan, V. et al. Desarrollo y validación de un algoritmo de aprendizaje profundo para la detección de retinopatía diabética en fotografías de fondo de retina. JAMA 316, 2402–2410 (2016).

Artículo PubMed Google Académico

De Fauw, J. et al. Aprendizaje profundo clínicamente aplicable para el diagnóstico y derivación en enfermedades de la retina. Nat. Medicina. 24, 1342–1350 (2018).

Artículo PubMed Google Académico

Zhou, SK et al. Una revisión del aprendizaje profundo en imágenes médicas: rasgos de imágenes, tendencias tecnológicas, estudios de casos con avances destacados y promesas futuras. proc. IEEE 109, 820–838 (2021).

Artículo CAS Google Académico

Condón, JJJ et al. Replicación de un sistema de aprendizaje profundo de acceso abierto para mamografías de detección: rendimiento reducido mitigado por el reentrenamiento en datos locales. Preimpresión en medRxiv https://doi.org/10.1101/2021.05.28.21257892 (2021).

Zech, JR et al. Rendimiento de generalización variable de un modelo de aprendizaje profundo para detectar neumonía en radiografías de tórax: un estudio transversal. PLoS Med. 15, e1002683 (2018).

Artículo PubMed PubMed Central Google Académico

Zhang, H. et al. Un marco empírico para la generalización del dominio en entornos clínicos. En Proc. Conferencia sobre salud, inferencia y aprendizaje (eds Ghassemi, M. et al.) 279–290 (Association for Computing Machinery, 2021).

Seyyed-Kalantari, L., Liu, G., McDermott, M., Chen, IY y Ghassemi, M. CheXclusion: brechas de equidad en los clasificadores de rayos X de tórax profundo. Pac. Síntoma Biocomputación. 26, 232–243 (2021).

Académico de Google de PubMed

Kadambi, A. Lograr la equidad en los dispositivos médicos. Ciencia 372, 30–31 (2021).

Artículo CAS PubMed Google Académico

Pierson, E., Cutler, DM, Leskovec, J., Mullainathan, S. y Obermeyer, Z. Un enfoque algorítmico para reducir las disparidades de dolor inexplicables en poblaciones desatendidas. Nat. Medicina. 27, 136–140 (2021).

Inteligencia artificial en la atención médica: beneficios y desafíos de las tecnologías para aumentar la atención al paciente (Oficina de responsabilidad del gobierno de EE. UU., 2020).

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. y King, D. Desafíos clave para generar impacto clínico con inteligencia artificial. BMC Med. 17, 195 (2019).

Artículo PubMed PubMed Central Google Académico

Roberts, M. et al. Errores comunes y recomendaciones para usar el aprendizaje automático para detectar y pronosticar COVID-19 usando radiografías de tórax y tomografías computarizadas. Nat. Mach. Intel. 3, 199–217 (2021).

Artículo Google Académico

Van Leeuwen, KG, Schalekamp, S., Rutten, MJ, van Ginneken, B. & de Rooij, M. Inteligencia artificial en radiología: 100 productos disponibles comercialmente y su evidencia científica. EUR. Radiol. 31, 3797–3804 (2021).

Artículo PubMed PubMed Central Google Académico

Freeman, K. et al. Uso de inteligencia artificial para el análisis de imágenes en programas de detección de cáncer de mama: revisión sistemática de la precisión de la prueba. bmj 374, n1872 (2021).

Artículo PubMed PubMed Central Google Académico

D'Amour, A. et al. La subespecificación presenta desafíos para la credibilidad en el aprendizaje automático moderno. J. Mach. Aprender. Res. 23, 1–61 (2020).

Google Académico

Finlayson, SG et al. El clínico y el cambio de conjunto de datos en inteligencia artificial. N. ingl. J.Med. 386, 283–286 (2020).

Google Académico

Futoma, J., Simons, M., Panch, T., Doshi-Velez, F. & Celi, LA El mito de la generalizabilidad en la investigación clínica y el aprendizaje automático en el cuidado de la salud. Excavación de lanceta. Salud 2, e489–e492 (2020).

Artículo Google Académico

Willemink, MJ et al. Preparación de datos de imágenes médicas para el aprendizaje automático. Radiología 295, 4–15 (2020).

Artículo PubMed Google Académico

Li, F.-F., Fergus, R. & Perona, P. Aprendizaje único de categorías de objetos. Trans. IEEE. Patrón Anal. Mach. Intel. 28, 594–611 (2006).

Artículo Google Académico

Zhu, X., Ghahramani, Z. & Lafferty, JD Aprendizaje semisupervisado utilizando campos gaussianos y funciones armónicas. En Proc. 20.ª Conferencia internacional sobre aprendizaje automático (eds. Fawcett, T. & Mishra, N.) 912–919 (AAAI Press, 2003).

Cohn, D., Atlas, L. & Ladner, R. Mejora de la generalización con aprendizaje activo. Mach. Aprender. 15, 201–221 (1994).

Artículo Google Académico

Sutton, RS Generalización en el aprendizaje por refuerzo: ejemplos exitosos usando codificación escasa y gruesa. Adv. Información neuronal Proceso. sist. 8, 1038–1044 (1996).

Google Académico

Doersch, C., Gupta, A. & Efros, AA Aprendizaje de representación visual no supervisado por predicción de contexto. En Proc. Conferencia internacional IEEE sobre visión artificial 1422–1430 (IEEE, 2015).

Doersch, C. & Zisserman, A. Aprendizaje visual autosupervisado multitarea. En Proc. Conferencia internacional IEEE sobre visión artificial 2070–2079 (IEEE, 2017).

Gidaris, S., Singh, P. & Komodakis, N. Aprendizaje de representación no supervisado mediante la predicción de rotaciones de imágenes. Preimpresión en https://arxiv.org/abs/1803.07728 (2018).

Pathak, D., Krahenbuhl, P., Donahue, J., Darrell, T. y Efros, AA Codificadores de contexto: aprendizaje de características mediante la pintura. En Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones 2536–2544 (IEEE, 2016).

Larsson, G., Maire, M. & Shakhnarovich, G. La colorización como tarea proxy para la comprensión visual. En Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones 6874–6883 (IEEE, 2017).

Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. Bert: entrenamiento previo de transformadores bidireccionales profundos para la comprensión del lenguaje. Preimpresión en https://arxiv.org/abs/1810.04805 (2018).

Brown, TB et al. Los modelos de lenguaje son aprendices de pocas oportunidades. Adv. Información neuronal Sistema de proceso 33, 1877–1901 (2020).

Google Académico

Baevski, A., Auli, M. & Mohamed, A. Eficacia del entrenamiento previo autosupervisado para el reconocimiento de voz. Preimpresión en https://arxiv.org/abs/1911.03912 (2019).

Chen, L. et al. Aprendizaje autosupervisado para el análisis de imágenes médicas utilizando la restauración del contexto de la imagen. Medicina. Anal de imagen. 58, 101539 (2019).

Artículo PubMed PubMed Central Google Académico

He, K., Fan, H., Wu, Y., Xie, S. y Girshick, R. Momentum contrast para el aprendizaje de representaciones visuales sin supervisión. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 9729–9738 (IEEE, 2020).

Grill, J.-B. et al. Bootstrap your own latente: un nuevo enfoque para el aprendizaje autosupervisado. Adv. Información neuronal Proceso. sist. 33, 21271–21284 (2020).

Google Académico

Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. Un marco simple para el aprendizaje contrastivo de representaciones visuales. En Proc. 37.ª Conferencia internacional sobre aprendizaje automático (eds Daumé, H. & Singh, A.) 1597–1607 (JMLR, 2020).

Deng, J. et al. Imagenet: una base de datos de imágenes jerárquicas a gran escala. En 2009 Conferencia IEEE sobre visión artificial y reconocimiento de patrones 248–255 (IEEE, 2009).

He, K., Zhang, X., Ren, S. y Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. En Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones 770–778 (IEEE, 2016).

Touvron, H. et al. Capacitación de transformadores de imágenes eficientes en datos y destilación a través de la atención. En Proc. 38.ª Conferencia internacional sobre aprendizaje automático (eds. Meila, M. y Zhang, T.) 10347–10357 (PMLR, 2021).

Liu, H. & Abbeel, P. Entrenamiento híbrido discriminativo-generativo a través del aprendizaje contrastivo. Preimpresión en https://arxiv.org/abs/2007.09070 (2020).

Winkens, J. et al. Entrenamiento contrastivo para mejorar la detección fuera de distribución. Preimpresión en https://arxiv.org/abs/2007.05566 (2020).

Shen, K. et al. Conectar, no colapsar: explicando el aprendizaje contrastivo para la adaptación de dominio no supervisada. En Proc. 39.ª Conferencia internacional sobre aprendizaje automático (eds Chaudhuri, K. et al.) 19847–19878 (PMLR, 2022).

HaoChen, JZ, Wei, C., Kumar, A. y Ma, T. Más allá de la separabilidad: análisis de la transferibilidad lineal de representaciones contrastivas a subpoblaciones relacionadas. Preimpresión en https://arxiv.org/abs/2204.02683 (2022).

Kolesnikov, A. et al. Big transfer (BiT): aprendizaje general de representaciones visuales. En Proc. Conferencia europea sobre visión artificial (eds Vedaldi, A. et al.) 491–507 (Springer, 2020).

Huh, M., Agrawal, P. y Efros, AA ¿Qué hace que ImageNet sea bueno para el aprendizaje por transferencia? Preimpresión en https://arxiv.org/abs/1608.08614 (2016).

Sun, C., Shrivastava, A., Singh, S. & Gupta, A. Revisión de la efectividad irrazonable de los datos en la era del aprendizaje profundo. En Proc. Conferencia internacional IEEE sobre visión artificial 843–852 (IEEE, 2017).

Mahajan, D. et al. Explorando los límites del preentrenamiento débilmente supervisado. En Proc. Conferencia europea sobre visión artificial (eds Ferrari, V. et al.) 185–201 (Springer, 2018).

Houlsby, N. & Zhai, X. El punto de referencia de adaptación de tareas visuales (Google Research, 2019).

Mustafa, B. et al. Aprendizaje de transferencia supervisado a escala para imágenes médicas. Preimpresión en https://arxiv.org/abs/2101.05913 (2021).

Raghu, M., Zhang, C., Kleinberg, J. & Bengio, S. Transfusion: comprensión del aprendizaje por transferencia para imágenes médicas. Adv. Información neuronal Proceso. sist. 33, 3347–3357 (2019).

Hendrycks, D., Lee, K. & Mazeika, M. El uso del entrenamiento previo puede mejorar la solidez y la incertidumbre del modelo. En Proc. 36.ª Conferencia internacional sobre aprendizaje automático (eds Chaudhuri, K. & Salakhutdinov, R.) 2712–2721 (PMLR, 2019).

Li, J., Lin, T. & Xu, Y. SSLP: Aprendizaje autosupervisado guiado espacialmente en imágenes patológicas. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 3–12 (Springer, 2021).

Srinidhi, CL y Martel, AL Mejora del aprendizaje autosupervisado con aprendizaje de currículo dinámico consciente de la dureza: una aplicación a la patología digital. En Proc. Conferencia internacional IEEE/CVF sobre visión artificial 562–571 (IEEE, 2021).

Azizi, S. et al. Grandes modelos autosupervisados avanzan en la clasificación de imágenes médicas. En IEEE/CVF International Conference on Computer Vision (ICCV) 3458–3468 (IEEE, 2021).

Sowrirajan, H., Yang, J., Ng, AY y Rajpurkar, P. El entrenamiento previo de MoCo mejora la representación y la transferibilidad de los modelos de rayos X de tórax. En Proc. Cuarta Conferencia sobre Imágenes Médicas con Aprendizaje Profundo (eds Heinrich, M. et al.) 728–744 (PMLR, 2021).

Zhou, Z. et al. Models genesis: modelos genéricos autodidactas para el análisis de imágenes médicas en 3D. En Conferencia internacional sobre computación de imágenes médicas e intervención asistida por computadora (eds Shen, D. et al.) 384–393 (2019).

Liu, X. et al. Aprendizaje autosupervisado: generativo o contrastivo. Trans. IEEE. Saber Ing. de datos 35, 857–876 (2023).

Google Académico

Wang, X. et al. Chestx-ray8: base de datos de radiografías de tórax a escala hospitalaria y puntos de referencia sobre clasificación y localización de enfermedades comunes del tórax con supervisión débil. En Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones 3462–3471 (IEEE, 2017).

Hendrycks, D. et al. Los transformadores preentrenados mejoran la robustez fuera de distribución. Preimpresión en https://arxiv.org/abs/2004.06100 (2020).

Russakovsky, O. et al. Desafío de reconocimiento visual a gran escala Imagenet. En t. J. Cómputo. Vis. 115, 211–252 (2015).

Artículo Google Académico

Alzubaidi, L. et al. Optimización del rendimiento de la clasificación del cáncer de mama empleando el mismo aprendizaje de transferencia de dominio del modelo híbrido de red neuronal convolucional profunda. Electrónica 9, 445 (2020).

Artículo Google Académico

Graziani, M., Andrearczyk, V. & Müller, H. Visualización e interpretación de la reutilización de funciones de CNN preentrenadas para histopatología. En Proc. IMVIP 2019: Visión artificial irlandesa y procesamiento de imágenes (Universidad Tecnológica de Dublín, 2019).

Wu, Y. & He, K. Normalización de grupos. En Proc. Conferencia europea sobre visión artificial (ECCV) 3–19 (2018).

Chen, T., Kornblith, S., Swersky, K., Norouzi, M. & Hinton, G. Los grandes modelos autosupervisados son fuertes aprendices semisupervisados. Adv. Información neuronal Proceso. sist. 33, 22243–22255 (2020).

Google Académico

Becker, S. & Hinton, GE Red neuronal autoorganizada que descubre superficies en estereogramas de puntos aleatorios. Naturaleza 355, 161–163 (1992).

Artículo CAS PubMed Google Académico

Virgili, G. et al. Tomografía de coherencia óptica (OCT) para la detección de edema macular en pacientes con retinopatía diabética. Sistema de base de datos Cochrane. Rev. 1, CD008081 (2015).

Académico de Google de PubMed

Liu, X. et al. Aprendizaje profundo para detectar edema macular diabético derivado de tomografía de coherencia óptica a partir de fotografías de la retina: un estudio de validación multicéntrico. Oftalmol. Retina 6, 398–410 (2022).

Artículo PubMed Google Académico

Brown, JC et al. Detección de edema foveal diabético: biomicroscopia de lentes de contacto en comparación con tomografía de coherencia óptica. Arco. Oftalmol. 122, 330–335 (2004).

Artículo PubMed Google Académico

Sadda, SR et al. Detección automatizada de edema macular clínicamente significativo mediante tomografía de coherencia óptica de barrido en cuadrícula. Oftalmología 113, 1187.e1-12 (2006).

Artículo PubMed Google Académico

Irvin, J. et al. Chexpert: un gran conjunto de datos de radiografías de tórax con etiquetas de incertidumbre y comparación de expertos. proc. Conf. Artefacto AAAI. Intel. 33, 590–597 (2019).

Johnson, AE et al. MIMIC-CXR, una base de datos anónima disponible públicamente de radiografías de tórax con informes de texto libre. ciencia Datos 6, 317 (2019).

Artículo PubMed PubMed Central Google Académico

Neyshabur, B., Sedghi, H. y Zhang, C. ¿Qué se transfiere en el aprendizaje por transferencia? Adv. Información neuronal Proceso. sist. 33, 512–523 (2020).

Google Académico

Ilse, M., Tomczak, J. & Welling, M. Aprendizaje profundo de múltiples instancias basado en la atención. En Proc. 35.ª Conferencia internacional sobre aprendizaje automático (eds Dy, J. & Krause, A.) 2127–2136 (PMLR, 2018).

Bejnordi, BE et al. Evaluación diagnóstica de algoritmos de aprendizaje profundo para la detección de metástasis en ganglios linfáticos en mujeres con cáncer de mama. JAMA 318, 2199–2210 (2017).

Artículo Google Académico

Vu, YNT et al. MedAug: el aprendizaje contrastivo que aprovecha los metadatos del paciente mejora las representaciones para la interpretación de radiografías de tórax. En Proc. 6.ª Conferencia sobre aprendizaje automático para el cuidado de la salud (eds Jung, K. et al.) 755–769 (PMLR, 2021).

Chen, X., Fan, H., Girshick, R. & He, K. Líneas de base mejoradas con aprendizaje contrastivo de impulso. Preimpresión en https://arxiv.org/abs/2003.04297 (2020).

Mitrovic, J., McWilliams, B., Walker, J., Buesing, L. y Blundell, C. Representación de aprendizaje a través de mecanismos causales invariantes. Preimpresión en https://arxiv.org/abs/2010.07922 (2020).

Zbontar, J., Jing, L., Misra, I., LeCun, Y. y Deny, S. Barlow gemelos: aprendizaje autosupervisado a través de la reducción de la redundancia. En Proc. 38.ª Conferencia internacional sobre aprendizaje automático (eds. Meila, M. y Zhang, T.) 12310–12320 (PMLR, 2021).

Dunmon, JA et al. La programación de datos multimodal permite un rápido aprendizaje automático médico. Patrones 1, 100019 (2020).

Artículo PubMed PubMed Central Google Académico

Campanella, G. et al. Patología computacional de grado clínico que usa aprendizaje profundo débilmente supervisado en imágenes de diapositivas completas. Nat. Medicina. 25, 1301-1309 (2019).

Artículo CAS PubMed PubMed Central Google Scholar

Eyuboglu, S. et al. La supervisión débil multitarea permite la detección de anomalías anatómicamente resueltas en FDG-PET/CT de cuerpo entero. Nat. común 12 de diciembre de 1880 (2021).

Artículo CAS PubMed PubMed Central Google Scholar

Bakalo, R., Ben-Ari, R. & Goldberger, J. Clasificación y detección en mamografías con supervisión débil a través de una red neuronal profunda de doble rama. En el 16º Simposio Internacional de Imágenes Biomédicas (ISBI) 1905–1909 del IEEE (IEEE, 2019).

Wenzel, F. et al. Ensayo de generalización fuera de distribución en el aprendizaje por transferencia. Adv. Información neuronal Proceso. sist. 35, 7181–7198 (2022).

Google Académico

Hendrycks, D. & Dietterich, T. Evaluación comparativa de la robustez de la red neuronal frente a corrupciones y perturbaciones comunes. Preimpresión en https://arxiv.org/abs/1903.12261 (2019).

Wang, Z., Dai, Z., Póczos, B. & Carbonell, J. Caracterización y prevención de la transferencia negativa. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 11285–11294 (IEEE, 2019).

Gulrajani, I. & Lopez-Paz, D. En busca de la generalización del dominio perdido. Preimpresión en https://arxiv.org/abs/2007.01434 (2020).

Vapnik, VN Teoría del aprendizaje estadístico (Wiley-Interscience, 1998).

Zhang, H., Cisse, M., Dauphin, YN y Lopez-Paz, D. confusión: más allá de la minimización empírica del riesgo. Preimpresión en https://arxiv.org/abs/1710.09412 (2017).

Goyal, P. et al. Preentrenamiento autosupervisado de características visuales en la naturaleza. Preimpresión en https://arxiv.org/abs/2103.01988 (2021).

Bubeck, S. & Sellke, M. Una ley universal de robustez mediante isoperimetría. J. ACM 70, 1–18 (2023).

Artículo Google Académico

Ericsson, L., Gouk, H. & Hospedales, TM ¿Qué tan bien se transfieren los modelos autosupervisados? En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 5410–5419 (IEEE, 2021).

Chen, X. & He, K. Explorando el aprendizaje de la representación siamés simple. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 15745–15753 (IEEE, 2021).

Ciga, O., Martel, AL & Xu, T. Aprendizaje contrastivo autosupervisado para histopatología digital. Mach. Aprender. 7, 100198 (2022).

Google Académico

Taher, MRH, Haghighi, F., Gotway, MB y Liang, J. CAiD: discriminación de instancias consciente del contexto para el aprendizaje autosupervisado en imágenes médicas. En Proc. 5.ª Conferencia internacional sobre imágenes médicas con aprendizaje profundo (eds Konukoglu, E. et al.) 535–551 (PMLR, 2022).

Taher, MRH, Haghighi, F., Feng, R., Gotway, MB y Liang, J. en Adaptación de dominio y transferencia de representación, y Atención médica asequible e IA para la salud global diversa en recursos (eds Albarqouni, S. et al.) 3 –13 (Primavera, 2021).

Xie, Q., Luong, M.-T., Hovy, E. & Le, QV La autoformación con estudiantes ruidosos mejora la clasificación de imagenet. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 10684–10695 (IEEE, 2020).

Srinidhi, CL, Kim, SW, Chen, F.-D. & Martel, AL Capacitación de consistencia dirigida autosupervisada para análisis de imágenes de histopatología eficientes en anotaciones. Medicina. Anal de imagen. 75, 102256 (2022).

Artículo PubMed Google Académico

Li, Z. et al. Generalización de dominios para la detección de mamografías a través del aprendizaje contrastivo multiestilo y multivista. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 98–108 (Springer, 2021).

Sato, J. et al. Aprendizaje autosupervisado consciente de la anatomía para la detección de anomalías en radiografías de tórax. Preimpresión en https://arxiv.org/abs/2205.04282 (2022).

Worstman, M. et al. Ajuste fino robusto de modelos de tiro cero. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 7959–7971 (IEEE, 2022).

Nguyen, T., Raghu, M. y Kornblith, S. ¿Aprenden las mismas cosas las redes amplias y profundas? Descubrir cómo las representaciones de redes neuronales varían con el ancho y la profundidad. Preimpresión en https://arxiv.org/abs/2010.15327 (2020).

Dosovitskiy, A. et al. Una imagen vale 16x16 palabras: transformadores para el reconocimiento de imágenes a escala. En Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) (OpenReview, 2021).

He, K., Zhang, X., Ren, S. y Sun, J. Mapeos de identidad en redes residuales profundas. En European Conference on Computer Vision (eds Leibe, B. et al.) 630–645 (Springer, 2016).

Ioffe, S. & Szegedy, C. Normalización por lotes: aceleración del entrenamiento de redes profundas al reducir el cambio de covariable interno. En Proc. 32.ª Conferencia internacional sobre aprendizaje automático (eds. Bach, F. & Blei, D.) 448–456 (2015).

Qiao, S., Wang, H., Liu, C., Shen, W. y Yuille, A. Entrenamiento de microlotes con normalización de canales por lotes y estandarización de peso. Preimpresión en https://arxiv.org/abs/1903.10520 (2019).

You, Y., Gitman, I. & Ginsburg, B. Entrenamiento por lotes grandes de redes convolucionales. Preimpresión en https://arxiv.org/abs/1708.03888 (2017).

Castro, E., Cardoso, JS & Pereira, JC Deformaciones elásticas para el aumento de datos en la detección masiva de cáncer de mama. En IEEE EMBS International Conference on Biomedical and Health Informatics (BHI) 230–234 (IEEE, 2018).

Ronneberger, O., Fischer, P. & Brox, T. U-net: redes convolucionales para la segmentación de imágenes biomédicas. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Navab, N. et al.) 234–241 (Springer, 2015).

Szegedy, C. et al. Profundizando con las circunvoluciones. En Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones 1–9 (IEEE, 2015).

Tripuraneni, N., Jordan, MI & Jin, C. Sobre la teoría del aprendizaje por transferencia: la importancia de la diversidad de tareas. Adv. Información neuronal Proceso. sist. 33, 7852–7862 (2020).

Google Académico

Du, SS, Hu, W., Kakade, SM, Lee, JD y Lei, Q. Aprendizaje de pocas oportunidades a través del aprendizaje de la representación, probablemente. Preimpresión en https://arxiv.org/abs/2002.09434 (2020).

Kingma, DP & Ba, J. Adam: un método para la optimización estocástica. Preimpresión en https://arxiv.org/abs/1412.6980 (2014).

Loshchilov, I. & Hutter, F. Sgdr: descenso de gradiente estocástico con reinicios cálidos. Preimpresión en https://arxiv.org/abs/1608.03983 (2016).

Goyal, P. et al. Preciso, gran minibatch sgd: imagenet de entrenamiento en 1 hora. Preimpresión en https://arxiv.org/abs/1706.02677 (2017).

Bengio, Y., Goodfellow, I. y Courville, A. Aprendizaje profundo (MIT Press, 2017).

Wang, M. & Deng, W. Adaptación del dominio visual profundo: una encuesta. Neurocomputación 312, 135–153 (2018).

Artículo Google Académico

Bello, I. et al. Revisando resnets: entrenamiento mejorado y estrategias de escalado. Adv. Información neuronal Proceso. sist. 34, 22614–22627 (2021).

Google Académico

Varadarajan, AV et al. Predicción de grados de edema macular diabético derivados de tomografía de coherencia óptica a partir de fotografías de fondo de ojo mediante aprendizaje profundo. Nat. común 11, 130 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Winkler, JK et al. Asociación entre las marcas cutáneas quirúrgicas en imágenes dermatoscópicas y el rendimiento diagnóstico de una red neuronal convolucional de aprendizaje profundo para el reconocimiento de melanoma. JAMA Dermatol. 155, 1135–1141 (2019).

Artículo PubMed PubMed Central Google Académico

Seah, JC et al. Efecto de un modelo integral de aprendizaje profundo sobre la precisión de la interpretación de radiografías de tórax por parte de los radiólogos: un estudio retrospectivo de múltiples lectores y múltiples casos. Dígito de lanceta. Salud 3, e496–e506 (2021).

Artículo CAS PubMed Google Académico

Haygood, TM y col. Eficacia cronometrada de la interpretación de mamografías de cribado digitales y en pantalla cinematográfica. AJR Am. J. Roentgenol. 192, 216–220 (2009).

Artículo PubMed PubMed Central Google Académico

Jain, A. et al. Desarrollo y evaluación de una herramienta basada en inteligencia artificial para el diagnóstico de afecciones de la piel por parte de médicos de atención primaria y enfermeras practicantes en prácticas de teledermatología. Red JAMA Abierto 4, e217249 (2021).

Artículo PubMed PubMed Central Google Académico

Pugh, JA et al. Detección de la retinopatía diabética: la cámara retiniana de gran angular. Diabetes Care 16, 889–895 (1993).

Artículo CAS PubMed Google Académico

Scholkopf, B. et al. Hacia el aprendizaje de la representación causal. proc. IEEE 109, 612–634 (2021).

Artículo Google Académico

Bengio, Y., Courville, A. & Vincent, P. Aprendizaje de representaciones: una revisión y nuevas perspectivas. Trans. IEEE. Patrón Anal. Mach. Intel. 35, 1798–1828 (2013).

Artículo PubMed Google Académico

Liu, J., Hu, Z., Cui, P., Li, B. y Shen, Z. Minimización heterogénea del riesgo. En Proc. 38.ª Conferencia internacional sobre aprendizaje automático (eds. Meila, M. & Zhang, T) 6804–6814 (PMLR, 2021).

Robey, A., Pappas, GJ & Hassani, H. Generalización de dominio basada en modelos. Adv. Información neuronal Proceso. sist. 34, 20210–20229 (2021).

Google Académico

Shen, Z. et al. Hacia la generalización fuera de distribución: una encuesta. Preimpresión en https://arxiv.org/abs/2108.13624 (2021).

Wang, J. et al. Generalizando a dominios invisibles: una encuesta sobre la generalización de dominios. Trans. IEEE. Saber Ing. de datos (2022).

Zhou, K., Liu, Z., Qiao, Y., Xiang, T. y Loy, CC Generalización del dominio: una encuesta. Preimpresión en https://arxiv.org/abs/2103.02503 (2021).

Locatello, F. et al. Desafiando suposiciones comunes en el aprendizaje no supervisado de representaciones desenredadas. En Proc. 36.ª Conferencia internacional sobre aprendizaje automático (eds Chaudhuri, K. & Salakhutdinov, R.) 4114–4124 (PMLR, 2019).

Geirhos, R. et al. Las CNN capacitadas en ImageNet están sesgadas hacia la textura; el aumento del sesgo de forma mejora la precisión y la robustez. Preimpresión en https://arxiv.org/abs/1811.12231 (2018).

Geirhos, R. et al. Generalización en humanos y redes neuronales profundas. Adv. Información neuronal Proceso. sist. 31, 7538–7550 (2018).

Google Académico

Kim, H. & Mnih, A. Desenredando por factorización. En Proc. 35.ª Conferencia internacional sobre aprendizaje automático (eds Dy, J. & Krause, A.) 2649–2658 (PMLR, 2018).

Yang, M. et al. CausalVAE: aprendizaje de representación desenredada a través de modelos causales estructurales neuronales. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 9588–9597 (IEEE, 2021).

Leeb, F. et al. Estructura por arquitectura: representaciones desenredadas sin regularización. Preimpresión en https://arxiv.org/abs/2006.07796 (2020).

Träuble, F. et al. Sobre representaciones desenredadas aprendidas a partir de datos correlacionados. En Proc. 38.ª Conferencia internacional sobre aprendizaje automático (eds. Meila, M. y Zhang, T.) 10401–10412 (PMLR, 2021).

Dittadi, A. et al. Sobre la transferencia de representaciones desenredadas en escenarios realistas. Preimpresión en https://arxiv.org/abs/2010.14407 (2020).

Andreassen, A., Bahri, Y., Neyshabur, B. & Roelofs, R. La evolución de la robustez fuera de distribución durante el ajuste fino. Preimpresión en https://arxiv.org/abs/2106.15831 (2021).

Radford, A. et al. Aprendizaje de modelos visuales transferibles a partir de la supervisión del lenguaje natural. En Proc. 38.ª Conferencia internacional sobre aprendizaje automático (eds. Meila, M. y Zhang, T.) 8748–8763 (PMLR, 2021).

Taori, R. et al. Cuando la robustez no promueve la robustez: cambios de distribución sintética frente a natural en ImageNet. En Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) (2019).

Albuquerque, I., Monteiro, J., Darvishi, M., Falk, TH y Mitliagkas, I. Aprendizaje de representación adversaria invariable en el objetivo para la generalización del dominio (DeepAI, 2020).

Li, Y. et al. Generalización profunda del dominio a través de redes antagónicas invariantes condicionales. En Proc. Conferencia europea sobre visión artificial (ECCV) (eds Ferrari, V. et al.) 624–663 (Springer, 2018).

Ganin, Y. & Lempitsky, V. Adaptación de dominio no supervisada por retropropagación. En Proc. 32.ª Conferencia internacional sobre aprendizaje automático (eds. Bach, F. & Blei, D.) 1180–1189 (JMLR, 2015).

Ganin, Y. et al. Entrenamiento adversarial de dominio de redes neuronales. J. Mach. Aprender. Res. 17, 2096–2030 (2016).

Google Académico

Shao, R., Lan, X., Li, J. & Yuen, PC Generalización de dominio profundo discriminativo multiadversario para la detección de ataques de presentación facial. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 10015–10023 (IEEE, 2019).

Motiian, S., Piccirilli, M., Adjeroh, DA & Doretto, G. Adaptación y generalización de dominio supervisado profundo unificado. En Proc. Conferencia internacional IEEE sobre visión artificial 5716–5726 (IEEE, 2017).

Muandet, K., Balduzzi, D. & Schölkopf, B. Generalización del dominio a través de la representación de características invariantes. En Proc. 30.ª Conferencia internacional sobre aprendizaje automático (eds. Dasgupta, S. & McAllester, D.) I-10–I-18 (2013).

Menegola, A. et al. Transferencia de conocimientos para el cribado de melanoma con aprendizaje profundo. En IEEE 14th International Symposium on Biomedical Imaging (ISBI) 297–300 (IEEE, 2017).

Xie, H. et al. Arquitectura de red dual para tomografía computarizada de pocas vistas entrenada en datos de ImageNet y transferida para imágenes médicas. En Proc. SPIE 11113, Desarrollos en tomografía de rayos X XII (eds Müller, B. & Wang, G.) 111130V (SPIE, 2019).

Alzubaidi, L. et al. Hacia una mejor comprensión del aprendizaje de transferencia para imágenes médicas: un estudio de caso. aplicación ciencia 10, 4523 (2020).

Artículo Google Académico

Heker, M. & Greenspan, H. Segmentación y clasificación de lesiones hepáticas articulares mediante aprendizaje por transferencia. Preimpresión en https://arxiv.org/abs/2004.12352 (2020).

Chen, S., Ma, K. & Zheng, Y. Med3D: transferencia de aprendizaje para el análisis de imágenes médicas en 3D. Preimpresión en https://arxiv.org/abs/1904.00625 (2019).

Liang, G. & Zheng, L. Un método de aprendizaje por transferencia con una red residual profunda para el diagnóstico de neumonía pediátrica. computar Métodos Prog. biomedicina 187, 104964 (2020).

Artículo Google Académico

Geyer, R., Corinzia, L. & Wegmayr, V. Transferir el aprendizaje mediante la fusión adaptativa de múltiples modelos. En Proc. 2nd International Conference on Medical Imaging with Deep Learning (eds Cardoso, MJ et al.) 185–196 (PMLR, 2019).

Noroozi, M. & Favaro, P. Aprendizaje no supervisado de representaciones visuales mediante la resolución de rompecabezas. En European Conference on Computer Vision (eds Leibe, B. et al.) 69–84 (Springer, 2016).

Zhang, R., Isola, P. & Efros, AA Colorización de imágenes coloridas. En European Conference on Computer Vision (eds Leibe, B. et al.) 649–666 (Springer, 2016).

Wu, Z., Xiong, Y., Yu, SX y Lin, D. Aprendizaje de características no supervisado a través de discriminación de instancias no paramétricas. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 3733–3742 (IEEE, 2018).

Henaff, OJ et al. Reconocimiento de imágenes eficiente en datos con codificación predictiva contrastiva. En Proc. 37.ª Conferencia internacional sobre aprendizaje automático (eds Daumé, H. & Singh, A.) 4182–4192 (PMLR, 2020).

van den Oord, A., Li, Y. & Vinyals, O. Aprendizaje de representación con codificación predictiva contrastiva. Preimpresión en https://arxiv.org/abs/1807.03748 (2018).

Hjelm, RD et al. Aprendizaje de representaciones profundas por estimación y maximización de información mutua. Preimpresión en https://arxiv.org/abs/1808.06670v5 (2019).

Ye, M., Zhang, X., Yuen, PC y Chang, S.-F. Aprendizaje integrado no supervisado a través de la función de instancia invariable y de difusión. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 6203–6212 (IEEE, 2019).

Bachman, P., Hjelm, RD y Buchwalter, W. Aprendiendo representaciones al maximizar la información mutua entre vistas. Adv. Información neuronal Proceso. sist. 15535–15545 (2019).

Tian, Y., Krishnan, D. e Isola, P. Codificación multivista contrastiva. En European Conference on Computer Vision (eds Vedaldi, A. et al.) 776–794 (Springer, 2019).

Misra, I. & Maaten, LVD Aprendizaje autosupervisado de representaciones invariantes de pretexto. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 6706–6716 (IEEE, 2020).

Carón, M. et al. Aprendizaje no supervisado de características visuales contrastando asignaciones de grupos. Adv. Información neuronal Proceso. sist. 33, 9912–9924 (2020).

Google Académico

Bai, W. et al. Aprendizaje autosupervisado para segmentación de imágenes de RM cardiaca mediante predicción de posición anatómica. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Shen, D. et al.) 541–549 (Springer, 2019).

Spitzer, H., Kiwitz, K., Amunts, K., Harmeling, S. y Dickscheid, T. Mejora de la segmentación citoarquitectónica de las áreas del cerebro humano con redes siamesas autosupervisadas. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Frangi, AF et al.) 663–671 (Springer, 2018).

Zhuang, X. et al. Aprendizaje autosupervisado de funciones para imágenes médicas en 3D jugando con un cubo de Rubik. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Shen, D. et al.) 420–428 (Springer, 2019).

Zhu, J. et al. Rubik's Cube+: un marco de aprendizaje de funciones autosupervisado para el análisis de imágenes médicas en 3D. Medicina. Anal de imagen. 64, 101746 (2020).

Artículo PubMed Google Académico

Chaitanya, K., Erdil, E., Karani, N. & Konukoglu, E. Aprendizaje contrastivo de características globales y locales para la segmentación de imágenes médicas con anotaciones limitadas. Adv. Información neuronal Proceso. sist. 33, 12546–12558 (2020).

Google Académico

Él, X. et al. Aprendizaje profundo eficiente en muestras para el diagnóstico de COVID-19 basado en tomografías computarizadas. Adv. Información neuronal Proceso. sist. 33, 12546–12558 (2020).

Google Académico

Li, H. et al. Aprendizaje autosupervisado consciente del desequilibrio para representaciones radiómicas 3D. En International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 36–46 (Springer, 2021).

Liu, J. et al. Alinear, atender y localizar: diagnóstico de radiografía de tórax mediante red de atención inducida por contraste con supervisión limitada. En Proc. Conferencia internacional IEEE/CVF sobre visión artificial 106321–10640 (IEEE, 2019).

Zhou, H.-Y. et al. Comparar para aprender: superar el preentrenamiento de ImageNet en radiografías comparando representaciones de imágenes. En Conferencia internacional sobre computación de imágenes médicas e intervención asistida por computadora (eds Martel, AL) 398–407 (Springer, 2020).

Soni, PN, Shi, S., Sriram, PR, Ng, AY y Rajpurkar, P. Aprendizaje contrastivo de los sonidos cardíacos y pulmonares para el diagnóstico de etiquetas eficientes. Patrones 3, 100400 (2021).

Artículo PubMed PubMed Central Google Académico

Liu, Q., Yu, L., Luo, L., Dou, Q. y Heng, PA Clasificación de imágenes médicas semisupervisadas con modelo de autoensamblaje basado en relaciones. Trans. IEEE. Medicina. Imágenes 39, 3429–3440 (2020).

Artículo PubMed Google Académico

Wang, D., Zhang, Y., Zhang, K. y Wang, L. FocalMix: aprendizaje semisupervisado para la detección de imágenes médicas en 3D. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones 3950–3959 (IEEE, 2020).

Zhang, Y., Jiang, H., Miura, Y., Manning, CD y Langlotz, CP Aprendizaje contrastivo de representaciones visuales médicas a partir de imágenes y texto emparejados. En Proc. Séptima conferencia sobre aprendizaje automático para el cuidado de la salud (eds Lipton, Z. et al.) 2–25 (PMLR, 2020).

Truong, T., Mohammadi, S. & Lenga, M. ¿Qué tan transferibles son las funciones autosupervisadas en las tareas de clasificación de imágenes médicas? En Proc. Machine Learning for Health (eds Roy, S. et al.) 54–74 (PMLR, 2021).

Descargar referencias

Este proyecto fue una amplia colaboración entre Google Brain y el equipo de IA de Google Health. Agradecemos a Z. Ghahramani por sus valiosos comentarios y apoyo continuo a lo largo del proyecto; M. Raghu, J. Krause, D. Eck y M. Howell por sus valiosos comentarios para mejorar la calidad del trabajo; J. Uszkoreit, J. Deaton, V. Godbole, M. Sieniek, S. Prabhakara, D. Golden, D. Steiner, X. Zhai, A. Giurgiu, T. Duerig, C. Semturs, P. Bui, J. Hartford, S. Jansen, S. Shetty, T. Spitz, D. Tran, J. Luo, O. Wichrowska y A. Ward por su apoyo a lo largo de este proyecto; múltiples contribuyentes a este proyecto internacional: Rajavithi Hospital Thailand, Lions Eye Institute y Derbarl Yerrigan Health Service, Western Australia, Stanford Center for Artificial Intelligence in Medicine and Imaging, MIT Laboratory for Computational Physiology and PhysioNet, y NIH Clinical Centre; nuestros colaboradores en DermPath AI, Apollo Hospitals y EyePACS por el apoyo de este trabajo; colaboradores de Northwestern Medicine y a todos los miembros del Grupo de Investigación Etemadi por el apoyo de este trabajo.

Las imágenes y los datos utilizados en esta publicación se derivaron de la base de datos Optimam, cuya creación fue financiada por Cancer Research UK. Sankara Nethralaya, Chennai, India, proporcionó parte del conjunto de datos de imágenes de la retina para el estudio. Los resultados incluidos en este documento se basan total o parcialmente en los datos generados por The Cancer Genome Atlas (TCGA) administrado por el NCI y el NHGRI. Puede encontrar información sobre TCGA en el sitio web de los NIH. Este estudio también utilizó diapositivas de patología archivadas y anonimizadas, variables clinicopatológicas y resultados del Instituto de Patología y el Biobanco de la Universidad Médica de Graz. El estudio también utilizó diapositivas de patología del desafío CAMELYON.

Estos autores contribuyeron igualmente: Shekoofeh Azizi, Laura Culp, Jan Freyberg.

Investigación de Google, Mountain View, CA, EE. UU.

Shekoofeh Azizi, Laura Culp, Jan Freyberg, Basil Mustafa, Sebastien Baur, Simon Kornblith, Ting Chen, Patricia Strachan, S. Sara Mahdavi, Ellery Wulczyn, Boris Babenko, Megan Walker, Aaron Loh, Po-Hsuan Cameron Chen, Yuan Liu, Pinal Bavishi, Scott Mayer McKinney, Jim Winkens, Abhijit Guha Roy, Zach Beaver, Justin Krogue, Umesh Telang, Yun Liu, Lily Peng, Greg S. Corrado, Dale R. Webster, David Fleet, Geoffrey Hinton, Neil Houlsby, Alan Karthikesalingam , Mohammad Norouzi y Vivek Natarajan

DeepMind, Londres, Reino Unido

Nenad Tomasev y Jovana Mitrović

Instituto de Tecnología de Georgia, Informática, Atlanta, GA, EE. UU.

fiona ryan

Escuela de Medicina/Escuela de Ingeniería, Universidad Northwestern, Chicago, IL, EE. UU.

Mozziyar Etemadi

También puede buscar este autor en PubMed Google Scholar

SA, JF, LC, VN, NH, AK, MN, SK, TC, NT, JM, BM, PS, SSM, FR, EW, P.-HCC y GH contribuyeron a la concepción y diseño del trabajo. SA, LC, JF, VN, AK, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SMM, AL, JW, MW, ZB, AGR, DRW, LP, GSC, UT y JK contribuyeron a adquisición de datos. SA, LC, JF, SB, BM y VN contribuyeron en gran medida a la evaluación del trabajo. SA, LC, JF, VN, NH, AK, MN, SB, SK, TC, BB, DRW, DF, GSC y ME contribuyeron al análisis e interpretación de los datos. SA, LC, JF, VN, NH, AK, MN, SK, EW, PS, SSM y ME contribuyeron a la redacción y revisión del documento. NH, AK, MN y VN contribuyeron por igual como coasesores.

Correspondencia a Shekoofeh Azizi, Alan Karthikesalingam o Vivek Natarajan.

Este estudio fue financiado por Google LLC y/o una de sus subsidiarias ("Google"). JF, LC, SA, VN, NH, AK, MN, BM, SB, PS, SSM, SK, TC, NT, JM, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SM, AL , JW, MW, ZB, AGR, UT, DRW, DF, LP, GSC, JK y GH son empleados de Google y pueden poseer acciones como parte del paquete de compensación estándar. ME recibió financiación de Google para apoyar la colaboración de investigación.

Nature Biomedical Engineering agradece a Pranav Rajpurkar y a los otros revisores anónimos por su contribución a la revisión por pares de este trabajo.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Observamos que, bajo el aumento de la severidad de los cambios sintéticos, el desempeño tanto de REMEDIS como de la línea de base supervisada cae. Sin embargo, la caída es más gradual para REMEDIS.

Las diferentes etapas en las que se utilizan etiquetas y etiquetas (tanto ID como OOD) para el desarrollo y la evaluación del modelo.

La variación entre los datos de ID y OOD puede ser visualmente sutil o pronunciada. Esta variación incluye (pero no se limita a) cambios en el contraste, nitidez o tinte, diferencias en los efectos no lineales de la construcción del sensor de rayos X o en los niveles de zoom. La causa subyacente del cambio de distribución puede estar asociada con el cambio tecnológico, el cambio demográfico o el cambio de comportamiento45.

Resultados complementarios, discusión, figuras, tablas y referencias.

Springer Nature o su licenciante (p. ej., una sociedad u otro socio) posee los derechos exclusivos de este artículo en virtud de un acuerdo de publicación con los autores u otros titulares de derechos; el autoarchivo del autor de la versión manuscrita aceptada de este artículo se rige únicamente por los términos de dicho acuerdo de publicación y la ley aplicable.

Reimpresiones y permisos

Azizi, S., Culp, L., Freyberg, J. et al. Generalización robusta y eficiente en datos del aprendizaje automático autosupervisado para imágenes de diagnóstico. Nat. biomedicina ing (2023). https://doi.org/10.1038/s41551-023-01049-7

Descargar cita

Recibido: 22 julio 2022

Aceptado: 02 mayo 2023

Publicado: 08 junio 2023

DOI: https://doi.org/10.1038/s41551-023-01049-7

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Noticias