Prototipo de exploración educativa basada en realidad mixta para cirugía con casco Meta 2

Introducción

La cirugía mínimamente invasiva (CMI) es el conjunto de técnicas médicas que utiliza vías naturales o mínimos abordajes para introducir herramientas de diagnóstico e intervención usando la visión directa o de cámaras endoscópicas ¹. Este tipo de cirugía puede ser aplicada en multitud de especialidades médicas como ginecología, urología, traumatología, cardiología, cirugía vascular y neurología. Dicha técnica requiere que los cirujanos desarrollen un conjunto de habilidades físicas y mentales que a veces son más complejas que en el caso de la cirugía abierta ².

Algunos factores como la reducción de las horas de trabajo, y de menos horas de capacitación y de problemas de seguridad del paciente requieren que estas habilidades se adquieran fuera del quirófano, con el uso principalmente de simuladores que tradicionalmente consistían en cajas con el instrumental y algunos objetos al interior. Esto ha derivado hacia la generación de simuladores virtuales, área en crecimiento donde la medición de su efectividad es razón de estudio ³. En el campo de la medicina se espera que las capacitaciones y los entrenamientos médicos puedan planearse y practicarse sobre réplicas virtuales usando tecnologías de realidad virtual, realidad aumentada o realidad mixta ⁴; las cuales están inspiradas en medios de visualización para videojuegos y que en la actualidad están empezando a ser fuertemente usadas en áreas como la educación y la medicina ⁵. Se espera que este tipo de entrenamiento basado en simulación permita que los cirujanos adquieran las competencias adecuadas en campos de cirugía tan críticos como la neurocirugía ⁶, donde los errores humanos y técnicos pueden tener resultados negativos para el paciente ^{7), (8), (9).}

La realidad virtual (VR por su sigla en inglés) recrea todo un escenario virtual de una posible realidad física. En el caso específico de las aplicaciones quirúrgicas uno de los impactos más relevantes de la realidad virtual se centra en el desarrollo de simuladores para cirugías mínimamente invasivas asistidas con robots ^{10), (11}. Por su parte la realidad aumentada (AR por su sigla en inglés) usa parte de la imagen real (a través de video capturado en tiempo real) para sobreponer imágenes o información virtual ⁷.

Las primeras intervenciones asistidas por realidad aumentada se realizaron en el campo de la neurocirugía, y consistieron en la integración y visualización de datos de imágenes de tomografía computarizada (CT) sobre un microscopio operativo. Posteriormente se extendió su uso a la visualización tridimensional para ayudar con los procedimientos quirúrgicos laparoscópicos, y a otros procedimientos guiados por imágenes como extracción de tumores de cáncer de mama, procedimientos endonasales, cardíacos, digestivos y operaciones de hígado, evidenciando características superiores a las de los sistemas de navegación convencional. También ha permitido la manipulación virtual de una reconstrucción 3D a través de visualizaciones intracraneales ¹², rotaciones, segmentaciones y otros procedimientos, con la finalidad de generar un conocimiento detallado de una posible situación quirúrgica ^{12), (13}.

La realidad aumentada convencional tiene la característica y la limitante de usar las imágenes de video de un dispositivo y sobre ellas sobreponer la información aumentada, por tal motivo se ha avanzado hacia el uso de la realidad mixta (MR por su sigla en inglés) ¹⁴, la cual ofrece a los usuarios percibir tanto el entorno físico que los rodea como los elementos digitales (objetos virtuales) presentados a través de pantallas semitransparentes ¹⁵. Es importante recalcar que los sistemas de MR proporcionan a los usuarios la ilusión de que los objetos digitales coexisten en el mismo espacio junto a los objetos físicos reales ¹⁶.

Cuando se habla de cirugía guiada o navegación quirúrgica se hace mención al proceso que busca seguir una ruta en un espacio de tres dimensiones a partir de imágenes preoperatorias (Rx, CTScan, MRI), las cuales se despliegan en una pantalla en tiempo real ⁹. Estas imágenes pueden ser plantillas o guías para la cirugía que se construyen en el preoperatorio y en algunos casos se suele incluir el área de intervención además de la posición del instrumental en tiempo real ¹⁷. Las imágenes preoperatorias se obtienen de escáneres convencionales de CT (Computed Tomography) o MRI (Magnetic Resonance Imaging). Las CT usan la combinación de múltiples mediciones de rayos X desde diferentes ángulos para producir una serie de imágenes de cortes para tres dimensiones, en tanto que la MRI usan gradientes de campo magnético y ondas de radio. Estos dos tipos de imágenes médicas se adquieren antes de cierto grupo de intervenciones quirúrgicas, lo que permite que se procesen manual o automáticamente, con el objetivo de realizar y aislar mediante segmentación estructuras de interés como órganos, tumores, huesos o vasos.

Los métodos clásicos de segmentación incluyen umbrales, crecimiento de regiones, contornos activos, agrupación y clasificadores ¹⁸. Dada la importancia actual de la relación entre la medicina y la ingeniería, se evidencia el gran aporte que las nuevas tecnologías de visualización pueden brindar a los procedimientos diagnósticos y quirúrgicos ¹⁹, ^{20), (21), (22}.

El presente artículo muestra el uso de la tecnología de realidad mixta con el casco Meta II de Metavision, el cual es usado en un prototipo que se espera permita la exploración y el diagnóstico en procedimientos preoperatorios para neurocirugía y laparoscopia de carácter educativo.

Materiales y métodos

Descripción del hardware y el software utilizado

El casco Meta II de la compañía Metavision (Fig. 1) permite tener un campo de visión real ampliado a través de un visor transparente que brinda al usuario una experiencia de inmersión con hologramas tridimensionales hiperrealistas.

Figura 1: Casco Meta II de Metavision

Para el manejo de los cascos de MR y la creación de los objetos virtuales se usó el motor de juegos Unity 3D en su versión 2018.1, el cual es un software para diseño, creación y representación de videojuegos. Las imágenes desplegadas en la realidad mixta se generaron a partir de MRI (imagen de resonancia magnética) y CT (tomografía computarizada), para posteriormente ser procesadas con los paquetes de software 3D Slicer y Blender, con el fin de segmentar elementos morfológicos específicos y mejorar su visualización. Las imágenes médicas utilizadas como información aumentada sobre la vista real fueron obtenidas del banco de imágenes por resonancia magnética del proyecto Slicer DMRI (dmri.slicer.org) de 3D Slicer.

Se crearon dos escenarios de entrenamiento, uno basado en imágenes craneales y otro para imágenes abdominales. A través de 3D Slicer y con las imágenes RMI, se obtuvo un modelo 3D del cerebro segmentando en estructuras muy específicas como materia gris, materia blanca y cuerpo calloso. Se incluyeron objetos virtuales que representan tractos neurológicos diferenciados por diversos colores, con el fin de mostrar estructuras que no son fácilmente visibles en el desarrollo de una intervención quirúrgica. Se crearon cinco tumores ficticios en zonas aleatorias del cerebro, con el fin de desarrollar una prueba de validación del prototipo de realidad mixta. Para la obtención de materia gris, materia blanca y tumores como objetos 3D, se hizo la segmentación de dichas zonas correspondientes a la parte central de cada corte del cerebro (axial, sagital y coronal) y posteriormente con el proceso de segmentación realizado se crearon las partes en un modelo 3D como se muestra en la Fig. 2.

Figura 2: Representación del cerebro como objeto tridimensional a partir de imágenes de RMI

En el caso de la aplicación para la prueba en el área abdominal, se usó un procedimiento similar al realizado con el cerebro, diferenciándose tan solo en la procedencia del tipo de imágenes que para este caso correspondían a imágenes de tomografía computarizada (CT). Los órganos reconstruidos en 3D corresponden al hígado y la vesícula biliar. Posteriormente se procedió a generar los huesos de la cavidad abdominal. Para este esquema abdominal también se crearon tumores ficticios con el fin de ser usados en el desarrollo de las pruebas de validación. Adicionalmente se ubicó el conjunto de imágenes médicas en tres pantallas virtuales que corresponden a las imágenes de TC para cada corte con el fin de proveer navegación a través de los cortes axial, sagital y coronal de cada una las estructuras anatómicas presentes, como se puede ver en la Fig. 3.

Figura 3: Montaje total del sistema de realidad mixta en entrenamiento para visualización preoperatoria en laparoscopia abdominal

Para el desarrollo de las pruebas el usuario recibió una charla inicial sobre las características del hardware, forma de usarlo, así como de las reglas y alcances de la prueba.

Prueba 1: usuario móvil y cerebro fijo

Para esta primera prueba el cerebro se ubicó en una posición fija y es el usuario quien se desplazó en el espacio, caminando, girando o moviendo la cabeza alrededor del objeto 3D, el cual se podía percibir como un holograma flotando en la habitación. Se usó un contador de tiempo mientras el usuario navegaba dentro del cerebro para encontrar cada uno de los cinco tumores, con el fin de motivar al usuario a hacer una exploración del elemento 3D. Dichos tumores aparecían de manera secuencial y cada usuario contó con un tiempo máximo de diez minutos. Este límite de tiempo también fue aplicado a las pruebas 2 y 3.

Una vez ubicado el tumor el siguiente desafío para el usuario fue explorar el cerebro con el objetivo de definir una vía de acceso hacia él, es decir un camino donde encontrara la mínima cantidad de ramificaciones, que en la práctica quirúrgica se reflejaría en el mínimo daño posible y en el menor compromiso de tractos neuronales y materia blanca lesionados.

Para cada ruta se guarda un archivo gráfico con dicha vía (en coordenadas tridimensionales a modo de mapa), y se repite de forma similar para los cinco tumores. En la Fig. 4 se observa un usuario realizando la prueba 1 así como la visual del despliegue del casco Meta II y un acercamiento al tumor.

Figura 4: Prueba 1: usuario móvil y cerebro fijo

Prueba 2: usuario fijo y cerebro móvil

En esta prueba el usuario no se desplazaba por la habitación, podía estar de pie o sentado, mientras la navegación en el cerebro se hacía con la ayuda de las manos, de tal manera que girando y acercando el objeto se pudieran encontrar los tumores y definir así las vías de acceso para cada uno de ellos. En la Fig. 5 se observa un usuario realizando la segunda prueba del sistema. Los círculos azules son los puntos donde se detectan las manos del usuario sobre el objeto virtual.

Figura 5: Prueba 2: usuario fijo y cerebro móvil

Prueba 3: visualización área abdominal

Para la validación del sistema de realidad mixta en el área abdominal, el usuario sujetó con sus manos un cursor virtual que permitió navegar dentro y fuera de la cavidad abdominal.

Se realizó un conteo de tiempo para la búsqueda de dos tumores, los cuales aparecían de forma secuencial. Se generaron unas pantallas virtuales con las imágenes de CT que parecen estar flotando en la habitación, para familiarizarse entre la posición 3D y el corte bidimensional.

La Fig. 6 muestra una vista de la aplicación.

Figura 6: Prueba 3: usuario interactuando con visualización área abdominal

Resultados

Las pruebas de validación del sistema de realidad mixta en neurocirugía se llevaron a cabo con diez usuarios, cinco mujeres y cinco hombres, entre los 25 y 50 años, de ocupación ingenieros y técnicos, quienes realizaron las dos pruebas con un descanso de cinco horas entre la primera y la segunda.

Para este proceso se tomaron los tiempos utilizados para encontrar cada tumor con el fin de evaluar el proceso de adaptación, familiarización y aprendizaje en el manejo del sistema. Además, se realizaron encuestas para la medición de la inmersión en entornos de realidad mixta basados en la ubicación. Se evaluaron aspectos como el interés, la absorción y la inmersión total en el sistema ²³.

A partir de los datos de tiempo tomados en la primera prueba, se elaboró la gráfica tumores vs tiempo que se observa en la Fig. 7.

Figura 7: Prueba 1: tiempos de determinación de cada tumor para prueba de usuario fijo y cerebro móvil

En esta gráfica se evidencia una particularidad en el usuario 2, ya que tuvo los tiempos más altos para encontrar los primeros tumores. Este usuario manifestó sentir cansancio y un leve dolor de cabeza por el peso del dispositivo debido a que llevaba gafas para la miopía. De otra parte el, 80% de los usuarios tras encontrar el primer tumor, mostró mayor destreza para encontrar el segundo, debido a la apropiación de la dinámica del experimento.

En la Fig. 8 se muestran los tiempos obtenidos por los usuarios para encontrar los cinco tumores de la segunda prueba, en la cual el cerebro está fijo y es el usuario quien puede recorrer el espacio. En esta prueba también se presentó un abandono por parte del usuario 2, quien expresó que la manipulación del cerebro con las manos le agregó un grado de dificultad muy alto, generándole dolor de cabeza y cansancio en los brazos y manos.

Figura 8: Prueba 2: Tiempos de determinación de cada tumor para prueba de usuario móvil y cerebro fijo

Ambas gráficas muestran que los tiempos tienen alternancia, es decir, se encuentra rápido un tumor, luego el tiempo para el siguiente es más alto, y luego de nuevo disminuye el tiempo para el siguiente. Aunque esto no es concluyente, el cambio en el tiempo puede darse por dos factores: que el usuario aprenda a moverse dentro del entorno holográfico, o que simplemente el tumor esté ubicado en una zona de mayor o menor visibilidad.

Para la evaluación del prototipo de realidad mixta en neurocirugía se aplicó una adaptación de la encuesta basada en el cuestionario ARI (Augmented Reality Immersion) descrito en ²⁴, midiendo los siguientes factores:

A. Compromiso: el 100% de los usuarios encontró altamente interesante la aplicación en neurocirugía y manifestó que el sistema fue fácil de manejar. El 80% de ellos al iniciar las pruebas sintió un poco de confusión debido a su escasa relación con la realidad aumentada, sintiendo mayor incomodidad en la segunda prueba que en la primera por la limitación de espacio que esta conlleva.

B. Absorción: el 70% de los usuarios manifestó un poco de impaciencia cuando no encontraban rápidamente los tumores, ya que sentía que no iba a culminar exitosamente la prueba. La mitad de los usuarios durante el experimento llegó a experimentar algún tipo de distracción relacionada con el medio donde se llevaron a cabo las pruebas, aunque el 90% de los usuarios expresó que intentó fijar su foco de atención en el desarrollo exitoso de las mismas

C. Inmersión total: solo la mitad de los usuarios llegó a sentir que los objetos que veían a través del Meta II eran reales, pero todos sintieron la necesidad de interactuar con dichos objetos. El 70% de los usuarios experimentó un alto nivel de inmersión. Algunos usuarios presentaron síntomas de mareos, causados en general por el peso del Meta II y por la escasa experiencia en la utilización de esta tecnología. Varios usuarios expresaron sentir cansancio visual, en particular los que usan gafas para miopía (tres usuarios), generándoles a veces disminución del interés por lograr un buen desempeño en las pruebas.

Conclusiones

El presente artículo mostró el diseño y la implementación de un sistema de realidad mixta para simular la navegación médica en neurocirugía y laparoscopia abdominal. Para dicha navegación se crearon objetos tridimensionales a partir de tomografías computarizadas (CT) e imágenes de resonancia magnética (MRI) de un paciente real, con el fin de obtener dichos objetos 3D similares a la realidad. La validación del sistema se llevó a cabo con usuarios a través de dos pruebas: una para el aplicativo en neurocirugía y una para el sistema en laparoscopia abdominal. En el caso del sistema en neurocirugía se realizaron encuestas de inmersión en sistemas de realidad aumentada.

Este sistema basado en la tecnología de visualización del casco Meta II permitió ampliar la información visual usando imágenes médicas de pacientes reales. El sistema fue probado en un grupo de usuarios con formación técnica, obteniéndose interesantes conclusiones.

Las pruebas basadas en la medición del tiempo estaban enfocadas en presentar a los participantes un reto para permanecer en el desarrollo de una tarea de entrenamiento. Siendo la inmersión un pilar importante en este tipo de proyectos, se obtuvo que el 90% de los participantes expresó que intentó fijar su foco de atención en el desarrollo exitoso de las pruebas. Por otro lado el 70% de los usuarios describieron su experiencia como de alto grado de inmersión, lo cual muestra que es un tipo de tecnología que ofrece un nivel de novedad y motivación que puede facilitar el grado de aprendizaje en este campo.

Los resultados de las pruebas permiten pensar que en un futuro próximo los cascos de realidad mixta pueden convertirse en un elemento imprescindible en los procedimientos de exploración, diagnóstico e intervención quirúrgica. Para trabajos futuros se espera implementar la realidad mixta en procedimientos más complejos, con mayor realismo y en intervenciones más específicas. Además incluir en las pruebas del sistema personal médico que pueda evaluar la aplicación desde el punto de vista funcional.