Sistema para la detección enfermedades en cultivos de Arroz

Ilka Hernández y Patricia DiMassimo
Estudiantes Escuela de Ingeniería en Eléctrica, Campus Santiago
PUCMM

El arroz en República Dominicana

El cultivo del arroz es una actividad agrícola fundamental en muchos países del mundo, especialmente en República Dominicana, donde se consume en grandes cantidades y se cultiva extensamente. Sin embargo, la presencia de enfermedades y condiciones de estrés puede afectar significativamente la producción y calidad de los cultivos de arroz, lo que a su vez afecta la economía y la seguridad alimentaria las regiones donde se distribuye este producto. Por lo que, la detección temprana de estas enfermedades y condiciones de estrés es un desafío para los agricultores, ya que a menudo son difíciles de detectar a simple vista.

Para abordar este problema, se propone la implementación de un sistema de procesamiento de mapas multiespectrales e imágenes para la detección temprana de enfermedades y condiciones de estrés en cultivos de arroz.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la detección temprana de enfermedades en cultivos de arroz. El sistema desarrollado combina técnicas de visión computacional y aprendizaje de máquinas. Fue desarrollado un esquema de fusión de datos para la creación de modelos de naturaleza heterogénea.

La Digitalización en la Agricultura

La creciente intersección entre la tecnología y la agricultura ha revolucionado la manera en que se aborda los desafíos agrícolas en la actualidad. Uno de los avances más notables ha sido la aplicación de la inteligencia artificial (IA) en este campo. La capacidad de procesar grandes volúmenes de datos y extraer patrones significativos ha permitido optimizar la producción y la toma de decisiones agrícolas. La integración de sensores avanzados y microcontroladores como el ESP32, ha facilitado la recolección y el análisis de información crítica para el diagnóstico y prevención de enfermedades en cultivos, como el arroz. Esta revisión se enfoca en la evaluación de cómo la tecnología, especialmente la inteligencia artificial, ha impactado en la agricultura, con énfasis en la aplicación de sensores multiespectrales y microcontroladores en el reconocimiento temprano de enfermedades en hojas de arroz.

La combinación de tecnologías de medición multiespectral e inteligencia artificial ha dado lugar a soluciones novedosas en la detección de adulteración en productos agrícolas. Un ejemplo destacado es el desarrollo de un espectrómetro portátil que utiliza este sensor para evaluar la pureza del azúcar de coco y detectar la adulteración con azúcar de caña. La implementación de redes neuronales permitió una clasificación precisa de muestras adulteradas y puras, con una tasa de éxito del 100% en casos de azúcar de coco y un promedio superior al 90% para estimar la intensidad de la adulteración.

Diversos proyectos relacionados han abordado problemáticas similares en la detección y diagnóstico de enfermedades en cultivos, lo que amplía la comprensión de las aplicaciones y desafíos de la tecnología. Por ejemplo, un estudio se centró en la detección de malezas y la estimación de la salud de las vides utilizando el NDVI en combinación con el sensor multiespectral. Aunque enfrentaron desafíos de calibración y sesgos, estos proyectos reflejan la creciente importancia de las herramientas tecnológicas en la agricultura de precisión y subrayan la necesidad de investigación continua para superar obstáculos técnicos.

Solución Propuesta

La implementación del presente proyecto tiene como objetivo mejorar la producción de arroz al reducir los efectos negativos de las enfermedades y condiciones de estrés en los cultivos. En cuanto a la composición, las imágenes multiespectrales se obtendrían mediante la utilización del sensor multiespectral seleccionado que puede capturar la luz en diferentes longitudes de onda. Las mediciones multiespectrales capturadas por este sensor proporcionaron información detallada sobre el estado de salud de los cultivos de arroz.

Además, se utilizaron técnicas de procesamiento de imágenes para mejorar la calidad y precisión de los datos obtenidos de las mediciones multiespectrales. Estas técnicas incluyen la corrección de distorsiones en las imágenes, la eliminación de ruido y la normalización de los datos para garantizar una representación precisa de la salud de los cultivos. Este sistema combina la ciencia de la agricultura con la tecnología de la información y el aprendizaje automático, para proporcionar una solución integral y efectiva para la detección temprana de enfermedades y condiciones de estrés en los cultivos de arroz.

Para la creación del sistema físico, se utilizó la herramienta de CAD SolidWorks para diseñar dos cajas negras. Ambas cajas tienen las mismas dimensiones, pero con propósitos diferentes. La caja mostrada en la siguiente está diseñada para trabajar con el sensor multiespectral seleccionado y dos arreglos de LEDs. Su función es proporcionar un espectro de emisión que abarca un rango desde los 400 nm (ultravioleta) hasta los 750 nm (infrarrojo cercano). El objetivo de este diseño es captar el espectro reflejado por las hojas de arroz y utilizar esta información para determinar ciertas condiciones relacionadas con los niveles de hidratación de las hojas.

Se empleó un microcontrolador ESP32 para gestionar la activación y desactivación de los LEDs que emiten diversas frecuencias espectrales y que son dirigidos a las hojas de arroz. El ESP32 es una opción ligera pero altamente confiable para esta tarea. Con este microcontrolador, se estableció una comunicación con el sensor multiespectral utilizando el protocolo I2C. En la siguiente figura se muestra una imagen con la configuración de entrada y salida del microcontrolador elegido.

En la carcasa diseñada fueron acomodadas tanto la cámara como el sensor multiespectral seleccionado, permitiendo las capturas de hojas individuales de arroz para su caracterización. Se seleccionó el color negro para evitar el efecto de la reflexión y se colocaron LEDs específicos para las distintas frecuencias del espectro electromagnético que se deseaban caracterizar. En la siguiente imagen podemos ver un ejemplo de una imagen capturada.

Se analizó cada hoja en términos de valores de reflectancia y absorción en cada una de las 18 bandas del sensor (410nm, 435nm, 460nm, 485nm, 510nm, 535nm, 560nm, 585nm, 610nm, 645nm, 680nm, 705nm, 730nm, 760nm, 810nm, 860nm, 900nm, 940nm). Para lograrlo fue colocado un arreglo de 6 LEDs capaces de proporcionar las longitudes de onda mostradas con dirección a la hoja. En la siguiente figura se observa la respuesta capturada a partir del sensor multiespectral.

Metodología para el entrenamiento de los algoritmos de aprendizaje de máquina

A partir de estas imágenes se procedió a entrenar un modelo de clasificación basado en las redes neuronales convolucionales. AlexNet es un modelo de red neuronal convolucional considerado uno de los modelos más influyentes en el campo del aprendizaje profundo y fue uno de los primeros en demostrar un rendimiento notable en la tarea de clasificación de imágenes a gran escala. Las técnicas de aprendizaje por transferencia han permitido aprovechar las arquitecturas de estas redes neuronales convolucionales y adaptarla a una diversidad de aplicaciones. En nuestro caso, a la clasificación de enfermedades en hojas de arroz. Debajo se muestra la estructura de la red AlexNet entrenada usando el ambiente Matlab.

Resultados Obtenidos

La estrategia de procesamiento de imágenes en el dominio espacial para identificar manchas en hojas de arroz ha arrojado resultados sumamente prometedores. La elección de la técnica de segmentación basada en el color, combinada con operaciones de preprocesamiento como la conversión a escala de grises y la aplicación de operaciones de apertura, ha demostrado su capacidad para resaltar de manera excepcional las áreas de interés, es decir, las manchas en las hojas. La aplicación consecutiva del método de Otsu y su transformación inversa ha afinado aún más la precisión de la segmentación, contribuyendo a una separación nítida entre las manchas y el fondo de las hojas. Este enfoque en el dominio espacial ha culminado en una detección de enfermedades en las hojas de arroz más confiable y definida, al mismo tiempo que ha minimizado cualquier distorsión o ruido no deseado en las imágenes. La inherente flexibilidad de esta metodología ha permitido ajustar los parámetros de segmentación en función de las variaciones en las características de las manchas y los requisitos específicos del proyecto. En la figura siguiente se muestran los resultados del procesamiento utilizado.

A continuación se muestran los resultados del mejor modelo obtenido. Es importante recalcar que se utilizó una estrategia de entrenamiento cruzado, para evitar introducir sesgo al modelo planteado. La precisión promedio para todas las clases fue del 91.44%.

En el caso del sensor multiespectral, fue elegido un modelo basado en árboles aleatorios, donde se observa una capacidad importante del modelo de distinguir de las tres clases asignadas para la clasificación multiespectral. En la siguiente figura se muestra la matriz de confusión del modelo.

El desempeño obtenido por la estación de inspección mostró su viabilidad para cumplir los objetivos planteados para el presente proyecto, ofreciendo la posibilidad de implementar estrategias similares en distintos tipos de cultivos, y adicionalmente, la importancia que puede presentar la aplicación de técnicas de aprendizaje de máquina en la implementación de la agricultura de precisión.

Conclusiones

La elección de modelos y estrategias de entrenamiento es crucial para la clasificación de imágenes RGB y datos multiespectrales para aplicaciones de agricultura de precisión. La adaptabilidad del sistema desarrollado y su capacidad para detectar patrones anómalos pueden ser una herramienta de importancia en optimizar los procesos de gestión de cultivos.

Referencias

 P. Smith, «How to measure, report and verify soil carbon change to realise the potential of soil carbon sequestration for atmospheric greenhouse gas removal,» INSTITUTE FOR CARBON REMOVAL LAW AND POLICY, USA, 2019.


 A. S. Susanto B. Sulistyo, «Design and performance test of portable spectrometer using AS7265x multispectral sensor for detection of adulterated cane sugar in granulated coconut sugar,» AIP Conference Proceedings, USA, 2023.


 M. J.-L. F. R. J.-L. Andrés Fernando Jiménez-López, «Multispectral analysis of vegetation for remote sensing applications,» Iteckne, Colombia, 2015.

 

 

Interfaz Cerebro Computador para el control de un DRON tipo Cuatrimotor

James di Giacomo Rodríguez y Darío Ezequiel Núñez
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Tendencias del futuro: Interfaz Cerebro-Computador

En la década de 1970, el profesor Jacques Vidal introdujo el término «interfaz cerebro-computadora» (BCI, por sus siglas en inglés), planteando la idea de utilizar patrones de ondas cerebrales para controlar dispositivos externos, como computadoras. El control de drones a través de BCI es una extensión natural de esta investigación y ofrece nuevas oportunidades en términos de accesibilidad y control preciso de estos dispositivos.

El uso de interfaz cerebro-dron podría permitir a los operadores controlar drones de manera remota y precisa sin necesidad de una interfaz física, lo que reduciría el riesgo de exposición a peligros físicos, además, la interfaz cerebro-dron podría acelerar la prestación de ayuda en áreas afectadas por desastres naturales o conflictos, permitiendo una respuesta más rápida y precisa. De igual forma, este tipo de tecnología proporciona una alternativa de control para personas con dificultades físicas, lo que les permite superar sus limitaciones y tener mayor autonomía en el manejo de drones.

Sin embargo, a pesar de los beneficios potenciales, existen desafíos técnicos y prácticos que deben abordarse para una implementación efectiva y segura de esta tecnología. Estos desafíos incluyen la precisión y confiabilidad del control de drones a través de BCI, la seguridad cibernética para evitar intrusiones maliciosas y la protección de la privacidad y los derechos humanos de las personas afectadas por el uso de esta tecnología.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la creación de una interfaz cerebro-computador para el control de un DRON cuatrimotor. El sistema desarrollado muestra las interesantes posibilidades que ofrecen este tipo de interfases para simplificar la operación de dispositivos complejos y el acceso al uso de estos por personas con algún tipo de discapacidad motora. El sistema fue entrenado con diversos comandos y se validó su uso con un DRON de uso académico.

Desarrollo de los sistemas BCI

En la tesis titulada “Desarrollo de una interfaz cerebral utilizando herramientas IoT para el control de dispositivos ON-OFF orientado a personas con capacidades limitadas”, presentada por Luis Alberto Montalván Tandazo y Christian Fernando Quinte Caiza, en julio del año 2021, se aborda el tema del control de dispositivos electrónicos vía ondas cerebrales utilizando la diadema EMOTIV Insight 2.0, donde se le quiere facilitar el estilo de vida a las personas con ciertas limitaciones físicas, y por ende, brindarles comodidad y mejorar su modus vivendi en su día a día.

En ese mismo año, también se llevó a cabo un proyecto muy similar, titulado: “Desarrollo de un sistema BCI basado en redes neuronales y movimientos de la cabeza para el manejo de un ordenador”, el cual lleva por autor a Eddy Fabian Corrales Bastidas, donde se abarca esta idea, la cual se enfoca en el manejo de un ordenador en personas con movimiento reducido en sus extremidades superiores.

Por otro lado, en la tesis titulada “Implementación de un sistema de control para el manipulador Mitsubishi RV-2AJ, mediante ondas cerebrales empleando el sensor EMOTIV Insight”, presentada por Francisco Andrés Gómez Pineda y Stalin Gabriel Yaguana Torres, en julio del año 2018, se discute la problemática sobre la exclusión o limitación de acceso a tecnologías innovadoras de manipulación de robots para personas que no tienen conocimientos de programación de estos dispositivos o que tienen alguna discapacidad motriz. Por tanto, los autores plantean como solución a esta problemática, la implementación de un sistema que permita controlar los movimientos del brazo robótico Mitsubishi RV-2AJ de la marca Festo, utilizando señales cerebrales, mediante la interpretación de señales cerebrales recopiladas por la diadema EEG EMOTIV Insight 1.0, las cuales serán procesadas y analizadas a través de una tarjeta LattePanda, un dispositivo con capacidades de microcomputador y conectividad inalámbrica.

Descripción del Sistema Propuesto

El proyecto consiste en integrar un sistema de electroencefalograma (EEG) junto a un DRON, para que este sea manejado por medio de las ondas cerebrales que los seres humanos generamos cuando pensamos en una acción. Este sistema muestra un alternativa para ayudar al desarrollo de los sistemas BCI junto su interacción con los dispositivos IoT, vehículos aéreos no tripulados y cualquier dispositivo que sirva para facilitar la interacción de los humanos con los medios de transporte por interfaces cerebro–computador.

Por esto, el enfoque principal es emplear la tecnología del dispositivo EEG EMOTIV Insight 2.0 para contribuir a resolver el problema de la complejidad en la operación de drones. Se busca integrar el EMOTIV Insight 2.0 con el sistema de control del dron, estableciendo una conexión confiable y estable para permitir un control más intuitivo y preciso basado en las señales cerebrales del usuario. Debajo se muestra una imágen del EMOTIV Insight 2.0

Para la integración del DRON se eligió el sistema de BITCRAZ, el Crazyflie 2.1. Este es un pequeño DRON de código abierto desarrollado por Bitcraze. Es una versión mejorada y más avanzada de su predecesor, el Crazyflie 2.1 original. A pesar de su diminuto tamaño, el Crazyflie 2.1 está repleto de características y capacidades impresionantes. Este se puede programar utilizando lenguajes como Python y C, lo que brinda una gran flexibilidad para personalizar su comportamiento y desarrollar nuevas funciones. Debajo se muestra una imagen del DRON elegido.

El EMOTIVBCI es el software que permite enviar los datos de las señales tomadas por la diadema, para que así sean procesadas por la BCI y luego ser programadas para que el dispositivo ejecute la acción pensada. Se realizó una interfaz basada en Python para el tratamiento de los comandos de operación clasificados por el EMOTIVBCI y crear la interfaz con el API de control del DRON CrazyFlie 2.1.

Estructura del Sistema y Modo de Funcionamiento

En primera instancia, se conecta el Insight 2.0 mediante Bluetooth 5.0 al computador, luego el sujeto se coloca la diadema, se realiza una calibración de los sensores, de tal modo que la medidas de calidad para el software EMOTIVBCI sean 95% o mayor. Luego, mediante el EMOTIV Launcher, se inicia el software EMOTIVBCI , el cual es el encargado de los entrenamientos de los comandos mentales. Mediante la API de Cortex, se adquieren los datos EEG, utilizando las credenciales otorgadas por EMOTIV. Por otro lado, dentro de la API de Bitcraze, se programan las instrucciones necesarias para que el DRON Crazyflie 2.1 ejecute los comandos recibidos de la manera deseada. Ya teniendo esto listo, para comunicar ambas APIs, y enviar los comandos mentales generados por el Insight 2.0, se implementa un websocket en cada API. Por último, el aplicativo local, registra y muestra los comandos mentales que se están ejecutando en tiempo real por el sujeto, y los va mostrando en el computador. En la siguiente figura se muestra el diagrama en bloques del sistema.

La diadema Insight 2.0 utiliza Bluetooth 5.0 y software EMOTIV para controlarla. Para trabajar con el Cortex SDK y la API de Python, se necesita instalar dependencias. El DRON Crazyflie 2.1 también requiere un controlador y una máquina virtual . Un dongle de radio USB permite la conexión entre el DRON y la computadora, y el accesorio FlowDeck v2 asegura un vuelo estable con su sensor óptico de flujo. Las APIs se conectan a través de un socket IP y puerto. El dispositivo Insight 2.0 promedia comandos cada 0.125 segundos y envía la palabra más repetida. El código maneja la recepción y procesamiento de comandos, envía comandos a través del socket y utiliza hilos para la conexión y procesamiento. La comunicación a través del socket es esencial para la interacción entre el dispositivo Insight 2.0 y el DRON.

Resultados y limitaciones

Las pruebas realizadas mostraron que el sistema logró una precisión global del 85.3%. Para esto fueron realizados 68 ensayos, dando como resultado un total de 10 falsos negativos y 58 sesiones con comando detectados correctamente. Los resultados mostraron que el DRON fue capaz de recibir y ejecutar los comandos mentales enviados y generados por el Insight 2.0, según lo deseado por el usuario, demostrando así el cumplimiento total de los objetivos planteados.

En cuanto al desempeño del sistema, se observó que el tiempo de respuesta del DRON ante un comando mental fue en promedio de doce (12) segundos. Durante las pruebas de vuelo, se observó que el dron es altamente sensible a interferencias y cambios bruscos en el terreno. El Crazyradio 2.0 de Bitcraze opera en la frecuencia de 2,4GHz, compartida por muchos dispositivos de la red de la universidad, lo que provoca pérdida de control y colisiones del dron. Se reemplazaron varias hélices dañadas y se adquirieron repuestos adicionales para prevenir contratiempos.  Al integrar el Insight 2.0 con el Crazyflie 2.1, se notó un retraso de al menos tres segundos entre los comandos mentales y su ejecución debido a múltiples saltos entre APIs y procesamiento, así como la distancia al router.

Resultados Obtenidos

Después del desarrollo preliminar, se llevaron a cabo extensas pruebas y análisis para evaluar la efectividad de los métodos y algoritmos empleados en el análisis de las deficiencias en la caminata de los pacientes. Estos se centraron en la verificación y validación de los resultados obtenidos para garantizar la precisión y confiabilidad del sistema. Además, se realizaron ajustes y optimizaciones para adaptar el sistema a diferentes perfiles de pacientes y condiciones.

Se diseñó una interfaz de usuario para la visualización de datos, que incluía gráficos y tablas para presentar resultados de manera clara. Se realizaron pruebas exhaustivas para validar la precisión y confiabilidad del sistema, ajustando según fuera necesario para mejorar la exactitud del análisis. En la siguiente figura se muestra la interfaz del aplicativo WEB, este permite la configuración de umbrales para los procesos de detección y la visualización de la reportería por paciente. Debajo se muestra una secuencia de imágenes en el que el DRON sigue un comando a partir de la interfaz BCI, trasladándose desde la izquierda hacia la derecha.

Conclusiones

Este trabajo ha demostrado las funcionalidades que ofrecen las interfaz BCI para expandir la integración del control de distintos tipos de dispositivos tanto con aplicaciones civiles como de asistencia médica. Es importante destacar los retos que debieron ser superados para la integración de los distintos esquemas temporales de respuesta del sistema BCI frente a la recepción de comandos por parte de la API del DRON. Todo esto demuestra que es necesario el seguir explorando el desarrollo de estas interfaces BCI para su aprovechamiento en aplicaciones futuras.

Referencias

J. Wolpaw y E. W. Wolpaw, Brain-Computer Interfaces: Principles and Practice. Oxford University Press, 2012.


G. Pfurtscheller, B. Graimann y B. Allison, Brain-computer interfaces: Revolutionizing human-computer interaction. Heidelberg: Springer, 2010.


Millán, J.R., Rupp, R., Müller-Putz, G.R., Murray-Smith, R., Giugliemma, C., Tangermann, M., Vidaurre, C., Cincotti, F., Kübler, A., Leeb, R., Neuper, C., Müller, K.R. (2010). Combining Brain-Computer Interfaces and Assistive Technologies: State-of-the-Art and Challenges. Frontiers in Neuroscience, 4, 161. doi: 10.3389/fnins.2010.00161


Lebedev, M.A., Nicolelis, M.A.L. (2006). Brain-Machine Interfaces: Past, Present, and Future. Trends in Neurosciences, 29(9), 536-546. doi: 10.1016/j.tins.2006.07.004


McFarland, D.J., Wolpaw, J.R. (2011). Brain-Computer Interfaces for Communication and Control. Communications of the ACM, 54(5), 60-66. doi: 10.1145/1941487.1941506

 

 

Sistema para el análisis de la Caminata en procesos de Terapia Física

Albert Jerez y Diana Diplán
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Ser físicamente funcional

Las lesiones musculoesqueléticas representan una carga considerable para la salud y el bienestar global. Desde atletas de élite hasta individuos con estilos de vida activos, estas lesiones tienen un impacto devastador en la calidad de vida y la funcionalidad. Más allá del dolor físico, las lesiones podrían conducir a discapacidades a largo plazo, limitando la capacidad para trabajar, participar en actividades diarias e incluso disfrutar de recreaciones normales a nivel social.

Ante este desafío identificado y con el apoyo del departamento de Terapia Física de la Pontificia Universidad Católica Madre y Maestra (PUCMM) se busca abordar la necesidad de desarrollar herramientas y tecnologías innovadoras para una evaluación precisa y una intervención temprana en el análisis de la caminata. El objetivo siendo prevenir lesiones, mejorar los resultados del tratamiento y fomentar la salud y calidad de vida de las personas.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la el análisis de la caminata en procesos de terapia física. El sistema desarrollado cuenta con técnicas de visión computacional que permiten crear toda una reportería que asista al especialista en la evaluación del proceso de caminata de un paciente. El sistema agrega la data de sensores inerciales así como el uso de cámaras para la obtención de los reportes propuestos.

Integración de Tecnología en los procesos de Terapia Física

De acuerdo con F.R. Andrea Ramos, en «La importancia de una valoración en Fisioterapia», una de las áreas más afectadas por las lesiones musculoesqueléticas es la caminata. La capacidad de caminar eficientemente y sin dolor era fundamental para la movilidad y la independencia. Sin embargo, las lesiones en pies, tobillos y piernas alteran significativamente la biomecánica de la marcha, resultando en dolor crónico, discapacidad y una disminución de la calidad de vida. Además, las lesiones relacionadas con la marcha aumentan el riesgo de desarrollar problemas de salud más graves, como osteoartritis y enfermedades cardiovasculares, lo que podría tener consecuencias devastadoras a largo plazo para la salud y el bienestar general.

Sabiendo esto, en el estudio realizado por E. BV. llamado “Evaluación del control postural a través de Microsoft Azure Kinect DK: Un estudio de evaluación”, se compararon las trayectorias de movimiento del Kit Kinect utilizado con un sistema 3D estándar de seguimiento de alta precisión, relacionándolo a una posible solución. Veintiséis sujetos realizaron ejercicios específicos para su evaluación. El Kit Kinect demostró un seguimiento preciso de las articulaciones principales durante movimientos laterales, con un Error Cuadrático Medio (RMSE) de aproximadamente 0.2cm para ejercicios laterales y hacia adelante, y de 0.47cm para equilibrio. El Error Absoluto Medio angular osciló entre 5 y 15 grados para articulaciones superiores, mientras que las inferiores mostraron mayores errores. Se observaron mejores resultados en movimientos lentos. El estudio destaca el potencial del enfoque en base al Kit Kinect para la rehabilitación en el hogar, especialmente en la evaluación del control postural.

Otro bajo que busca analizar el proceso de movimiento del cuerpo humano es el presentado por  Y. Wang, S. Liu. Y S. Zhang. En el mismo se propone un algoritmo eficiente de reconocimiento de gestos manuales (HGR) para aplicaciones de interfaz humano-máquina (HMI) basados en el sensor BNO055. Utilizando datos de este sensor y considera su naturaleza temporal, lo que mejora el rendimiento de reconocimiento. La técnica de transformadas discretas de ondículas (DTW) es aplicada, mostrando que ofrece buenos resultados, pero su complejidad dificulta el aprendizaje en tiempo real. El algoritmo que implementaron el HGR, se basa en una red neuronal de energía de columna restringida (RCE) con un esquema de aprendizaje simple. Al reemplazar la métrica de la RCE con la distancia DTW mejora el reconocimiento de gestos con datos temporales y admite el aprendizaje en tiempo real. En pruebas con una FPGA, alcanzaron una precisión del 98.6% y soportaron operaciones en tiempo real a 150 MHz, lo que son resultados prometedores en el contexto del desarrollo del sistema.

Estos trabajos ponen el relieve dos puntos importantes: la importancia de la analítica del movimiento humano y la dificultad en procesar este tipo de datos. Por lo que el presente trabajo es un aporte importante en el desarrollo de este tipo de sistemas y en el estudio de diversas metodologías que puedan apoyar en el desarrollo de los procesos de fisioterapia.

Solución Propuesta

La solución propuesta para el análisis de la marcha en terapia física implicó el uso de tecnología de seguimiento de movimiento y un software de análisis de datos. Mediante el empleo de microcontroladores como el ESP32 (Lolin32) y un acelerómetro BNO055, colocados en diversas partes del cuerpo del paciente se busca poder medir el movimiento y la posición tridimensional durante la el proceso de caminata (marcha). El software de análisis procesó y visualiza los datos recopilados para mostrar patrones de movimiento precisos y objetivos durante la caminata. Esto buscando proporcionar a los fisioterapeutas una evaluación detallada y objetiva de la marcha de cada paciente, permitiéndoles diseñar un tratamiento personalizado y efectivo. En la siguiente figura se muestra el diagrama en bloque para la integración de todos los elementos a ser utilizados en el sistema propuesto.

Para la parte de visión computacional, se desarrolló un sistema automático de análisis de la marcha utilizando la librería MediaPipe. Esta herramienta permitiría una evaluación más eficiente y precisa de la marcha de los pacientes en terapia física. Al automatizar este proceso, se busca reducir el tiempo necesario para la evaluación inicial y mejorar la precisión de los diagnósticos, lo que a su vez conduciría a tratamientos más efectivos y una recuperación más rápida y completa para los pacientes en fisioterapia. En última instancia, se espera que este proyecto contribuya significativamente al bienestar y la calidad de vida de los pacientes en rehabilitación.

MediaPipe es una biblioteca de código abierto desarrollada por Google, especializada en análisis y procesamiento de datos de visión por computadora, ofreciendo seguimiento de movimientos y detección de objetos en tiempo real, así como mediciones precisas de velocidad, longitud del paso, cadencia y equilibrio durante la caminata. Luego de implementada, esta librería permitió capturar imágenes precisas y detalladas del movimiento del paciente durante la marcha, con la capacidad de capturar imágenes en 3D utilizando sensores de profundidad avanzados. En la siguiente imágen se aprecia la capacidad de MediaPipe de capturar puntos específicos del cuerpo, en este caso los hombros.

Metodología

El desarrollo del sistema de análisis de deficiencias en la marcha se llevó a cabo mediante un enfoque metodológico que abarcó desde la configuración inicial hasta la implementación práctica. Se inició con la configuración de los componentes hardware y la instalación del software de análisis de datos, seguido de pruebas preliminares para calibrar los sensores y ajustar su sensibilidad y precisión. El desarrollo del software implicó la configuración de algoritmos de seguimiento de movimiento y la visualización de datos en tiempo real. Esta metodología queda esquematizada en la siguiente imagen.

Se integraron  un total de tres cámaras de alta resolución para capturar imágenes en 3D del movimiento del paciente, estableciendo protocolos para la sincronización y captura de datos en tiempo real. Adicionalmente, se hizo uso de unos guantes para integrar los sensores del tipo acelerómetro seleccionados junto con el microcontrolador. Esto permitió obtener la medición de la aceleración en las cuatros extremidades del paciente, lo que brinda posibilidad de aplicar técnicas de análisis basadas en fusión de datos de distinta naturaleza. En la figura siguiente se muestra el sensor utilizado para la creación de este sistema de captura.

Resultados Obtenidos

Después del desarrollo preliminar, se llevaron a cabo extensas pruebas y análisis para evaluar la efectividad de los métodos y algoritmos empleados en el análisis de las deficiencias en la caminata de los pacientes. Estos se centraron en la verificación y validación de los resultados obtenidos para garantizar la precisión y confiabilidad del sistema. Además, se realizaron ajustes y optimizaciones para adaptar el sistema a diferentes perfiles de pacientes y condiciones.

Se diseñó una interfaz de usuario para la visualización de datos, que incluía gráficos y tablas para presentar resultados de manera clara. Se realizaron pruebas exhaustivas para validar la precisión y confiabilidad del sistema, ajustando según fuera necesario para mejorar la exactitud del análisis. En la siguiente figura se muestra la interfaz del aplicativo WEB, este permite la configuración de umbrales para los procesos de detección y la visualización de la reportería por paciente. 

Se llevaron a cabo pruebas simuladas y estudios con pacientes reales, bajo la supervisión de profesionales de la salud. Los resultados obtenidos fueron analizados y comparados con evaluaciones manuales realizadas por fisioterapeutas experimentados, demostrando la capacidad del sistema para detectar y cuantificar deficiencias específicas en la marcha. Debajo se muestra un ejemplo de una gráfica de captura de movimiento.

El sistema fue configurado para detectar las siguientes anomalía:

  • Inclinación excesiva de hombros
  • Declive de los codos
  • Diferencia de alineación entre las muñecas
  • Diferencia de alineación entre las rodillas
  • Desalineación en la cadera
  • Separación anormal de rodillas
  • Inclinación de la columna

Conclusiones

El sistema ofrece varias ventajas clínicas, incluida su capacidad para detectar patrones anómalos en la marcha de los pacientes y su potencial en la monitorización continua en entornos clínicos. Además, su adaptabilidad y facilidad de uso lo hacen una herramienta prometedora para la evaluación y el seguimiento de pacientes en rehabilitación. Las perspectivas futuras incluyen la aplicación del sistema en investigaciones adicionales para mejorar aún más su precisión y funcionalidad, así como su integración en entornos clínicos para mejorar la calidad de vida y el bienestar de los pacientes con deficiencias de movimiento.

La adaptabilidad del sistema, su capacidad para detectar patrones anómalos y su potencial en la monitorización continua de pacientes en entornos clínicos, junto con su aplicabilidad en investigaciones futuras, destacan como aspectos prometedores para su utilización.

Referencias

Antico, M., Balletti, N., Laudato, G., Lazich, A., Notarantonio, M., Oliveto, R., Ricciardi, S., Scalabrino, S., & Simeone, J. (2021). Postural Control Assessment via Microsoft Azure Kinect DK: An evaluation study. Computer Methods and Programs in Biomedicine, 209, 106324. https://doi.org/10.1016/j.cmpb.2021.106324

 

 

Sistema de Monitoreo Industrial de Temperatura (SMIT)

Starlyn Peña
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Desastres en Tiempos de Pandemia: Origen de SMIT

A finales del año 2019 se identificó un nuevo virus en Wuhan, China, marcando un acontecimiento sin precedentes en la historia moderna humana. La subsiguiente pandemia, conocida como Covid-19, mantuvo al mundo en vilo durante casi dos años y, aún en la actualidad, se siguen tomando medidas preventivas para frenar su propagación en ambientes laborales. Esto ha llevado a que muchas empresas tengan protocolos establecidos para detectar síntomas de enfermedades contagiosas entre sus empleados que puedan afectar tanto la salud del personal como la productividad de la empresas. Debido a su alto grado de contagio el Covid-19 marcó un hito importante en el establecimiento de estos protocolos sanitarios, pero enfermedades como el dengue, la gripe estacional u otras infecciones pueden de igual manera presentar un impacto importante para el personal de una empresa.

Estas enfermedades comparten un síntoma común: la posibilidad de presentar fiebre. La fiebre queda definida como el síntoma que se produce cuando la temperatura corporal supera los 38 °C. Esto abre la posibilidad de aplicar  diversas técnicas y tecnologías para tomar las medidas preventivas adecuadas en caso de que una persona posea síntomas febriles y sea portadora de alguna enfermedad contagiosa. Sin embargo, algunas de estos métodos no son muy precisos en el resultado. Por lo tanto, aunque el COVID19 actualmente no nos azote tan de lleno, es necesario en el entorno industrial un método eficiente para cuando se necesita obtener la temperatura de los trabajadores, contribuyendo a la seguridad y salud generales. Debido a esto, se desarrolla SMIT, nuestro tema de discusión en el presente artículo.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la detección de síntomas febriles mediante el uso de visión computacional y algoritmos de aprendizaje de máquina. El sistema desarrollado cuenta con los aplicativos administrativos necesarios para la identificación de los empleados y el manejo de notificaciones de detección. Adicionalmente, se considera el uso de un sistema de calibración interno de referencia para aumentar la precisión del sistema propuesto.

Marco conceptual: Detección de Síntomas Febriles en entornos industriales

En su artículo (H. D. Septama, M. Komarudin, A. Yudamson, T. Yulianti, M. Pratama and T. P. Zuhelmi, 2021), señala el hecho de que múltiples lugares utilizan personal equipado con pistolas termómetro para medir la temperatura corporal de los visitantes, pese a que esta práctica tiene inconvenientes, ya que implica contacto cercano entre el personal y los visitantes, lo que puede propiciar la propagación del virus. Como solución presenta un sistema de bajo costo para la medición rápida de la temperatura corporal sin contacto, utilizando una cámara térmica integrada con una barrera. Por lo tanto, no se necesita personal para medir la temperatura corporal, ya que los visitantes pueden verificarla de manera independiente, teniendo una precisión en la temperatura del personal de un 98.75%.

En adición, en el artículo de (S. D. Khirade and A. B. Patil, 2015) se discute el hecho de que el procesamiento de imágenes se emplea en la detección de enfermedades en plantas, abarcando pasos como la adquisición de imágenes, preprocesamiento de imágenes, segmentación de imágenes, extracción de características y clasificación. Se exploran los métodos utilizados para detectar enfermedades en plantas mediante imágenes de sus hojas. Además, en nuestro provecho, se profundiza en algunos algoritmos de segmentación y extracción de características.

Siguiendo la misma línea de procesamiento, en el escrito de los autores (Ragavesh Dhandapani1 y Sara Marhoon Humaid Al-Ghafri, 2022) se utiliza un sistema de detección de objetos basado en visión por computadora para reconocer mascarillas faciales y autenticar certificados de vacunación en tiempo real a través de un kit Jetson Xavier. El proceso comprende la captura de video en tiempo real y su posterior procesamiento, que implica la detección facial mediante un clasificador Haar-Cascade y la codificación facial. Luego, se emplea un modelo de aprendizaje profundo pre-entrenado para ubicar la clase objetivo (mascarilla) en el fotograma.

Todos estos trabajos resaltan la oportunidad de mejora en los sistemas de monitoreo de temperatura si se integran tecnologías referentes a procesamiento en el borde, reconocimiento facial, seguimiento de objetos y técnicas estadísticas para robustecer la medición de los sistemas de medición de temperatura sin contacto.

Descripción del Sistema Propuesto

A partir del diagrama mostrado se evidencia la integración de los distintos componentes que brindan el acercamiento basado en computación en el borde para el sistema propuesto. Siendo el corazón del sistema el sistema de procesamiento Jetson AGX Xavier. Este dispositivo en un dispositivo heterogéneo de procesamiento que incluye procesadores de la familia ARM junto con un núcleo de procesamiento gráfico de propósito general (GPGPU, por sus siglas en inglés) pensado para acelerar la ejecución de algoritmos de aprendizaje de máquina y procesos de visión computacional. Adicionalmente, una cámara termográfica de alta precisión Hikvision DS-2TD2617-10/QA

La Implementación de técnicas de procesamiento de imágenes constituye un paso crucial en la operación del sistema. Utilizando técnicas avanzadas como segmentación e identificación, se busca extraer información pertinente al separar las áreas de interés de las no deseadas. Como se puede ver en la imagen, la computadora en el borde elegida presenta un tamaño reducido y su consumo de potencia (menos de 65W) hace que sea idónea para este tipo de aplicaciones. Cuenta con una capacidad teórica máxima de procesamiento de 11 TFLOPS.

En el procesamiento de imágenes, se capturan los frames de la cámara IP termográfica y se procesan para adaptar los algoritmos. Se convierten del espacio de color BGR al RGB y se implementa un algoritmo de detección de rostros. Se obtienen los puntos de referencia, como la ubicación de los ojos y la boca, y se escala la resolución de los videos para ajustarlos. Luego, se localiza el rostro detectado en el STREAM de la cámara termográfica para inicializar el algoritmo de seguimiento y se estiman las temperaturas corporales utilizando un Black Body Calibrator (BBC) y la intensidad del píxel correspondiente al punto identificado del canal lagrimal del ojo. En la figura siguiente se muestra la metodología propuesta para el SMIT.

En cuanto al sensor de temperatura, se utiliza un sensor del tipo resistivo para la medición de la temperatura (RTD) con un amplificador MAX31865 y un ESP32. La RTD se conecta al MAX38165 según las especificaciones del fabricante y se establece la comunicación entre el sensor y la ESP32 mediante el protocolo SPI. Luego, se programa la comunicación utilizando una librería proporcionada por el fabricante.

Resultados Obtenidos

La Implementación de Técnicas de Procesamiento constituye un paso crucial en la operación del sistema. Utilizando técnicas avanzadas como segmentación e identificación, se busca extraer información pertinente al separar las áreas de interés de las no deseadas. El poder detectar marcadores fiduciarios es un punto clave para este proyecto, porque permite identificar las regiones en donde es necesario evaluar la intensidad de los pixeles y compararlo con el punto de referencia provisto por el BBC. En la siguiente imagen se muestra la capacidad del algoritmo, al ser ejecutado en la Jetson AGX Xavier, de detectar un rostro y construir la malla de referencia con los marcadores fiduciarios.

La Aplicación de Monitoreo (Web) representa la interfaz donde la información procesada cobra relevancia práctica. Al recibir y analizar la información, esta aplicación determina si una persona supera la temperatura establecida. En caso afirmativo, emite notificaciones al personal de seguridad, permitiendo la implementación de medidas adecuadas. La misma fue desarrollada bajo el framework minimalista Flask en PYTHON, lo que permite que la ejecución del aplicativo también quede en el mismo equipo para computación en el borde.

Una funcionalidad que fue agregada al sistema es la capacidad de asociar un ID de empleado a un rostro. Adicionalmente, se detecta un estado de ERROR en caso de que el empleado no pueda ser identificado por llevar una mascarilla o en caso de que lleve gafas oscuras. Es importante recalcar que este sistema está pensado para ser utilizado en un ambiente post pandemia, por lo que se puede aplicar el sistema en zonas donde los empleados deban bajar sus mascarillas antes de cruzar, creando la relación ID de empleado con temperatura.

Esta plataforma WEB implementa un sistema de login para acceder al sistema y permite visualizar información relevante como el monitoreo del personal, el estado del sistema y reportes de datos. Se pueden configurar límites de temperatura, escala de visualización, cantidad máxima de rostros detectados, entre otros parámetros. También se pueden crear, modificar y eliminar empleados y usuarios según los permisos correspondientes.

Conclusiones

El sistema exhibe un buen desempeño durante la noche o en entornos con iluminación reducida, donde aun con ausencia de luz de fondo el algoritmo de detección facial logra funcionar adecuadamente. Además, se destaca por su excepcional precisión, con un margen de error mínimo de tan solo 0.5 °C, una cifra notablemente inferior en comparación con otros sistemas. Es crucial destacar la importancia de considerar cuidadosamente el entorno de aplicación en donde sea instalado el sistema, especialmente en ambientes donde la iluminación pueda saturar la imagen, ya que este factor puede influir significativamente en los resultados.

Este sistema SMIT emerge como un proyecto innovador, preciso, fácil de utilizar y seguro. Su desarrollo responde a la necesidad crítica de monitorear la salud en entornos industriales, ofreciendo una herramienta eficaz y de utilidad.

Referencias

 M. K. A. Y. T. Y. M. P. T. Z. H. Septama, «Low Cost Non-Contact Rapid Body Temperature Screening using Thermal Camera for Early Detection of Covid-19 Suspect,» Bandung, 2021.

Gelir, «Image processing for quantitative measurement of e/m in the undergraduate laboratory,» 2019. NVIDIA, «NVIDIA,» 25 Marzo 2019. [En línea]. Available: https://www.nvidia.com/enus/autonomous-machines/embedded-systems/jetson-agx-xavier. [Último acceso: 22 Noviembre 2022].

Alonso, V., Dacal-Nieto, A., Barreto, L., Amaral, A., & Rivero, E. (2019). Industry 4.0 implications in machine vision metrology: An overview. Procedia Manufacturing, 41, 359–366. https://doi.org/10.1016/j.promfg.2019.09.020

Sharma, K. Shanmugasundaram and S. K. Ramasamy, «FAREC — CNN based efficient face recognition technique using Dlib,» 2016 International Conference on Advanced Communication Control and Computing Technologies (ICACCCT), Ramanathapuram, India, 2016, pp. 192-195, doi: 10.1109/ICACCCT.2016.7831628.