Sistema para la detección enfermedades en cultivos de Arroz

Publicado el Publicada

Ilka Hernández y Patricia DiMassimo
Estudiantes Escuela de Ingeniería en Eléctrica, Campus Santiago
PUCMM

El arroz en República Dominicana

El cultivo del arroz es una actividad agrícola fundamental en muchos países del mundo, especialmente en República Dominicana, donde se consume en grandes cantidades y se cultiva extensamente. Sin embargo, la presencia de enfermedades y condiciones de estrés puede afectar significativamente la producción y calidad de los cultivos de arroz, lo que a su vez afecta la economía y la seguridad alimentaria las regiones donde se distribuye este producto. Por lo que, la detección temprana de estas enfermedades y condiciones de estrés es un desafío para los agricultores, ya que a menudo son difíciles de detectar a simple vista.

Para abordar este problema, se propone la implementación de un sistema de procesamiento de mapas multiespectrales e imágenes para la detección temprana de enfermedades y condiciones de estrés en cultivos de arroz.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la detección temprana de enfermedades en cultivos de arroz. El sistema desarrollado combina técnicas de visión computacional y aprendizaje de máquinas. Fue desarrollado un esquema de fusión de datos para la creación de modelos de naturaleza heterogénea.

La Digitalización en la Agricultura

La creciente intersección entre la tecnología y la agricultura ha revolucionado la manera en que se aborda los desafíos agrícolas en la actualidad. Uno de los avances más notables ha sido la aplicación de la inteligencia artificial (IA) en este campo. La capacidad de procesar grandes volúmenes de datos y extraer patrones significativos ha permitido optimizar la producción y la toma de decisiones agrícolas. La integración de sensores avanzados y microcontroladores como el ESP32, ha facilitado la recolección y el análisis de información crítica para el diagnóstico y prevención de enfermedades en cultivos, como el arroz. Esta revisión se enfoca en la evaluación de cómo la tecnología, especialmente la inteligencia artificial, ha impactado en la agricultura, con énfasis en la aplicación de sensores multiespectrales y microcontroladores en el reconocimiento temprano de enfermedades en hojas de arroz.

La combinación de tecnologías de medición multiespectral e inteligencia artificial ha dado lugar a soluciones novedosas en la detección de adulteración en productos agrícolas. Un ejemplo destacado es el desarrollo de un espectrómetro portátil que utiliza este sensor para evaluar la pureza del azúcar de coco y detectar la adulteración con azúcar de caña. La implementación de redes neuronales permitió una clasificación precisa de muestras adulteradas y puras, con una tasa de éxito del 100% en casos de azúcar de coco y un promedio superior al 90% para estimar la intensidad de la adulteración.

Diversos proyectos relacionados han abordado problemáticas similares en la detección y diagnóstico de enfermedades en cultivos, lo que amplía la comprensión de las aplicaciones y desafíos de la tecnología. Por ejemplo, un estudio se centró en la detección de malezas y la estimación de la salud de las vides utilizando el NDVI en combinación con el sensor multiespectral. Aunque enfrentaron desafíos de calibración y sesgos, estos proyectos reflejan la creciente importancia de las herramientas tecnológicas en la agricultura de precisión y subrayan la necesidad de investigación continua para superar obstáculos técnicos.

Solución Propuesta

La implementación del presente proyecto tiene como objetivo mejorar la producción de arroz al reducir los efectos negativos de las enfermedades y condiciones de estrés en los cultivos. En cuanto a la composición, las imágenes multiespectrales se obtendrían mediante la utilización del sensor multiespectral seleccionado que puede capturar la luz en diferentes longitudes de onda. Las mediciones multiespectrales capturadas por este sensor proporcionaron información detallada sobre el estado de salud de los cultivos de arroz.

Además, se utilizaron técnicas de procesamiento de imágenes para mejorar la calidad y precisión de los datos obtenidos de las mediciones multiespectrales. Estas técnicas incluyen la corrección de distorsiones en las imágenes, la eliminación de ruido y la normalización de los datos para garantizar una representación precisa de la salud de los cultivos. Este sistema combina la ciencia de la agricultura con la tecnología de la información y el aprendizaje automático, para proporcionar una solución integral y efectiva para la detección temprana de enfermedades y condiciones de estrés en los cultivos de arroz.

Para la creación del sistema físico, se utilizó la herramienta de CAD SolidWorks para diseñar dos cajas negras. Ambas cajas tienen las mismas dimensiones, pero con propósitos diferentes. La caja mostrada en la siguiente está diseñada para trabajar con el sensor multiespectral seleccionado y dos arreglos de LEDs. Su función es proporcionar un espectro de emisión que abarca un rango desde los 400 nm (ultravioleta) hasta los 750 nm (infrarrojo cercano). El objetivo de este diseño es captar el espectro reflejado por las hojas de arroz y utilizar esta información para determinar ciertas condiciones relacionadas con los niveles de hidratación de las hojas.

Se empleó un microcontrolador ESP32 para gestionar la activación y desactivación de los LEDs que emiten diversas frecuencias espectrales y que son dirigidos a las hojas de arroz. El ESP32 es una opción ligera pero altamente confiable para esta tarea. Con este microcontrolador, se estableció una comunicación con el sensor multiespectral utilizando el protocolo I2C. En la siguiente figura se muestra una imagen con la configuración de entrada y salida del microcontrolador elegido.

En la carcasa diseñada fueron acomodadas tanto la cámara como el sensor multiespectral seleccionado, permitiendo las capturas de hojas individuales de arroz para su caracterización. Se seleccionó el color negro para evitar el efecto de la reflexión y se colocaron LEDs específicos para las distintas frecuencias del espectro electromagnético que se deseaban caracterizar. En la siguiente imagen podemos ver un ejemplo de una imagen capturada.

Se analizó cada hoja en términos de valores de reflectancia y absorción en cada una de las 18 bandas del sensor (410nm, 435nm, 460nm, 485nm, 510nm, 535nm, 560nm, 585nm, 610nm, 645nm, 680nm, 705nm, 730nm, 760nm, 810nm, 860nm, 900nm, 940nm). Para lograrlo fue colocado un arreglo de 6 LEDs capaces de proporcionar las longitudes de onda mostradas con dirección a la hoja. En la siguiente figura se observa la respuesta capturada a partir del sensor multiespectral.

Metodología para el entrenamiento de los algoritmos de aprendizaje de máquina

A partir de estas imágenes se procedió a entrenar un modelo de clasificación basado en las redes neuronales convolucionales. AlexNet es un modelo de red neuronal convolucional considerado uno de los modelos más influyentes en el campo del aprendizaje profundo y fue uno de los primeros en demostrar un rendimiento notable en la tarea de clasificación de imágenes a gran escala. Las técnicas de aprendizaje por transferencia han permitido aprovechar las arquitecturas de estas redes neuronales convolucionales y adaptarla a una diversidad de aplicaciones. En nuestro caso, a la clasificación de enfermedades en hojas de arroz. Debajo se muestra la estructura de la red AlexNet entrenada usando el ambiente Matlab.

Resultados Obtenidos

La estrategia de procesamiento de imágenes en el dominio espacial para identificar manchas en hojas de arroz ha arrojado resultados sumamente prometedores. La elección de la técnica de segmentación basada en el color, combinada con operaciones de preprocesamiento como la conversión a escala de grises y la aplicación de operaciones de apertura, ha demostrado su capacidad para resaltar de manera excepcional las áreas de interés, es decir, las manchas en las hojas. La aplicación consecutiva del método de Otsu y su transformación inversa ha afinado aún más la precisión de la segmentación, contribuyendo a una separación nítida entre las manchas y el fondo de las hojas. Este enfoque en el dominio espacial ha culminado en una detección de enfermedades en las hojas de arroz más confiable y definida, al mismo tiempo que ha minimizado cualquier distorsión o ruido no deseado en las imágenes. La inherente flexibilidad de esta metodología ha permitido ajustar los parámetros de segmentación en función de las variaciones en las características de las manchas y los requisitos específicos del proyecto. En la figura siguiente se muestran los resultados del procesamiento utilizado.

A continuación se muestran los resultados del mejor modelo obtenido. Es importante recalcar que se utilizó una estrategia de entrenamiento cruzado, para evitar introducir sesgo al modelo planteado. La precisión promedio para todas las clases fue del 91.44%.

En el caso del sensor multiespectral, fue elegido un modelo basado en árboles aleatorios, donde se observa una capacidad importante del modelo de distinguir de las tres clases asignadas para la clasificación multiespectral. En la siguiente figura se muestra la matriz de confusión del modelo.

El desempeño obtenido por la estación de inspección mostró su viabilidad para cumplir los objetivos planteados para el presente proyecto, ofreciendo la posibilidad de implementar estrategias similares en distintos tipos de cultivos, y adicionalmente, la importancia que puede presentar la aplicación de técnicas de aprendizaje de máquina en la implementación de la agricultura de precisión.

Conclusiones

La elección de modelos y estrategias de entrenamiento es crucial para la clasificación de imágenes RGB y datos multiespectrales para aplicaciones de agricultura de precisión. La adaptabilidad del sistema desarrollado y su capacidad para detectar patrones anómalos pueden ser una herramienta de importancia en optimizar los procesos de gestión de cultivos.

Referencias

 P. Smith, «How to measure, report and verify soil carbon change to realise the potential of soil carbon sequestration for atmospheric greenhouse gas removal,» INSTITUTE FOR CARBON REMOVAL LAW AND POLICY, USA, 2019.


 A. S. Susanto B. Sulistyo, «Design and performance test of portable spectrometer using AS7265x multispectral sensor for detection of adulterated cane sugar in granulated coconut sugar,» AIP Conference Proceedings, USA, 2023.


 M. J.-L. F. R. J.-L. Andrés Fernando Jiménez-López, «Multispectral analysis of vegetation for remote sensing applications,» Iteckne, Colombia, 2015.

 

 

Sistema de Radio Cognitiva basado en Radio Definida por Software

Publicado el Publicada

Nicole Marie Ramos y Jhonabel Hernández
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

La evolución de la Radio tradicional

La radio cognitiva y los dispositivos de radio definidos por software (SDR) son tecnologías emergentes que abordan la escasez del espectro en comunicaciones inalámbricas. Permiten un acceso dinámico al espectro al detectar y aprovechar las frecuencias subutilizadas. Por esa razón, y tomando en cuenta el crecimiento exponencial de la población humana, aprovechar estas nuevas tendencias tecnológicas para hacer un uso eficiente del espectro radioeléctrico es un punto clave para continuar el desarrollo de las tecnologías de la telecomunicación.

Se debe destacar que el espectro radioeléctrico es un recurso limitado, por lo que el estudio de nuevas técnicas que hagan un uso inteligente del mismo garantiza el continuar contando con este recurso. Este proyecto explora el uso de la radio cognitiva para optimizar la utilización del espectro disponible en aplicaciones de alta velocidad y baja latencia, así como el uso de los dispositivos SDR para el acceso dinámico al espectro.

En esta entrada de este blog de innovación se presentará la implementación de una arquitectura de software definida por radio para la implementación de estrategias de radio cognitiva. El sistema desarrollado muestra la importancia de la implementación de técnicas de radio cognitiva para garantizar el buen aprovechamiento del espectro radioeléctrico.

La importancia de la Radio Cognitiva

En el trabajo titulado “Evaluación de ocupación del espectro radioeléctrico y análisis de factibilidad de uso de radio cognitiva en la banda UHF (450 – 512 MHZ) Para su optimización en la ciudad de Riobamba” se tomaron dos puntos de referencia para la medición del espectro y, a partir de allí, por medio del análisis espectral se concluyó que el 93.24% de las bandas de frecuencia no estaban siendo ocupadas. Esto pone en perspectiva que la implementación de sistemas de radio cognitiva permitiría reconfigurar automáticamente los esquemas de transmisión y aprovechar estos espacios no utilizados.

Otro proyecto interesante es “Implementación de escenarios de simulación mediante técnicas de modulación y análisis espectral en sistemas WRAN en radios cognitivas”. Este establece que por medio de radio cognitiva se puede identificar el espectro en frecuencia que se encuentra disponible y proceder a realizar la transmisión de la información en los espacios no utilizados. Este trabajo presenta un análisis práctico basado en MATLAB y se crea un escenario de simulación para validar la propuesta planteada.

De igual manera, el trabajo titulado “Herramienta para la medición de ocupación de canales para radio cognitiva en el rango de 470 MHz a 900MHz” encontramos algo similar a lo planteado anteriormente. Los autores presentan un prototipo de herramienta de bajo costo para medir y determinar la ocupación de canal y niveles de señal en el espectro radioeléctrico en el rango de 470 MHz a 900 MHz. Este sistema de bajo costo aprovechando los sistemas SDR es una alternativa a los equipos profesionales y de laboratorio que tienden a tener una mayor precisión pero a un custo mucho más elevado. Por lo que estas soluciones de bajo costo ayudan a promover la implementación de sistemas de radio cognitiva.

Descripción del Sistema Propuesto

Este trabajo propone la creación de una herramienta robusta y de bajo costo utilizando radio cognitiva como concepto principal, sus técnicas de detección y de acceso dinámico se enfocarán en las banda del espectro de frecuencia de UHF/VHF para la toma de decisión con un sistema cognitivo basado en el entrenamiento de un modelo de aprendizaje de máquina. Siendo el propósito de este modelo el detectar espacios de baja utilización dentro del espectro para hacer uso de los mismos en un proceso de transmisión. Esto permite aplicar el uso de radio cognitiva mejorando el acceso dinámico a usuarios secundarios por medio de un algoritmo que detecta energía y el entrenamiento de un modelo de aprendizaje.

La estructura del sistema de radio cognitiva consiste en un conjunto de algoritmos que funcionan a través de software, conocidos como motor cognitivo, y que pueden ser utilizados en plataformas de radio con implementación de hardware. Este motor cognitivo se encarga de gestionar los recursos y adaptar el mecanismo para optimizar sus funcionalidades. En resumen, una arquitectura ideal de radio cognitiva incluiría una serie de componentes funcionales:

  • Interfaz de usuario
  • Detección de entorno
  • Aplicación en el sistema
  • Radio definido por software
  • Funciones cognitivas

Por lo que se debe ejecutar un esquema que permita cumplir con cada uno de estas funcionalidades. Es importante destacar que la flexibilidad de la radio definida por software permite integrar en un solo equipo físico mucha de estas funcionalidades. Adicionalmente, la capacidad de reconfiguración de los sistemas SDR ofrece alternativas interesantes para la adaptabilidad requerida por los sistemas de radio cognitivo. En la siguiente figura se muestra el esquema de implementación realizado para el sistema propuesto.

La transmisión y recepción de señales fue realizada mediante el uso de un dispositivo SDR, en específico BladeRF x40. Para el procesamiento de las señales se implementaron las rutinas a ser ejecutadas en el sistema SDR en el ambiente de GNU Radio. En la siguiente imagen podemos ver el sistema SDR BladeRF x40.

En más del 69% de las ocasiones en que el aprendiz solicitó una sugerencia, acciones captadas y analizadas al momento de validar las habilidades del coach, estas recomendaciones contribuyeron a que el aprendiz o su equipo resulten ganadores de la ronda. Esto implica que en menos del 30% de los casos, las sugerencias del coach no resultaron beneficiosas para el aprendiz o su equipo, ya sea por perder la ronda o porque la ficha sugerida no era la más óptima en ese momento.

Resultados y Limitaciones

La implementación realizada en GNU Radio permitió crear un detector de energía y agregar cotas de robustez mediante el análisis estadístico de la densidad de potencia en cada canal, determinando si el mismo se encontraba ocupado o no. Debajo se muestra el resultado en GNU Radio al momento de detectar un canal ocupado.

En este caso se determinó que el canal en 955MHz se encontraba ocupado, por lo que no es posible realizar una transmisión en el mismo. A partir de esto fue posible crear una modulación del tipo OFDM cuya frecuencia base fuera adaptable. En la siguientes imágenes se puede ver el proceso de transmisión y como el sistema selecciona la frecuencia centra en 915MHz que se encuentra desocupada.

Conclusiones

El uso de SDR (Radio Definida por Software) brinda mayor flexibilidad y reconfigurabilidad al sistema, permitiendo una implementación más sencilla y una adaptación más rápida a diferentes condiciones y requisitos de comunicación. Esto permite adaptar la comunicación a diferentes entornos, condiciones de propagación y requisitos de servicio sin necesidad de cambiar el hardware físico.

Por último, el algoritmo de detección de canales juega un papel crucial en la detección y utilización de los canales en blanco del espectro, garantizando que el sistema pueda operar sin causar interferencias perjudiciales a los usuarios primarios. En general, este proyecto demuestra que la combinación de radio cognitiva, OFDM, SDR y algoritmos de detección de canales es una solución efectiva para mejorar la gestión y eficiencia del espectro inalámbrico, lo que puede conducir a un mejor rendimiento y una mayor capacidad de las redes inalámbricas en el futuro. Sin embargo, es importante seguir investigando y desarrollando esta tecnología para garantizar su viabilidad y éxito en aplicaciones prácticas y para el manejo de usuarios de manera masiva.

Referencias

Ponce Pinos, J. E. (enero de 2019). Evaluación de ocupación del espectro radioeléctrico y análisis de factibilidad de uso de radio cognitiva en la banda UHF (450 – 512 MHz) para su optimización en la ciudad de Riobamba.

Prócel Contreras, Julio Ricardo (febrero de 2020) Implementación de escenarios de simulación mediante técnicas de modulación y análisis espectral en sistemas WRAN en radios cognitivas.

Briceño Rodríguez, Diana Zoraida (agosto 2020) Herramienta para la medición de ocupación de canales para radio cognitiva en el rango de 470 MHz a 900MHz

 

Entrenador de Dominó basado en Inteligencia Artificial

Publicado el Publicada

Luis Ángel Ramírez y Sebastián Manuel Sánchez
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

El juego del Dominó

¿Qué dominicano no ha experimentado una partida de dominó? Desde una perspectiva sociológica, este juego engloba varios aspectos importantes, como elementos educativos, culturales y deportivos al evaluar la agudeza mental en distintos países. En este sentido, surgen los instintos competitivos y la necesidad de aprender a hacer las cosas de la manera correcta.

Por esta razón, la Pontificia Universidad Católica Madre y Maestra se une al movimiento tecnológico desarrollando un entrenador (COACH) de dominó con visión computacional e inteligencia artificial como parte de un proyecto de grado dentro de la carrera de Ciencias de la Computación. Este COACH busca entrenar a cualquier persona interesada en el juego, asegurando que todas las partes jueguen limpio, aun si se desconoce el proceder en el dominó, respetando las reglas, garantizando así la mejor experiencia para todos los jugadores.

En esta entrada de este blog de innovación se presentará la implementación de un entrenador de Dominó basado en la aplicación de visión computacional e inteligencia artificial. El sistema desarrollado muestra las distintas aplicaciones que pueden tener estas tendencias de los sistemas inteligentes en nuestra vida diaria.

Aplicando Tecnología al juego de Dominó

En el proyecto de Herrero, D.G., llamado «Reconocimiento de fichas de dominó mediante técnicas de visión artificial» se implementa la identificación de fichas de dominó por un sistema de forma automática a partir de imágenes tomadas por una cámara digital. Se implementó un algoritmo que recibe un archivo de imagen en el que aparecen fichas de dominó sobre un tapete color verde. El sistema es capaz de identificar cada una de las fichas tanto si se encuentran separadas como si están colocadas juntas unas a otras. Se implementaron técnicas para recuperar partes de la imagen perdidas debido a la iluminación. Para realizar la identificación, el algoritmo realiza en primer lugar una serie de filtrados de la imagen, para posteriormente segmentar la imagen y extraer los contornos de las fichas donde seguido eso se localiza dentro de ellos la línea intermedia de separación de las dos partes de que consta la ficha. Una vez que se ha localizada la línea de separación, se procede a la identificación de la ficha mediante el recuento de puntos existentes a cada lado de dicha separación.

Trabajos como éste pone en evidencia el interés en aplicar las últimas tendencias en técnicas de procesamiento de imágenes e inteligencia artificial al juego del Dominó. Tendencias como los modelos de aprendizaje profundo y los transformadores abren un abanico de oportunidades para impactar algo tan tradicional como lo ha sido el juego de Dominó.

Descripción del Sistema Propuesto

La aplicación se ejecuta de manera local en un dispositivo, preferiblemente una laptop, ya que se basa en un conjunto de librerías y algoritmos para la detección y reconocimiento de fichas, tanto del aprendiz como de las jugadas en la mesa y de la mano para el pase. De la misma manera, librerías para la recomendación de jugadas.

Se combinan varios tipos de tendencias para la creación del entrenador, de las que se pueden mencionar las siguientes:

  • Manipulación y reconocimiento de imágenes.
  • Aprendizaje profundo para la realización del modelo de detección de objetos basado en YOLOv8.
  • MEDIAPIPE para la captura y reconocimiento de los gestos realizados con las manos.
  • Entrenamiento de modelos grandes de lenguaje (LLM) a partir de reglas definidas del Dominó.

A nivel de interacción del usuario, será ejecutada una sola pantalla donde se observarán las jugadas en el lado superior izquierdo, la puntuación en el lado superior derecho, la zona delimitada donde se reconocerán las fichas y en la parte inferior el tablero. Esto se puede apreciar en la imagen ilustrativa mostrada debajo del sistema.

El COACH demuestra habilidades clave en el dominio del Dominó, como la evaluación estratégica de movimientos y una comprensión profunda de las reglas y dinámicas del juego. Estas habilidades le permiten desarrollar estrategias ganadoras y tomar decisiones informadas en el transcurso del juego, maximizando así las posibilidades de éxito.

Por otro lado, la visión computacional desempeña un papel crucial en el proyecto, utilizando la metodología YOLOv8 para la detección de fichas de dominó. Mediante el uso de funciones de pérdida y clasificadores de características, se busca mejorar la precisión y eficiencia del modelo YOLOv8 para aplicaciones prácticas en la detección de fichas de dominó. Además, se incorpora la librería MEDIAPIPE para detectar y reconocer gestos de mano en tiempo real, aprovechando su capacidad para ofrecer soluciones precisas y eficientes sin requerir un conocimiento profundo de los modelos internos. Debajo se muestra una imagen que evidencia la capacidad detección de fichas de Dominó del sistema propuesto.

En más del 69% de las ocasiones en que el aprendiz solicitó una sugerencia, acciones captadas y analizadas al momento de validar las habilidades del coach, estas recomendaciones contribuyeron a que el aprendiz o su equipo resulten ganadores de la ronda. Esto implica que en menos del 30% de los casos, las sugerencias del coach no resultaron beneficiosas para el aprendiz o su equipo, ya sea por perder la ronda o porque la ficha sugerida no era la más óptima en ese momento.

Resultados y Limitaciones

El modelo de aprendizaje automático demostró precisión en las sugerencias de jugadas de dominó, con 17 jugadas válidas de 25 analizadas. Se observó que las sugerencias más concisas tienden a ser más precisas. Todas las sugerencias válidas tuvieron un impacto positivo en el juego, destacando la capacidad estratégica del modelo.

En cuanto al modelo de Large Language Model (LLM) utilizado para sugerir jugadas de dominó, los datos muestran un porcentaje de efectividad alentador, con un 68%, lo que confirma que el LLM puede ser una herramienta útil para asistir a los jugadores en la toma de decisiones.

Además de estos resultados de aplicación, debemos también tomar en consideración el hecho de que el software se centra en un único participante, el «Aprendiz», en un juego de cuatro personas, excluyendo la competencia entre múltiples inteligencias artificiales. De igual forma, la capacidad de procesamiento limitada del hardware puede restringir el alcance y la fluidez de la simulación del proyecto, especialmente en términos de presentación y respuesta.

Conclusiones

Los resultados obtenidos de las pruebas de captura de imágenes y video para la
detección de fichas de dominó indican que el sistema de visión por computadora superó las expectativas iniciales, demostrando una efectividad significativa. La capacidad del sistema para identificar correctamente las fichas en una variedad de condiciones de iluminación, y en algunos casos sin luz, sugiere una robustez y flexibilidad notables. El modelo de lenguaje grande (LLM) fue capaz de distinguir reglas de Dominó a partir de un texto dado y secuencias de reglas sencillas. 

Referencias

Herrero, D.G. (2014) RECONOCIMIENTO DE FICHAS DE DOMINÓ MEDIANTE TÉCNICAS DE VISIÓN ARTIFICIAL. 

“Complete YOLO v8 Custom Object Detection Tutorial | Windows & Linux.” 

Custom Hand Gesture Recognition with Hand Landmarks Using Google’s Mediapipe + OpenCV in Python 

Talebi, Shawhin. “Fine-Tuning Large Language Models (LLMs) | W/ Example Code.” 

Interfaz Cerebro Computador para el control de un DRON tipo Cuatrimotor

Publicado el Publicada

James di Giacomo Rodríguez y Darío Ezequiel Núñez
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Tendencias del futuro: Interfaz Cerebro-Computador

En la década de 1970, el profesor Jacques Vidal introdujo el término «interfaz cerebro-computadora» (BCI, por sus siglas en inglés), planteando la idea de utilizar patrones de ondas cerebrales para controlar dispositivos externos, como computadoras. El control de drones a través de BCI es una extensión natural de esta investigación y ofrece nuevas oportunidades en términos de accesibilidad y control preciso de estos dispositivos.

El uso de interfaz cerebro-dron podría permitir a los operadores controlar drones de manera remota y precisa sin necesidad de una interfaz física, lo que reduciría el riesgo de exposición a peligros físicos, además, la interfaz cerebro-dron podría acelerar la prestación de ayuda en áreas afectadas por desastres naturales o conflictos, permitiendo una respuesta más rápida y precisa. De igual forma, este tipo de tecnología proporciona una alternativa de control para personas con dificultades físicas, lo que les permite superar sus limitaciones y tener mayor autonomía en el manejo de drones.

Sin embargo, a pesar de los beneficios potenciales, existen desafíos técnicos y prácticos que deben abordarse para una implementación efectiva y segura de esta tecnología. Estos desafíos incluyen la precisión y confiabilidad del control de drones a través de BCI, la seguridad cibernética para evitar intrusiones maliciosas y la protección de la privacidad y los derechos humanos de las personas afectadas por el uso de esta tecnología.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la creación de una interfaz cerebro-computador para el control de un DRON cuatrimotor. El sistema desarrollado muestra las interesantes posibilidades que ofrecen este tipo de interfases para simplificar la operación de dispositivos complejos y el acceso al uso de estos por personas con algún tipo de discapacidad motora. El sistema fue entrenado con diversos comandos y se validó su uso con un DRON de uso académico.

Desarrollo de los sistemas BCI

En la tesis titulada “Desarrollo de una interfaz cerebral utilizando herramientas IoT para el control de dispositivos ON-OFF orientado a personas con capacidades limitadas”, presentada por Luis Alberto Montalván Tandazo y Christian Fernando Quinte Caiza, en julio del año 2021, se aborda el tema del control de dispositivos electrónicos vía ondas cerebrales utilizando la diadema EMOTIV Insight 2.0, donde se le quiere facilitar el estilo de vida a las personas con ciertas limitaciones físicas, y por ende, brindarles comodidad y mejorar su modus vivendi en su día a día.

En ese mismo año, también se llevó a cabo un proyecto muy similar, titulado: “Desarrollo de un sistema BCI basado en redes neuronales y movimientos de la cabeza para el manejo de un ordenador”, el cual lleva por autor a Eddy Fabian Corrales Bastidas, donde se abarca esta idea, la cual se enfoca en el manejo de un ordenador en personas con movimiento reducido en sus extremidades superiores.

Por otro lado, en la tesis titulada “Implementación de un sistema de control para el manipulador Mitsubishi RV-2AJ, mediante ondas cerebrales empleando el sensor EMOTIV Insight”, presentada por Francisco Andrés Gómez Pineda y Stalin Gabriel Yaguana Torres, en julio del año 2018, se discute la problemática sobre la exclusión o limitación de acceso a tecnologías innovadoras de manipulación de robots para personas que no tienen conocimientos de programación de estos dispositivos o que tienen alguna discapacidad motriz. Por tanto, los autores plantean como solución a esta problemática, la implementación de un sistema que permita controlar los movimientos del brazo robótico Mitsubishi RV-2AJ de la marca Festo, utilizando señales cerebrales, mediante la interpretación de señales cerebrales recopiladas por la diadema EEG EMOTIV Insight 1.0, las cuales serán procesadas y analizadas a través de una tarjeta LattePanda, un dispositivo con capacidades de microcomputador y conectividad inalámbrica.

Descripción del Sistema Propuesto

El proyecto consiste en integrar un sistema de electroencefalograma (EEG) junto a un DRON, para que este sea manejado por medio de las ondas cerebrales que los seres humanos generamos cuando pensamos en una acción. Este sistema muestra un alternativa para ayudar al desarrollo de los sistemas BCI junto su interacción con los dispositivos IoT, vehículos aéreos no tripulados y cualquier dispositivo que sirva para facilitar la interacción de los humanos con los medios de transporte por interfaces cerebro–computador.

Por esto, el enfoque principal es emplear la tecnología del dispositivo EEG EMOTIV Insight 2.0 para contribuir a resolver el problema de la complejidad en la operación de drones. Se busca integrar el EMOTIV Insight 2.0 con el sistema de control del dron, estableciendo una conexión confiable y estable para permitir un control más intuitivo y preciso basado en las señales cerebrales del usuario. Debajo se muestra una imágen del EMOTIV Insight 2.0

Para la integración del DRON se eligió el sistema de BITCRAZ, el Crazyflie 2.1. Este es un pequeño DRON de código abierto desarrollado por Bitcraze. Es una versión mejorada y más avanzada de su predecesor, el Crazyflie 2.1 original. A pesar de su diminuto tamaño, el Crazyflie 2.1 está repleto de características y capacidades impresionantes. Este se puede programar utilizando lenguajes como Python y C, lo que brinda una gran flexibilidad para personalizar su comportamiento y desarrollar nuevas funciones. Debajo se muestra una imagen del DRON elegido.

El EMOTIVBCI es el software que permite enviar los datos de las señales tomadas por la diadema, para que así sean procesadas por la BCI y luego ser programadas para que el dispositivo ejecute la acción pensada. Se realizó una interfaz basada en Python para el tratamiento de los comandos de operación clasificados por el EMOTIVBCI y crear la interfaz con el API de control del DRON CrazyFlie 2.1.

Estructura del Sistema y Modo de Funcionamiento

En primera instancia, se conecta el Insight 2.0 mediante Bluetooth 5.0 al computador, luego el sujeto se coloca la diadema, se realiza una calibración de los sensores, de tal modo que la medidas de calidad para el software EMOTIVBCI sean 95% o mayor. Luego, mediante el EMOTIV Launcher, se inicia el software EMOTIVBCI , el cual es el encargado de los entrenamientos de los comandos mentales. Mediante la API de Cortex, se adquieren los datos EEG, utilizando las credenciales otorgadas por EMOTIV. Por otro lado, dentro de la API de Bitcraze, se programan las instrucciones necesarias para que el DRON Crazyflie 2.1 ejecute los comandos recibidos de la manera deseada. Ya teniendo esto listo, para comunicar ambas APIs, y enviar los comandos mentales generados por el Insight 2.0, se implementa un websocket en cada API. Por último, el aplicativo local, registra y muestra los comandos mentales que se están ejecutando en tiempo real por el sujeto, y los va mostrando en el computador. En la siguiente figura se muestra el diagrama en bloques del sistema.

La diadema Insight 2.0 utiliza Bluetooth 5.0 y software EMOTIV para controlarla. Para trabajar con el Cortex SDK y la API de Python, se necesita instalar dependencias. El DRON Crazyflie 2.1 también requiere un controlador y una máquina virtual . Un dongle de radio USB permite la conexión entre el DRON y la computadora, y el accesorio FlowDeck v2 asegura un vuelo estable con su sensor óptico de flujo. Las APIs se conectan a través de un socket IP y puerto. El dispositivo Insight 2.0 promedia comandos cada 0.125 segundos y envía la palabra más repetida. El código maneja la recepción y procesamiento de comandos, envía comandos a través del socket y utiliza hilos para la conexión y procesamiento. La comunicación a través del socket es esencial para la interacción entre el dispositivo Insight 2.0 y el DRON.

Resultados y limitaciones

Las pruebas realizadas mostraron que el sistema logró una precisión global del 85.3%. Para esto fueron realizados 68 ensayos, dando como resultado un total de 10 falsos negativos y 58 sesiones con comando detectados correctamente. Los resultados mostraron que el DRON fue capaz de recibir y ejecutar los comandos mentales enviados y generados por el Insight 2.0, según lo deseado por el usuario, demostrando así el cumplimiento total de los objetivos planteados.

En cuanto al desempeño del sistema, se observó que el tiempo de respuesta del DRON ante un comando mental fue en promedio de doce (12) segundos. Durante las pruebas de vuelo, se observó que el dron es altamente sensible a interferencias y cambios bruscos en el terreno. El Crazyradio 2.0 de Bitcraze opera en la frecuencia de 2,4GHz, compartida por muchos dispositivos de la red de la universidad, lo que provoca pérdida de control y colisiones del dron. Se reemplazaron varias hélices dañadas y se adquirieron repuestos adicionales para prevenir contratiempos.  Al integrar el Insight 2.0 con el Crazyflie 2.1, se notó un retraso de al menos tres segundos entre los comandos mentales y su ejecución debido a múltiples saltos entre APIs y procesamiento, así como la distancia al router.

Resultados Obtenidos

Después del desarrollo preliminar, se llevaron a cabo extensas pruebas y análisis para evaluar la efectividad de los métodos y algoritmos empleados en el análisis de las deficiencias en la caminata de los pacientes. Estos se centraron en la verificación y validación de los resultados obtenidos para garantizar la precisión y confiabilidad del sistema. Además, se realizaron ajustes y optimizaciones para adaptar el sistema a diferentes perfiles de pacientes y condiciones.

Se diseñó una interfaz de usuario para la visualización de datos, que incluía gráficos y tablas para presentar resultados de manera clara. Se realizaron pruebas exhaustivas para validar la precisión y confiabilidad del sistema, ajustando según fuera necesario para mejorar la exactitud del análisis. En la siguiente figura se muestra la interfaz del aplicativo WEB, este permite la configuración de umbrales para los procesos de detección y la visualización de la reportería por paciente. Debajo se muestra una secuencia de imágenes en el que el DRON sigue un comando a partir de la interfaz BCI, trasladándose desde la izquierda hacia la derecha.

Conclusiones

Este trabajo ha demostrado las funcionalidades que ofrecen las interfaz BCI para expandir la integración del control de distintos tipos de dispositivos tanto con aplicaciones civiles como de asistencia médica. Es importante destacar los retos que debieron ser superados para la integración de los distintos esquemas temporales de respuesta del sistema BCI frente a la recepción de comandos por parte de la API del DRON. Todo esto demuestra que es necesario el seguir explorando el desarrollo de estas interfaces BCI para su aprovechamiento en aplicaciones futuras.

Referencias

J. Wolpaw y E. W. Wolpaw, Brain-Computer Interfaces: Principles and Practice. Oxford University Press, 2012.


G. Pfurtscheller, B. Graimann y B. Allison, Brain-computer interfaces: Revolutionizing human-computer interaction. Heidelberg: Springer, 2010.


Millán, J.R., Rupp, R., Müller-Putz, G.R., Murray-Smith, R., Giugliemma, C., Tangermann, M., Vidaurre, C., Cincotti, F., Kübler, A., Leeb, R., Neuper, C., Müller, K.R. (2010). Combining Brain-Computer Interfaces and Assistive Technologies: State-of-the-Art and Challenges. Frontiers in Neuroscience, 4, 161. doi: 10.3389/fnins.2010.00161


Lebedev, M.A., Nicolelis, M.A.L. (2006). Brain-Machine Interfaces: Past, Present, and Future. Trends in Neurosciences, 29(9), 536-546. doi: 10.1016/j.tins.2006.07.004


McFarland, D.J., Wolpaw, J.R. (2011). Brain-Computer Interfaces for Communication and Control. Communications of the ACM, 54(5), 60-66. doi: 10.1145/1941487.1941506

 

 

Sistema para el análisis de la Caminata en procesos de Terapia Física

Publicado el Publicada

Albert Jerez y Diana Diplán
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Ser físicamente funcional

Las lesiones musculoesqueléticas representan una carga considerable para la salud y el bienestar global. Desde atletas de élite hasta individuos con estilos de vida activos, estas lesiones tienen un impacto devastador en la calidad de vida y la funcionalidad. Más allá del dolor físico, las lesiones podrían conducir a discapacidades a largo plazo, limitando la capacidad para trabajar, participar en actividades diarias e incluso disfrutar de recreaciones normales a nivel social.

Ante este desafío identificado y con el apoyo del departamento de Terapia Física de la Pontificia Universidad Católica Madre y Maestra (PUCMM) se busca abordar la necesidad de desarrollar herramientas y tecnologías innovadoras para una evaluación precisa y una intervención temprana en el análisis de la caminata. El objetivo siendo prevenir lesiones, mejorar los resultados del tratamiento y fomentar la salud y calidad de vida de las personas.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la el análisis de la caminata en procesos de terapia física. El sistema desarrollado cuenta con técnicas de visión computacional que permiten crear toda una reportería que asista al especialista en la evaluación del proceso de caminata de un paciente. El sistema agrega la data de sensores inerciales así como el uso de cámaras para la obtención de los reportes propuestos.

Integración de Tecnología en los procesos de Terapia Física

De acuerdo con F.R. Andrea Ramos, en «La importancia de una valoración en Fisioterapia», una de las áreas más afectadas por las lesiones musculoesqueléticas es la caminata. La capacidad de caminar eficientemente y sin dolor era fundamental para la movilidad y la independencia. Sin embargo, las lesiones en pies, tobillos y piernas alteran significativamente la biomecánica de la marcha, resultando en dolor crónico, discapacidad y una disminución de la calidad de vida. Además, las lesiones relacionadas con la marcha aumentan el riesgo de desarrollar problemas de salud más graves, como osteoartritis y enfermedades cardiovasculares, lo que podría tener consecuencias devastadoras a largo plazo para la salud y el bienestar general.

Sabiendo esto, en el estudio realizado por E. BV. llamado “Evaluación del control postural a través de Microsoft Azure Kinect DK: Un estudio de evaluación”, se compararon las trayectorias de movimiento del Kit Kinect utilizado con un sistema 3D estándar de seguimiento de alta precisión, relacionándolo a una posible solución. Veintiséis sujetos realizaron ejercicios específicos para su evaluación. El Kit Kinect demostró un seguimiento preciso de las articulaciones principales durante movimientos laterales, con un Error Cuadrático Medio (RMSE) de aproximadamente 0.2cm para ejercicios laterales y hacia adelante, y de 0.47cm para equilibrio. El Error Absoluto Medio angular osciló entre 5 y 15 grados para articulaciones superiores, mientras que las inferiores mostraron mayores errores. Se observaron mejores resultados en movimientos lentos. El estudio destaca el potencial del enfoque en base al Kit Kinect para la rehabilitación en el hogar, especialmente en la evaluación del control postural.

Otro bajo que busca analizar el proceso de movimiento del cuerpo humano es el presentado por  Y. Wang, S. Liu. Y S. Zhang. En el mismo se propone un algoritmo eficiente de reconocimiento de gestos manuales (HGR) para aplicaciones de interfaz humano-máquina (HMI) basados en el sensor BNO055. Utilizando datos de este sensor y considera su naturaleza temporal, lo que mejora el rendimiento de reconocimiento. La técnica de transformadas discretas de ondículas (DTW) es aplicada, mostrando que ofrece buenos resultados, pero su complejidad dificulta el aprendizaje en tiempo real. El algoritmo que implementaron el HGR, se basa en una red neuronal de energía de columna restringida (RCE) con un esquema de aprendizaje simple. Al reemplazar la métrica de la RCE con la distancia DTW mejora el reconocimiento de gestos con datos temporales y admite el aprendizaje en tiempo real. En pruebas con una FPGA, alcanzaron una precisión del 98.6% y soportaron operaciones en tiempo real a 150 MHz, lo que son resultados prometedores en el contexto del desarrollo del sistema.

Estos trabajos ponen el relieve dos puntos importantes: la importancia de la analítica del movimiento humano y la dificultad en procesar este tipo de datos. Por lo que el presente trabajo es un aporte importante en el desarrollo de este tipo de sistemas y en el estudio de diversas metodologías que puedan apoyar en el desarrollo de los procesos de fisioterapia.

Solución Propuesta

La solución propuesta para el análisis de la marcha en terapia física implicó el uso de tecnología de seguimiento de movimiento y un software de análisis de datos. Mediante el empleo de microcontroladores como el ESP32 (Lolin32) y un acelerómetro BNO055, colocados en diversas partes del cuerpo del paciente se busca poder medir el movimiento y la posición tridimensional durante la el proceso de caminata (marcha). El software de análisis procesó y visualiza los datos recopilados para mostrar patrones de movimiento precisos y objetivos durante la caminata. Esto buscando proporcionar a los fisioterapeutas una evaluación detallada y objetiva de la marcha de cada paciente, permitiéndoles diseñar un tratamiento personalizado y efectivo. En la siguiente figura se muestra el diagrama en bloque para la integración de todos los elementos a ser utilizados en el sistema propuesto.

Para la parte de visión computacional, se desarrolló un sistema automático de análisis de la marcha utilizando la librería MediaPipe. Esta herramienta permitiría una evaluación más eficiente y precisa de la marcha de los pacientes en terapia física. Al automatizar este proceso, se busca reducir el tiempo necesario para la evaluación inicial y mejorar la precisión de los diagnósticos, lo que a su vez conduciría a tratamientos más efectivos y una recuperación más rápida y completa para los pacientes en fisioterapia. En última instancia, se espera que este proyecto contribuya significativamente al bienestar y la calidad de vida de los pacientes en rehabilitación.

MediaPipe es una biblioteca de código abierto desarrollada por Google, especializada en análisis y procesamiento de datos de visión por computadora, ofreciendo seguimiento de movimientos y detección de objetos en tiempo real, así como mediciones precisas de velocidad, longitud del paso, cadencia y equilibrio durante la caminata. Luego de implementada, esta librería permitió capturar imágenes precisas y detalladas del movimiento del paciente durante la marcha, con la capacidad de capturar imágenes en 3D utilizando sensores de profundidad avanzados. En la siguiente imágen se aprecia la capacidad de MediaPipe de capturar puntos específicos del cuerpo, en este caso los hombros.

Metodología

El desarrollo del sistema de análisis de deficiencias en la marcha se llevó a cabo mediante un enfoque metodológico que abarcó desde la configuración inicial hasta la implementación práctica. Se inició con la configuración de los componentes hardware y la instalación del software de análisis de datos, seguido de pruebas preliminares para calibrar los sensores y ajustar su sensibilidad y precisión. El desarrollo del software implicó la configuración de algoritmos de seguimiento de movimiento y la visualización de datos en tiempo real. Esta metodología queda esquematizada en la siguiente imagen.

Se integraron  un total de tres cámaras de alta resolución para capturar imágenes en 3D del movimiento del paciente, estableciendo protocolos para la sincronización y captura de datos en tiempo real. Adicionalmente, se hizo uso de unos guantes para integrar los sensores del tipo acelerómetro seleccionados junto con el microcontrolador. Esto permitió obtener la medición de la aceleración en las cuatros extremidades del paciente, lo que brinda posibilidad de aplicar técnicas de análisis basadas en fusión de datos de distinta naturaleza. En la figura siguiente se muestra el sensor utilizado para la creación de este sistema de captura.

Resultados Obtenidos

Después del desarrollo preliminar, se llevaron a cabo extensas pruebas y análisis para evaluar la efectividad de los métodos y algoritmos empleados en el análisis de las deficiencias en la caminata de los pacientes. Estos se centraron en la verificación y validación de los resultados obtenidos para garantizar la precisión y confiabilidad del sistema. Además, se realizaron ajustes y optimizaciones para adaptar el sistema a diferentes perfiles de pacientes y condiciones.

Se diseñó una interfaz de usuario para la visualización de datos, que incluía gráficos y tablas para presentar resultados de manera clara. Se realizaron pruebas exhaustivas para validar la precisión y confiabilidad del sistema, ajustando según fuera necesario para mejorar la exactitud del análisis. En la siguiente figura se muestra la interfaz del aplicativo WEB, este permite la configuración de umbrales para los procesos de detección y la visualización de la reportería por paciente. 

Se llevaron a cabo pruebas simuladas y estudios con pacientes reales, bajo la supervisión de profesionales de la salud. Los resultados obtenidos fueron analizados y comparados con evaluaciones manuales realizadas por fisioterapeutas experimentados, demostrando la capacidad del sistema para detectar y cuantificar deficiencias específicas en la marcha. Debajo se muestra un ejemplo de una gráfica de captura de movimiento.

El sistema fue configurado para detectar las siguientes anomalía:

  • Inclinación excesiva de hombros
  • Declive de los codos
  • Diferencia de alineación entre las muñecas
  • Diferencia de alineación entre las rodillas
  • Desalineación en la cadera
  • Separación anormal de rodillas
  • Inclinación de la columna

Conclusiones

El sistema ofrece varias ventajas clínicas, incluida su capacidad para detectar patrones anómalos en la marcha de los pacientes y su potencial en la monitorización continua en entornos clínicos. Además, su adaptabilidad y facilidad de uso lo hacen una herramienta prometedora para la evaluación y el seguimiento de pacientes en rehabilitación. Las perspectivas futuras incluyen la aplicación del sistema en investigaciones adicionales para mejorar aún más su precisión y funcionalidad, así como su integración en entornos clínicos para mejorar la calidad de vida y el bienestar de los pacientes con deficiencias de movimiento.

La adaptabilidad del sistema, su capacidad para detectar patrones anómalos y su potencial en la monitorización continua de pacientes en entornos clínicos, junto con su aplicabilidad en investigaciones futuras, destacan como aspectos prometedores para su utilización.

Referencias

Antico, M., Balletti, N., Laudato, G., Lazich, A., Notarantonio, M., Oliveto, R., Ricciardi, S., Scalabrino, S., & Simeone, J. (2021). Postural Control Assessment via Microsoft Azure Kinect DK: An evaluation study. Computer Methods and Programs in Biomedicine, 209, 106324. https://doi.org/10.1016/j.cmpb.2021.106324

 

 

Sistema de Monitoreo Industrial de Temperatura (SMIT)

Publicado el Publicada

Starlyn Peña
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

Desastres en Tiempos de Pandemia: Origen de SMIT

A finales del año 2019 se identificó un nuevo virus en Wuhan, China, marcando un acontecimiento sin precedentes en la historia moderna humana. La subsiguiente pandemia, conocida como Covid-19, mantuvo al mundo en vilo durante casi dos años y, aún en la actualidad, se siguen tomando medidas preventivas para frenar su propagación en ambientes laborales. Esto ha llevado a que muchas empresas tengan protocolos establecidos para detectar síntomas de enfermedades contagiosas entre sus empleados que puedan afectar tanto la salud del personal como la productividad de la empresas. Debido a su alto grado de contagio el Covid-19 marcó un hito importante en el establecimiento de estos protocolos sanitarios, pero enfermedades como el dengue, la gripe estacional u otras infecciones pueden de igual manera presentar un impacto importante para el personal de una empresa.

Estas enfermedades comparten un síntoma común: la posibilidad de presentar fiebre. La fiebre queda definida como el síntoma que se produce cuando la temperatura corporal supera los 38 °C. Esto abre la posibilidad de aplicar  diversas técnicas y tecnologías para tomar las medidas preventivas adecuadas en caso de que una persona posea síntomas febriles y sea portadora de alguna enfermedad contagiosa. Sin embargo, algunas de estos métodos no son muy precisos en el resultado. Por lo tanto, aunque el COVID19 actualmente no nos azote tan de lleno, es necesario en el entorno industrial un método eficiente para cuando se necesita obtener la temperatura de los trabajadores, contribuyendo a la seguridad y salud generales. Debido a esto, se desarrolla SMIT, nuestro tema de discusión en el presente artículo.

En esta entrada de este blog de innovación se presentará la implementación de un sistema para la detección de síntomas febriles mediante el uso de visión computacional y algoritmos de aprendizaje de máquina. El sistema desarrollado cuenta con los aplicativos administrativos necesarios para la identificación de los empleados y el manejo de notificaciones de detección. Adicionalmente, se considera el uso de un sistema de calibración interno de referencia para aumentar la precisión del sistema propuesto.

Marco conceptual: Detección de Síntomas Febriles en entornos industriales

En su artículo (H. D. Septama, M. Komarudin, A. Yudamson, T. Yulianti, M. Pratama and T. P. Zuhelmi, 2021), señala el hecho de que múltiples lugares utilizan personal equipado con pistolas termómetro para medir la temperatura corporal de los visitantes, pese a que esta práctica tiene inconvenientes, ya que implica contacto cercano entre el personal y los visitantes, lo que puede propiciar la propagación del virus. Como solución presenta un sistema de bajo costo para la medición rápida de la temperatura corporal sin contacto, utilizando una cámara térmica integrada con una barrera. Por lo tanto, no se necesita personal para medir la temperatura corporal, ya que los visitantes pueden verificarla de manera independiente, teniendo una precisión en la temperatura del personal de un 98.75%.

En adición, en el artículo de (S. D. Khirade and A. B. Patil, 2015) se discute el hecho de que el procesamiento de imágenes se emplea en la detección de enfermedades en plantas, abarcando pasos como la adquisición de imágenes, preprocesamiento de imágenes, segmentación de imágenes, extracción de características y clasificación. Se exploran los métodos utilizados para detectar enfermedades en plantas mediante imágenes de sus hojas. Además, en nuestro provecho, se profundiza en algunos algoritmos de segmentación y extracción de características.

Siguiendo la misma línea de procesamiento, en el escrito de los autores (Ragavesh Dhandapani1 y Sara Marhoon Humaid Al-Ghafri, 2022) se utiliza un sistema de detección de objetos basado en visión por computadora para reconocer mascarillas faciales y autenticar certificados de vacunación en tiempo real a través de un kit Jetson Xavier. El proceso comprende la captura de video en tiempo real y su posterior procesamiento, que implica la detección facial mediante un clasificador Haar-Cascade y la codificación facial. Luego, se emplea un modelo de aprendizaje profundo pre-entrenado para ubicar la clase objetivo (mascarilla) en el fotograma.

Todos estos trabajos resaltan la oportunidad de mejora en los sistemas de monitoreo de temperatura si se integran tecnologías referentes a procesamiento en el borde, reconocimiento facial, seguimiento de objetos y técnicas estadísticas para robustecer la medición de los sistemas de medición de temperatura sin contacto.

Descripción del Sistema Propuesto

A partir del diagrama mostrado se evidencia la integración de los distintos componentes que brindan el acercamiento basado en computación en el borde para el sistema propuesto. Siendo el corazón del sistema el sistema de procesamiento Jetson AGX Xavier. Este dispositivo en un dispositivo heterogéneo de procesamiento que incluye procesadores de la familia ARM junto con un núcleo de procesamiento gráfico de propósito general (GPGPU, por sus siglas en inglés) pensado para acelerar la ejecución de algoritmos de aprendizaje de máquina y procesos de visión computacional. Adicionalmente, una cámara termográfica de alta precisión Hikvision DS-2TD2617-10/QA. 

La Implementación de técnicas de procesamiento de imágenes constituye un paso crucial en la operación del sistema. Utilizando técnicas avanzadas como segmentación e identificación, se busca extraer información pertinente al separar las áreas de interés de las no deseadas. Como se puede ver en la imagen, la computadora en el borde elegida presenta un tamaño reducido y su consumo de potencia (menos de 65W) hace que sea idónea para este tipo de aplicaciones. Cuenta con una capacidad teórica máxima de procesamiento de 11 TFLOPS.

En el procesamiento de imágenes, se capturan los frames de la cámara IP termográfica y se procesan para adaptar los algoritmos. Se convierten del espacio de color BGR al RGB y se implementa un algoritmo de detección de rostros. Se obtienen los puntos de referencia, como la ubicación de los ojos y la boca, y se escala la resolución de los videos para ajustarlos. Luego, se localiza el rostro detectado en el STREAM de la cámara termográfica para inicializar el algoritmo de seguimiento y se estiman las temperaturas corporales utilizando un Black Body Calibrator (BBC) y la intensidad del píxel correspondiente al punto identificado del canal lagrimal del ojo. En la figura siguiente se muestra la metodología propuesta para el SMIT.

En cuanto al sensor de temperatura, se utiliza un sensor del tipo resistivo para la medición de la temperatura (RTD) con un amplificador MAX31865 y un ESP32. La RTD se conecta al MAX38165 según las especificaciones del fabricante y se establece la comunicación entre el sensor y la ESP32 mediante el protocolo SPI. Luego, se programa la comunicación utilizando una librería proporcionada por el fabricante.

Resultados Obtenidos

La Implementación de Técnicas de Procesamiento constituye un paso crucial en la operación del sistema. Utilizando técnicas avanzadas como segmentación e identificación, se busca extraer información pertinente al separar las áreas de interés de las no deseadas. El poder detectar marcadores fiduciarios es un punto clave para este proyecto, porque permite identificar las regiones en donde es necesario evaluar la intensidad de los pixeles y compararlo con el punto de referencia provisto por el BBC. En la siguiente imagen se muestra la capacidad del algoritmo, al ser ejecutado en la Jetson AGX Xavier, de detectar un rostro y construir la malla de referencia con los marcadores fiduciarios.

La Aplicación de Monitoreo (Web) representa la interfaz donde la información procesada cobra relevancia práctica. Al recibir y analizar la información, esta aplicación determina si una persona supera la temperatura establecida. En caso afirmativo, emite notificaciones al personal de seguridad, permitiendo la implementación de medidas adecuadas. La misma fue desarrollada bajo el framework minimalista Flask en PYTHON, lo que permite que la ejecución del aplicativo también quede en el mismo equipo para computación en el borde.

Una funcionalidad que fue agregada al sistema es la capacidad de asociar un ID de empleado a un rostro. Adicionalmente, se detecta un estado de ERROR en caso de que el empleado no pueda ser identificado por llevar una mascarilla o en caso de que lleve gafas oscuras. Es importante recalcar que este sistema está pensado para ser utilizado en un ambiente post pandemia, por lo que se puede aplicar el sistema en zonas donde los empleados deban bajar sus mascarillas antes de cruzar, creando la relación ID de empleado con temperatura.

Esta plataforma WEB implementa un sistema de login para acceder al sistema y permite visualizar información relevante como el monitoreo del personal, el estado del sistema y reportes de datos. Se pueden configurar límites de temperatura, escala de visualización, cantidad máxima de rostros detectados, entre otros parámetros. También se pueden crear, modificar y eliminar empleados y usuarios según los permisos correspondientes.

Conclusiones

El sistema exhibe un buen desempeño durante la noche o en entornos con iluminación reducida, donde aun con ausencia de luz de fondo el algoritmo de detección facial logra funcionar adecuadamente. Además, se destaca por su excepcional precisión, con un margen de error mínimo de tan solo 0.5 °C, una cifra notablemente inferior en comparación con otros sistemas. Es crucial destacar la importancia de considerar cuidadosamente el entorno de aplicación en donde sea instalado el sistema, especialmente en ambientes donde la iluminación pueda saturar la imagen, ya que este factor puede influir significativamente en los resultados.

Este sistema SMIT emerge como un proyecto innovador, preciso, fácil de utilizar y seguro. Su desarrollo responde a la necesidad crítica de monitorear la salud en entornos industriales, ofreciendo una herramienta eficaz y de utilidad.

Referencias

 M. K. A. Y. T. Y. M. P. T. Z. H. Septama, «Low Cost Non-Contact Rapid Body Temperature Screening using Thermal Camera for Early Detection of Covid-19 Suspect,» Bandung, 2021.

Gelir, «Image processing for quantitative measurement of e/m in the undergraduate laboratory,» 2019. NVIDIA, «NVIDIA,» 25 Marzo 2019. [En línea]. Available: https://www.nvidia.com/enus/autonomous-machines/embedded-systems/jetson-agx-xavier. [Último acceso: 22 Noviembre 2022].

Alonso, V., Dacal-Nieto, A., Barreto, L., Amaral, A., & Rivero, E. (2019). Industry 4.0 implications in machine vision metrology: An overview. Procedia Manufacturing, 41, 359–366. https://doi.org/10.1016/j.promfg.2019.09.020

Sharma, K. Shanmugasundaram and S. K. Ramasamy, «FAREC — CNN based efficient face recognition technique using Dlib,» 2016 International Conference on Advanced Communication Control and Computing Technologies (ICACCCT), Ramanathapuram, India, 2016, pp. 192-195, doi: 10.1109/ICACCCT.2016.7831628.

 

Aplicación de Sistemas de Visión Computacional en la Gestión de Inventarios de Almacenes

Publicado el Publicada

Doris Nuñez y Alberto Guaba
Estudiantes Escuela de Ingeniería en Computación y Telemática, Campus Santiago
PUCMM

La Industria 4.0 y la gestión de inventarios

Todas las compañías que se dedican a la fabricación de productos en general sean PYMES o grandes empresas se encontrarán en algún momento con el problema de poder gestionar sus necesidades de almacenamiento de materia prima y producto terminado. Por lo que es una necesidad el optimizar sus procesos de gestión de inventario de forma que sean más eficiente y se puedan implementar controles más efectivos. Esta realidad es aún más notoria con la transición hacia el modelo de la Industria 4.0, donde la implementación de sistemas conectados y la disponibilidad de información en línea crean nuevos requerimientos importantes en una gestión eficiente y rápida de los inventarios de materia prima que son críticos para la producción.

De esta manera, la llegada de la Industria 4.0 ha generado una nueva serie de cambios en todos los procesos industriales entre ellos nuevos sistemas de control de inventario que podrían dar una solución a dicho problema. Sin embargo, es importante notar que aún no hay una adopción masiva de estas nuevas ventajas tecnológicas, explicado esto por las limitantes económicas o técnicas que suelen presentarse para realizar este tipo de implementación. Por lo que es necesario el seguir proponiendo y desarrollando soluciones de este tipo que logren eliminar estas limitantes.

En esta entrada de este blog de innovación se presentará el impacto de los los sistemas de visión computacional para la gestión de almacenes y su inventario. La visión computacional, es un conjunto de técnicas y metodologías desarrolladas con el fin de adquirir, procesar y analizar imágenes del entorno con el objetivo de obtener información con la ayuda de un sensor, que puede ser una o varias cámaras. La implementación de estos sistemas presenta una solución capaz de reducir la carga de trabajo de un almacén significativamente, como se expondrá en el resto de esta publicación, logrando que los empleados pueden ser más eficientes y las empresas cumplan de mejor manera con sus objetivos.

Procesos de Automatización de Inventario: Su importancia para la Industria 4.0

Con el avance y surgimiento de nuevas tecnologías éstas han quedado cada vez más integrada dentro de los procesos productivos. Esto ha creado una conexión entre los dispositivos y sistemas digitales con los sistemas físicos, surgiendo lo que se conoce como Industria 4.0. En este nuevo paradigma se integran etapas de diseño y planificación del producto, así como el suministro y producción, junto a procesos de tecnologías de la información. Esto afecta la forma en la que los productos se diseñan, fabrican y, posteriormente, almacenan y distribuyen.

La Industria 4.0 ha promovido procesos de cambio en las diferentes operaciones que involucran al sector industrial. Teniendo como consecuencia una mayor velocidad de producción, aumento en la cantidad de los productos y reducción de costos en general. Sin embargo, una parte fundamental para que esto sea posible es el manejo de los inventarios de almacenes, en especial de materia prima, los que representan una parte importante de la infraestructura de la cadena de producción. El llevar un inventario automatizado de los almacenes puede presentar una ventaja competitiva importante. Este proceso consiste en crear y actualizar en tiempo real los volúmenes de inventario permitiendo tener una gestión en línea, resultando en una optimización de los procesos relacionados con la gestión del inventario.

Adicionalmente, con el desarrollo de los sistemas de gestión de almacenes inteligentes en la Industria 4.0, se consigue una selección y colocación óptima de materia primas o productos terminados. Esto implica el utilizar algoritmos que, en base a distintos tipos de sensores,  puedan monitorear la capacidad de almacenamiento de zonas específicas, asignar dinámicamente ubicaciones disponibles, seguimiento en línea de los niveles de inventario y detección rápida de entrada/salidas de materia prima o productos terminados. Estas tecnologías hacen posible la creación de los almacenes inteligentes obteniendo un proceso eficiente, con mínima cantidad de errores, reducción de retrasos y corrigiendo muchos de los inconvenientes que ocurren en la gestión del inventario.

Soluciones de Visión Computacional para la Gestión de Inventario

En el artículo de (Alonso, Dacal-Nierto, Barreto, Amaral, & Rivero, 2022) se mencionan varias propuestas utilizando visión computacional las que están integradas junto a la filosofía de la Industria 4.0. Los autores mencionan como la visión computacional es un elemento clave de la transición hacia este nuevo paradigma,  el contar con sensores visuales alrededor del almacén coleccionando y procesando automáticamente datos relacionados al estado de la materia prima o de los productos  podría facilitar el proceso de gestión de inventario y toma de decisiones de manera significativa.

Los autores (Vukićević, Mladineo, Banduka, & Mačužić, 2022) muestran cómo se llega a implementar una solución a los problemas de gestión enfocado a la Industria 4.0 usando visión computacional con IoT. La técnica utilizada por los autores está divida en 4 módulos: adquisición de imágenes, detección de códigos QR, interfaz de usuario y reporte. La adquisición de imágenes se lleva a cabo con un arreglo de cámaras IP instaladas por todo el techo del almacén. Se tiene una central tecnológica donde está el computador servidor que está corriendo la aplicación de usuario donde se procesa todas las imágenes de la cámara usando librerías de Python para el manejo de datos de imágenes como OpenCV y otras librerías de procesamiento de códigos QR. A su vez, en dicho programa, se encuentra la opción de generar reportes sobre las capturas. En este reporte se detalla la lista de inventario que contiene todos los productos, las órdenes completadas y no completadas entre otras necesidades que se necesite reportar en la empresa.

Por otro lado, en el artículo de (Niksa Mohammadi Bagheri, 2022) se habla de la problemática del proceso de identificación de los bolígrafos enfocándose en el color de estos. En su artículo detallan que enfocaron la solución a su problema usando las ventajas de la visión computacional para ayudar a detectar los patrones de colores en los bolígrafos. Para esto su propuesta fue el desarrollo de una estructura donde se pondría una cámara especializada que estaría apuntando hacia un recipiente donde se pondrían los bolígrafos. En este artículo se aprovecha las capacidades de la visión computacional para desarrollar un sistema un sistema que sea muy preciso y funcione en diferentes condiciones de luz para la identificación de bolígrafos.

De igual manera como se puede ver en el artículo de (Jianyu Lin, 2022) se puede implementar el uso de la visión computacional en las industrias de las automóviles para las piezas de estos mismos. En este artículo se detalla que se emplean generalmente cadenas de suspensión rígida para el almacenamiento de las piezas. La propuesta en este artículo es adaptar el reconocimiento de visión computacional con la cadena de suspensión. Esto permite un monitoreo en línea del nivel de inventario de piezas, resultando en una reducción del costo de gestión del inventario.

En el artículo de (Ashwary Anand, 2022), proponen una idea simple de manejo de inventario simplemente usando drones que vuelen por el almacén y escanean los códigos QR de las cajas. Ellos detallan que su proyecto está enfocado al uso de drones monoculares de bajo costo los cuales tienen equipado una cámara para realizar las tareas de gestión de almacén mediante el escaneo de los códigos. En su artículo detallan que los algoritmos de visión computacional tienen un papel crucial para la navegación del dron debido a que esto permite una localización de las cajas dentro del almacén más precisa.

Implementación de un sistema de Visión Computacional para la Gestión de un Almacén de Materia Prima en PUCMM: Una solución para la Industria 4.0

La automatización en la gestión de inventarios representa una serie de beneficios para las industrias que van desde la reducción de costos hasta la minimización de retrasos y errores, haciendo esto muy beneficioso para cualquier empresa. Si bien existen algunas implementaciones utilizando visión computacional para la gestión de inventario, estas consisten en su mayoría en sistemas estáticos, en ocasiones utilizando muchas cámaras, sin embargo, una alternativa menos costosa e igual de eficiente es utilizar un riel móvil que utilice una sola cámara para capturar todo el contenido del almacén.

Este nuevo acercamiento ha servido como idea de partida para la elaboración en la Pontificia Universidad Católica Madre y Maestra de un proyecto final de grado enfocado en la aplicación de técnicas de visión computacional para un sistema de control de inventario en almacenes de materia prima. En República Dominicana las industrias del tipo secundario que transforman la materia prima son de vital importancia, por lo que el manejo de los inventarios en los almacenes de materia prima es un crítico para su operación. De este modo, este proyecto busca aplicar este sistema simplificado de inspección de inventario mediante el uso de una cámara con capacidad de desplazamiento en un riel horizontal.

Esta implementación permitirá mantener un control en tiempo real del inventario con una mínima cantidad de cámaras y un sistema con un funcionamiento mecánico sencillo. Se realizará un sistema de administración apoyado en las técnicas de visión computacional para la identificación de los distintos productos a partir de códigos QR y el análisis de imágenes para el procesamiento de la captura de información según ocurra el desplazamiento de la cámara a través del riel. Logrando un sistema eficiente y robusto para la gestión de inventarios de almacenes de materia prima en tiempo real.

Referencias

Alonso, V., Dacal-Nieto, A., Barreto, L., Amaral, A., & Rivero, E. (2019). Industry 4.0 implications in machine vision metrology: An overview. Procedia Manufacturing, 41, 359–366. https://doi.org/10.1016/j.promfg.2019.09.020

Anand, A., Agrawal, S., Agrawal, S., Chandra, A., & Deshmukh, K. (2019). Grid-based localization stack for inspection drones towards automation of large scale warehouse systems. arXiv preprint arXiv:1906.01299. https://arxiv.org/abs/1906.01299

van Geest, M., Tekinerdogan, B., & Catal, C. (2021). Design of a reference architecture for developing smart warehouses in industry 4.0. Computers in industry, 124, 103343.
https://doi.org/10.1016/j.compind.2020.103343

van de Venn, H. W., & Mosaddegh, P. (2020). Development of Machine Vision System for Pen Parts Identification under Various Illumination Conditions in an Industry 4.0 Environment. 10.20944/preprints202004.0387.v1 

Lin, J., Yu, J., Pan, L., Chen, Z., Chen, Y., & Chen, Z. (2020). Design of Image Recognition System for rigid suspension chain inventory management. Journal of Physics: Conference Series, 1631, 012179. https://doi.org/10.1088/1742-6596/1631/1/012179

Vukićević, A., Mladineo, M., Banduka, N., & Mačužić, I. (2021). A smart Warehouse 4.0 approach for the pallet management using machine vision and Internet of Things (IoT): A real industrial case study. Advances in Production Engineering & Management, 16(3).
https://doi.org/10.14743/apem2021.3.401