CONSIDERACIONES ÉTICAS DEL USO DE IA EN EDUCACIÓN
Claudia Prieto Castillo Luis Eduardo Buitrago
Unidades Unidad 1. Transparencia Unidad 2. Privacidad Unidad 3. Control Humano de las decisiones propias de un sistema de IA Unidad 4. Seguridad Unidad 5. Responsabilidad Unidad 6. No Discriminación e Inclusión
UNIDAD 1. TRANSPARENCIA
FORO DE DISCUSIÓN
¿CUÁLES SON LOS PRINCIPALES DESAFÍOS ÉTICOS QUE ENFRENTAMOS AL UTILIZAR LA INTELIGENCIA ARTIFICIAL EN LA EDUCACIÓN Y CÓMO PODEMOS ABORDARLOS DE MANERA EFECTIVA PARA GARANTIZAR UN ENTORNO EDUCATIVO ÉTICO Y EQUITATIVO?
FORO
En la era digital y tecnológica en la que vivimos, la educación ha experimentado una transformación profunda, impulsada por la rápida adopción de la inteligencia artificial (IA). La IA ha irrumpido en nuestras aulas, proporcionando oportunidades emocionantes para la personalización del aprendizaje, la mejora de la eficiencia y la creación de entornos educativos más accesibles. Sin embargo, a medida que esta poderosa herramienta se integra en nuestras escuelas y universidades, surge una cuestión fundamental: las consideraciones éticas en el uso de la IA en educación. Este módulo explorará a fondo las complejidades éticas que rodean esta convergencia entre la tecnología y la enseñanza, desafiándonos a reflexionar sobre cómo utilizamos la IA para empoderar a los estudiantes y educadores. La inteligencia artificial en la educación ha brindado la oportunidad de adaptar el aprendizaje de manera precisa a las necesidades individuales de cada estudiante, mejorando así la eficacia de la enseñanza. Sin embargo, al mismo tiempo, plantea interrogantes sobre la equidad y la privacidad. ¿Qué sucede con la privacidad de los datos de los estudiantes? ¿Cómo se garantiza que los algoritmos de IA no perpetúen sesgos o discriminación? A lo largo de este módulo, exploraremos estos y otros dilemas éticos en profundidad, alentándote a desarrollar un marco ético sólido que guíe tu toma de decisiones. El módulo también te ayudará a comprender la responsabilidad que conlleva el uso de la IA en educación. A medida que los educadores y administradores adoptan la tecnología, es crucial que sepan cómo tomar decisiones éticas informadas. Abordarás casos de estudio y situaciones hipotéticas para poner a prueba tus habilidades de toma de decisiones éticas. Además, aprenderás a promover la alfabetización digital ética entre los estudiantes, preparándolos para un mundo donde la IA desempeñará un papel cada vez más central. En resumen, este módulo es una invitación a adentrarnos en un territorio fascinante, pero también complejo, donde la tecnología y la ética convergen en la educación. A lo largo de este viaje, desarrollarás las herramientas necesarias para abordar las cuestiones éticas relacionadas con la IA en la educación y forjar un camino hacia un futuro educativo más ético, equitativo y efectivo. Estás a punto de embarcarte en un viaje de descubrimiento que te desafiará a cuestionar y transformar la forma en que vemos la educación impulsada por la inteligencia artificial.
¡BIENVENIDO A ESTE EMOCIONANTE VIAJE HACIA LAS CONSIDERACIONES ÉTICAS DE LA IA EN LA EDUCACIÓN! Dra. Claudia Prieto Castillo y Dr. Luis Eduardo Buitrago
INTRODUCCIÓN
UNIDAD 1. TRANSPARENCIA
I
UNIDAD 1: TRANSPARENCIA 1.1 Definición
La transparencia es un elemento fundamental en la ética del uso de la inteligencia artificial en la educación. Se refiere a la apertura y claridad en la forma en que se desarrollan, implementan y utilizan los sistemas de IA en entornos educativos. La transparencia implica la disponibilidad de información relevante sobre cómo funcionan los algoritmos, cómo se toman las decisiones y cómo se recopilan y utilizan los datos. En el contexto de la educación, la transparencia es esencial para que los educadores, estudiantes y padres comprendan plenamente cómo la IA afecta el proceso de aprendizaje y tomen decisiones informadas.
1.2 Importancia de la Transparencia en la Educación
La transparencia es crucial en la ética de la IA en la educación por varias razones. En primer lugar, garantiza que los estudiantes y educadores comprendan cómo se utilizan los datos personales y cómo se toman decisiones automatizadas que afectan su aprendizaje. Esto promueve la confianza y la responsabilidad en el sistema educativo. Además, la transparencia permite identificar y abordar sesgos algorítmicos. Los algoritmos de IA pueden heredar sesgos de los datos con los que son entrenados, lo que puede resultar en discriminación. La transparencia facilita la detección y corrección de estos sesgos, lo que es esencial para garantizar un entorno educativo equitativo.
1.3 Ejemplos de Transparencia en la IA Educativa
Un ejemplo concreto de transparencia en la IA educativa sería proporcionar a los estudiantes y educadores acceso a informes detallados sobre cómo se les evalúa y se les proporciona retroalimentación. En lugar de ocultar el funcionamiento de los algoritmos detrás de una "caja negra", se explicaría cómo se calculan las calificaciones y qué factores se tienen en cuenta. De manera similar, un sistema de tutoría basado en IA podría ser transparente al mostrar cómo recomienda recursos o actividades de aprendizaje, permitiendo a los estudiantes comprender por qué se les sugieren ciertas actividades. La transparencia también puede aplicarse a la recopilación de datos. Por ejemplo, si una escuela recopila datos de comportamiento de los estudiantes a través de cámaras de vigilancia o sensores de movimiento, sería ético proporcionar a los estudiantes y sus padres información sobre qué datos se recopilan, cómo se utilizan y cómo se almacenan. Esto empodera a los interesados a tomar decisiones informadas sobre su privacidad.
1
UNIDAD 1.
UNIDAD 1. TRANSPARENCIA
I La transparencia en el uso de la IA en la educación es esencial para abordar preocupaciones éticas y garantizar que el aprendizaje sea equitativo y justo. A medida que las instituciones educativas continúan adoptando la IA, es fundamental que promuevan la transparencia en todos los aspectos de su implementación para construir un entorno educativo ético y confiable. En la próxima unidad, exploraremos cómo la privacidad y la seguridad de los datos se relacionan con la transparencia en la IA educativa.
1.4 Principios De acuerdo con Guío et al (2021) existen tres principios que hacen parte de la forma en que debe incluirse la IA: ética en los datos, en los algoritmos y en la prácticas. En cuanto a transparencia en el ámbito ético de los datos, este principio implica la obligación de proporcionar información clara acerca de la fuente de los datos empleados en el desarrollo de esta tecnología, las características de dichos datos y los propósitos para los cuales se utilizarán, especialmente en lo que respecta a los datos de carácter personal. La transparencia y la explicación tienen como resultado que las personas adquieran conocimiento y comprensión sobre cómo se obtiene y procesa la información, así como los motivos que subyacen a dicho procesamiento, particularmente en el caso de los datos personales. Este impacto abarca tanto los datos utilizados para el entrenamiento como la aplicación de estos sistemas, ya que es esencial ser transparente en lo referente a la recopilación y en los criterios empleados para su clasificación y tratamiento. En la ética de los algoritmos, implica proporcionar información de relevancia que permita comprender tanto los objetivos originales inherentes al modelo como los resultados anticipados y logrados. En este contexto, es fundamental comunicar de manera accesible a la comunidad acerca de los datos utilizados en la creación de los sistemas y los resultados que puedan surgir (transparencia de entrada y salida). También es esencial ofrecer información significativa y comprensible en relación con los falsos positivos o negativos generados por un algoritmo y los indicadores de su rendimiento. Cabe destacar que en el caso de sistemas denominados "Black Box", este principio puede entrar en conflicto, ya que la capacidad de explicación puede ser limitada. Incluso los desarrolladores y expertos en la materia pueden no comprender completamente el proceso y la lógica que llevan a ciertos resultados. No obstante, el objetivo sigue siendo presentar de manera comprensible el funcionamiento de estos sistemas, la razón de su denominación como "Black Box" y las posibles implicaciones. En todos los casos, se debe ofrecer información clara y comprensible acerca de los objetivos perseguidos por el sistema en su desarrollo e implementación (Guío et al, 2021).
2
UNIDAD 1.
Finalmente, en la ética de las prácticas Guío et al (2021) enuncian que implica proporcionar información que sea significativa, fácil de entender y clara sobre las responsabilidades de los equipos y personas involucrados en la creación y ejecución de estos sistemas, así como sobre los objetivos que persiguen y los códigos de conducta que han establecido para guiar su trabajo. Además, estos códigos de conducta deben estar disponibles para el público en general. En lo que respecta a quienes están a cargo de implementar esta tecnología, se fomenta la preferencia por el uso de sistemas de código abierto, especialmente en las instituciones gubernamentales. También, durante la implementación de sistemas de IA, se debe informar a los usuarios si no hay seres humanos detrás de la generación de contenidos o respuestas. A lo largo de todo el proceso, es esencial crear información clara, precisa y fácil de entender acerca de cómo se evalúan estos sistemas y establecer mecanismos específicos para compartir los resultados obtenidos, especialmente con las comunidades que se ven afectadas por estos sistemas.
I
2.1 Definición
UNIDAD 2: PRIVACIDAD
UNIDAD 2: PRIVACIDAD La privacidad es un componente crucial de la ética en el uso de la inteligencia artificial en la educación. Se refiere a la capacidad de los estudiantes y educadores de controlar quién accede a su información personal y cómo se utiliza. En el contexto de la IA educativa, la privacidad aborda cuestiones relacionadas con la recopilación y el manejo de datos personales, así como la seguridad de estos datos. Proteger la privacidad es fundamental para garantizar la confianza y la seguridad en los entornos educativos impulsados por la IA.
2.2 Importancia de la Privacidad en la Educación La privacidad desempeña un papel fundamental en la ética de la IA educativa. A medida que los sistemas de IA recopilan datos de estudiantes, desde sus preferencias de aprendizaje hasta su progreso académico, surge la cuestión de quién debe tener acceso a esta información y cómo se debe utilizar. La protección de la privacidad de los estudiantes es esencial para evitar la exposición de datos sensibles y prevenir el uso indebido de la información personal. Garantizar la privacidad promueve un entorno educativo seguro y confiable.
3
UNIDAD 2.
UNIDAD 2: PRIVACIDAD
I
2.3 Ejemplos de Privacidad en la IA Educativa Un ejemplo concreto de privacidad en la IA educativa es la protección de datos personales. Las plataformas de aprendizaje en línea que utilizan IA pueden recopilar datos de estudiantes, como su historial de navegación, respuestas a preguntas y resultados de pruebas. Es fundamental que estas plataformas apliquen medidas sólidas para proteger esta información y evitar su acceso no autorizado. Otro ejemplo se refiere a la necesidad de obtener consentimiento informado de los estudiantes y sus padres antes de recopilar datos personales. Esto se vuelve crucial cuando se trata de estudiantes menores de edad, ya que se deben seguir regulaciones estrictas para garantizar que la recopilación de datos sea ética y legal. La privacidad también involucra la transparencia en el uso de algoritmos y la explicación de cómo se toman las decisiones automatizadas que afectan a los estudiantes. Por ejemplo, en la calificación automática de ensayos, es importante que los estudiantes comprendan cómo se evalúan sus respuestas y qué criterios se utilizan. La protección de la privacidad en la IA educativa se extiende más allá de la recopilación de datos y abarca la seguridad de la información, la anonimización de datos, la limitación del acceso y la eliminación de datos cuando ya no son necesarios. Es esencial equilibrar la recopilación de datos con la protección de la privacidad de los estudiantes para crear un entorno educativo ético y confiable. En la próxima unidad, exploraremos cómo la ética de la IA en la educación se relaciona con la toma de decisiones automatizadas. De acuerdo con la UNESCO (2021) La privacidad, un derecho fundamental para salvaguardar la dignidad, autonomía y capacidad de acción de las personas, debe ser honrada, resguardada y promovida durante todo el ciclo de vida de los sistemas de inteligencia artificial. Es de suma importancia que la recopilación, uso, compartición, almacenamiento y eliminación de datos en relación con los sistemas de inteligencia artificial sigan pautas coherentes con el derecho internacional y en sintonía con los valores y principios delineados en esta recomendación. Al mismo tiempo, se debe mostrar respeto por los marcos legales nacionales, regionales e internacionales aplicables.
2.4 Principios En cuanto a los principios relacionados al respecto con datos, algoritmos y prácticas, el Marco Ético para la IA en Colombia (2021) menciona lo siguiente en cuanto a los datos: este principio implica la necesidad de obtener consentimiento para utilizar información personal, a menos que los datos sean públicos o se apliquen las excepciones establecidas por la ley. Este consentimiento debe incluir una descripción detallada de los propósitos específicos para los cuales se utilizarán los datos, ya sea para el entrenamiento de sistemas o para su funcionamiento. Esto garantiza que las personas afectadas tengan la capacidad de corregir datos personales incorrectos o con errores que estén siendo empleados en el desarrollo o funcionamiento de estos sistemas, sin que la funcionalidad de la tecnología pueda obstaculizar tales
4
solicitudes.
UNIDAD 2.
UNIDAD 2: PRIVACIDAD
I
Al respecto del principio de algoritmos, en este principio, se resalta la importancia de que debe ser respetuosa con la privacidad de las personas, lo que significa que no se deben utilizar características personales y privadas como base para tomar decisiones. Se debe limitar la utilización de información personal y solo emplear la información necesaria para que el sistema funcione correctamente y evite errores en las decisiones. Los diseñadores deben abstenerse de desarrollar tecnologías que permitan la creación de perfiles de individuos utilizando criterios desconocidos y no autorizados previamente por las personas. Si se utiliza información con el propósito de mejorar el funcionamiento o rendimiento de estos sistemas, se debe informar a las personas que son dueñas de esa información.
En relación al principio de las prácticas y la privacidad, deben establecerse procesos internos que promuevan prácticas éticas en el manejo de información y en las respuestas brindadas a las personas afectadas por estas tecnologías. Se debe dar prioridad a la adopción de medidas de responsabilidad comprobada que permitan la implementación de herramientas de gestión de riesgos para la privacidad, así como la utilización de métodos de evaluación del impacto en la protección de datos. Los equipos de diseñadores y desarrolladores deben establecer pautas para identificar situaciones en las que podrían surgir perfiles de individuos, comprender cómo esto podría afectar y encontrar maneras de prevenir resultados negativos derivados de este proceso. Esto no solo protege la privacidad a nivel individual, sino que también evita la creación de clasificaciones o perfiles sociales no deseados.
UNIDAD 3: CONTROL HUMANO DE LAS DECISIONES PROPIAS DE UN SISTEMA DE IA 3.1 Definición El control humano en el contexto de la ética de la inteligencia artificial en la educación se refiere a la capacidad de las personas, ya sean educadores, estudiantes o administradores, de mantener un control efectivo sobre las decisiones tomadas por los sistemas de IA utilizados en entornos educativos. Esto significa que, a pesar de la automatización y las recomendaciones de la IA, los seres humanos deben tener la facultad de supervisar, influir y, en última instancia, tomar decisiones finales sobre cuestiones educativas críticas.
5
UNIDAD 3.
UNIDAD 3: CONTROL HUMANO DE LAS DECISIONES PROPIAS DE UN SISTEMA DE IA
I
3.2 Importancia del Control Humano El control humano es fundamental para garantizar la responsabilidad y la ética en la implementación de la IA en la educación. Si bien los sistemas de IA pueden ser herramientas poderosas para el aprendizaje personalizado y la eficiencia, no deben reemplazar el juicio y la toma de decisiones humanas. El control humano permite la adaptación de las decisiones de la IA a las necesidades específicas de los estudiantes y las situaciones educativas, lo que contribuye a un aprendizaje más equitativo y significativo.
3.3 Ejemplos de Control Humano en la IA Educativa Un ejemplo claro del control humano es la supervisión y corrección de decisiones automatizadas. Por ejemplo, en la calificación de exámenes, los educadores deben tener la capacidad de revisar y ajustar las calificaciones proporcionadas por sistemas de calificación automática, en caso de que surjan discrepancias o inexactitudes. Otro ejemplo se relaciona con la capacidad de los educadores para personalizar el contenido y las actividades de aprendizaje sugeridas por sistemas de IA. Los docentes deben poder adaptar las recomendaciones de la IA según las necesidades y estilos de aprendizaje de los estudiantes. Además, en situaciones donde la IA se utiliza para tomar decisiones importantes, como la selección de rutas de aprendizaje, los educadores y estudiantes deben estar en condiciones de comprender y cuestionar el razonamiento detrás de las recomendaciones de la IA. El control humano también abarca la toma de decisiones éticas relacionadas con la recopilación y el uso de datos en la educación. Los educadores deben tener voz en las políticas de privacidad y en la forma en que se utilizan los datos de los estudiantes, garantizando así la protección de la privacidad y la ética en la gestión de datos. En resumen, el control humano es esencial para mantener la ética y la responsabilidad en la IA educativa. Esta unidad exploró cómo el control humano permite a educadores y estudiantes tomar decisiones finales y supervisar la toma de decisiones de la IA en el aula, lo que contribuye a un aprendizaje más personalizado y ético. En la próxima unidad, exploraremos el tema de la transparencia en la IA educativa y su relevancia ética.
3.4 Principios En el ámbito ético de los datos, es fundamental garantizar que la recopilación y el procesamiento de información se lleven a cabo en total conformidad con las pautas y criterios definidos por los individuos involucrados, asegurando así que se respeten sus derechos y preferencias. Esto implica que las personas deben tener el control sobre qué datos se recopilan, cuándo se recopilan y con qué fines se utilizan. En la práctica, esto significa que las organizaciones y los sistemas de inteligencia artificial que gestionan datos deben obtener el consentimiento informado de las personas antes de recopilar su información personal. Además, deben ser transparentes en cuanto a los propósitos para los cuales se utilizarán los datos y garantizar que se respeten las
6
normativas de privacidad y protección de datos vigentes.
UNIDAD 3.
UNIDAD 3: CONTROL HUMANO DE LAS DECISIONES PROPIAS DE UN SISTEMA DE IA
I
3.4 Principios de la Ética En el contexto de la ética de la inteligencia artificial, es esencial que los sistemas de respuesta automática, como chatbots o asistentes virtuales, estén diseñados de manera que permitan la intervención humana en cualquier momento. Esto significa que, si bien estos sistemas pueden brindar respuestas y asistencia automatizadas, deben estar preparados para ceder el control a los seres humanos cuando sea necesario. Esta consideración es importante por varias razones. En primer lugar, la intervención humana garantiza la toma de decisiones éticas y sofisticadas en situaciones donde la IA puede no comprender completamente el contexto o la complejidad de las necesidades del usuario. Por ejemplo, en un entorno educativo, si un estudiante plantea una pregunta muy específica o personal, un sistema de respuesta automática podría no ser capaz de proporcionar una respuesta adecuada. En tales casos, un humano puede intervenir para abordar la pregunta de manera precisa y comprensiva. En segundo lugar, la intervención humana es esencial para resolver situaciones inesperadas o emocionales. Por ejemplo, en servicios de atención al cliente, un chatbot puede manejar preguntas comunes de manera eficiente, pero cuando un cliente está experimentando un problema complejo o frustración, la empatía y la comprensión humanas son fundamentales para abordar la situación de manera efectiva. Además, la intervención humana es esencial para supervisar y corregir posibles sesgos o inexactitudes en las respuestas automatizadas. Los sistemas de IA pueden heredar sesgos de los datos con los que son entrenados, y la intervención humana permite la revisión y corrección de posibles respuestas sesgadas o incorrectas. En resumen, permitir la intervención humana en sistemas de respuesta automática es un principio ético clave que asegura un equilibrio entre la eficiencia de la IA y la capacidad humana para comprender y abordar las necesidades individuales y complejas de los usuarios. Esto mejora la calidad del servicio, evita situaciones problemáticas y garantiza que la IA se utilice de manera ética y responsable.
UNIDAD 4: SEGURIDAD UNIDAD 4: SEGURIDAD
I
7
4.1 Definición La seguridad en el contexto de la inteligencia artificial en educación se refiere a la protección de datos, sistemas y procesos de aprendizaje automatizado en un entorno educativo. Esta seguridad tiene como objetivo principal garantizar que los estudiantes, educadores y todas las partes interesadas estén protegidos de amenazas y riesgos que puedan surgir debido al uso de la IA. Implica no solo la salvaguardia de datos personales, sino también la protección contra la mala utilización de la tecnología y la prevención de sesgos y discriminación.
UNIDAD 4.
UNIDAD 4: SEGURIDAD
I
4.2 Importancia de la Seguridad La seguridad es esencial para construir la confianza en el uso de la inteligencia artificial en la educación. Los estudiantes y educadores deben sentirse seguros en sus interacciones con sistemas de IA. Además, es fundamental garantizar que los datos personales estén protegidos contra la exposición no autorizada, lo que contribuye a la privacidad y a la conformidad con las regulaciones de protección de datos. La seguridad también previene el riesgo de sesgos y discriminación al garantizar que los algoritmos se diseñen de manera justa y equitativa.
4.3 Ejemplos de Seguridad Un ejemplo de seguridad es la protección de datos personales de los estudiantes. Las instituciones educativas y las plataformas de IA deben implementar medidas de seguridad sólidas para garantizar que la información personal esté resguardada contra accesos no autorizados o vulnerabilidades. Otro ejemplo se refiere a la detección y mitigación de sesgos en algoritmos de IA. Los sistemas de calificación automática deben ser evaluados constantemente para asegurarse de que no favorezcan a ciertos grupos o perjudiquen a otros. La seguridad ética también involucra la prevención de fraudes académicos. Los sistemas de IA pueden utilizarse para detectar plagio en trabajos estudiantiles, lo que promueve la integridad académica y la equidad en la evaluación. Además, en un mundo digital, la ciberseguridad es esencial. Los ataques informáticos pueden exponer datos sensibles o interrumpir la enseñanza en línea. Es fundamental implementar medidas de seguridad cibernética para proteger los sistemas de IA utilizados en la educación. La seguridad ética en la inteligencia artificial en la educación es un elemento crítico para garantizar que la tecnología beneficie a los estudiantes y educadores sin poner en riesgo su privacidad, integridad o igualdad. En la próxima unidad, exploraremos la importancia de la transparencia en la ética de la IA educativa.
4.4 Principios Dentro del ámbito ético de los datos, es imperativo establecer mecanismos que garanticen que la información se mantenga en secreto, sin cambios no autorizados, y que se eviten posibles alteraciones en los datos utilizados por estos sistemas, como el adversarial machine learning. La integridad y confidencialidad de la información son cruciales.
En lo que respecta a la ética de los algoritmos, la implementación y el diseño de algoritmos deben someterse a un sistema de evaluación de riesgos que identifique posibles consecuencias negativas de ciertos resultados. En ningún caso un algoritmo debe llevar a resultados que amenacen la integridad de las personas. Las decisiones de gran importancia deben recaer en seres humanos, y los algoritmos deben servir como guías en la toma de decisiones humanas, especialmente en áreas críticas como la atención médica o la seguridad nacional.
8
UNIDAD 4.
UNIDAD 5: RESPONSABILIDAD
I
UNIDAD 5: RESPONSABILIDAD 5.1 Definición La responsabilidad ética en el contexto de la inteligencia artificial en educación se refiere a la obligación de todas las partes involucradas, incluyendo instituciones educativas, desarrolladores de tecnología, educadores y estudiantes, de actuar de manera ética y con conciencia de las implicaciones de la IA en el proceso educativo. Esto implica tomar decisiones informadas, garantizar la seguridad y privacidad de los datos, y asegurarse de que los sistemas de IA se utilicen de manera justa y equitativa.
5.2 Importancia de la Responsabilidad Ética La responsabilidad ética es crucial para asegurar que la inteligencia artificial en la educación sea utilizada de manera beneficiosa y ética. Los sistemas de IA pueden influir en la toma de decisiones en el aprendizaje, la evaluación y la gestión de aulas, por lo que es esencial que estas decisiones se tomen de manera justa y sin sesgos. Además, la responsabilidad ética garantiza que la privacidad y la seguridad de los estudiantes se mantengan en primer plano y que los educadores sepan cómo utilizar la IA de manera efectiva.
5.3 Ejemplos de Responsabilidad Ética en la IA Educativa Un ejemplo de responsabilidad ética es la toma de decisiones en la personalización del aprendizaje. Los educadores y diseñadores de sistemas de IA deben asegurarse de que la adaptación del contenido y las recomendaciones sean justas y equitativas para todos los estudiantes, evitando la discriminación o el favorecimiento injusto. Otro ejemplo es la transparencia en la toma de decisiones automatizadas. Los educadores deben comprender cómo funcionan los algoritmos de calificación automática o de recomendación de contenidos, y deben poder explicar estas decisiones a los estudiantes y sus padres. La responsabilidad ética también se relaciona con la gestión de datos y la privacidad. Las instituciones educativas deben garantizar que los datos de los estudiantes se manejen de manera segura y que se obtenga el consentimiento adecuado para la recopilación y el uso de datos personales. Además, en la evaluación de los sistemas de IA, se deben establecer mecanismos para detectar y corregir posibles sesgos. Esto garantiza que los algoritmos no favorezcan ni perjudiquen a grupos específicos de estudiantes. La responsabilidad ética en la inteligencia artificial en educación es fundamental para proteger los derechos y la igualdad de los estudiantes, garantizando que la tecnología se utilice de manera justa y beneficiosa en el entorno educativo.
9
UNIDAD 5.
UNIDAD 5: RESPONSABILIDAD
I
5.4 Principios En el contexto de la ética de los datos, es imperativo que todas las instituciones que se dedican a la recolección y el procesamiento de datos con el fin de desarrollar sistemas de inteligencia artificial asuman la responsabilidad por esta información. Cada una de estas entidades debe ser considerada responsable de mantener la integridad de los datos y de garantizar que estos se utilicen con propósitos éticos y claros. La carga de responsabilidad no puede ser atribuida exclusivamente a una sola parte; en cambio, debe ser un compromiso compartido que involucre a todas las partes involucradas en el proceso. Esto garantiza una gestión de datos ética y transparente en el desarrollo de sistemas de IA. Dentro del ámbito de la ética de los algoritmos, es vital destacar que las personas responsables del diseño de un algoritmo tienen la responsabilidad principal de supervisar tanto los resultados que dicho algoritmo puede generar como los criterios que se utilizan para producir respuestas específicas. Estos diseñadores deben asegurarse de que el algoritmo esté diseñado de manera justa y equitativa, y que no introduzca sesgos o discriminación en sus resultados. Sin embargo, es importante señalar que la responsabilidad no termina en el proceso de diseño. A medida que el algoritmo se implementa y se utiliza en aplicaciones prácticas, la responsabilidad se extiende a la persona o entidad que hace uso de estos sistemas y toma decisiones basadas en sus resultados. En este punto, la persona o entidad que implementa el algoritmo debe garantizar que su uso sea ético y que los resultados se interpreten adecuadamente. Esta distribución de responsabilidad es fundamental para garantizar que la ética de los algoritmos no se limite al proceso de diseño, sino que se extienda a su aplicación práctica y a las decisiones humanas que se basan en sus resultados. Esto promueve un uso ético y consciente de la inteligencia artificial en una variedad de campos.Principio del formulario En el contexto de la ética de las prácticas, es fundamental que todos los actores involucrados en el desarrollo de tecnologías de inteligencia artificial establezcan responsabilidades de manera transparente y definida a lo largo de todo el ciclo de vida de la tecnología, desde su concepción hasta su implementación. Esto implica que los equipos de trabajo deben realizar un análisis cuidadoso y detallado para definir de manera precisa las funciones y las responsabilidades de cada parte en cada etapa del proceso de desarrollo y ejecución de la tecnología. Este enfoque garantiza que todas las partes involucradas sean conscientes de sus roles y responsabilidades, lo que contribuye a una mayor claridad y rendición de cuentas en cada etapa del proceso. Esto es particularmente importante en un campo tan innovador y dinámico como la inteligencia artificial, donde los desafíos éticos y técnicos pueden ser complejos. Además, se debe prestar especial atención para evitar prácticas o acuerdos que limiten la responsabilidad en contraposición a los principios éticos establecidos. La ética de las prácticas en la inteligencia artificial implica la adhesión a estándares y normas que priorizan la seguridad, la equidad y la integridad en todas las etapas del desarrollo tecnológico. Cualquier intento de eludir o debilitar estas responsabilidades éticas debe ser abordado y evitado, ya que podría poner en riesgo la integridad y la confianza en la tecnología de inteligencia artificial.
10
UNIDAD 5.
UNIDAD 6: NO DISCRIMINACIÓN – INCLUSIÓN
I
UNIDAD 6: NO DISCRIMINACIÓN – INCLUSIÓN 6.1 Definición La no discriminación e inclusión en la ética de la inteligencia artificial en educación se refieren a la obligación de garantizar que los sistemas de IA en entornos educativos no perpetúen ni amplifiquen sesgos ni prejuicios existentes. En lugar de ello, deben promover un entorno educativo inclusivo y equitativo donde todos los estudiantes tengan igualdad de oportunidades y acceso a una educación de calidad, independientemente de su origen, género, orientación sexual, etnia, habilidades, discapacidades o cualquier otra característica personal.
6.2 Importancia de la No Discriminación e Inclusión La no discriminación e inclusión son fundamentales en la ética de la inteligencia artificial en educación por varias razones. En primer lugar, aseguran que la tecnología no genere o perpetúe discriminación o sesgos en el proceso de aprendizaje, lo que es esencial para garantizar una educación equitativa. Además, la no discriminación e inclusión fomentan un ambiente educativo diverso y enriquecedor donde cada estudiante puede aprender y desarrollarse a su máximo potencial. Esto es especialmente importante en un mundo globalizado y diverso, donde la igualdad de oportunidades es un valor fundamental.
6.3 Ejemplos de No Discriminación e Inclusión en la IA Educativa Un ejemplo de no discriminación es la implementación de sistemas de IA que no favorezcan ni perjudiquen a ciertos grupos de estudiantes en la evaluación o personalización del aprendizaje. Por ejemplo, un sistema de tutoría virtual debe adaptarse de manera justa y equitativa a las necesidades de todos los estudiantes, independientemente de su origen étnico o socioeconómico. La inclusión se refleja en la adaptación de sistemas de IA para estudiantes con discapacidades. Por ejemplo, los sistemas de lectura automática deben estar diseñados para ser accesibles para estudiantes con discapacidades visuales, asegurando que tengan igualdad de acceso a los materiales de aprendizaje. Otro ejemplo es la diversidad en el contenido y las fuentes de datos. Los sistemas de IA deben utilizar una amplia variedad de fuentes y ejemplos que reflejen la diversidad cultural y social de los estudiantes, evitando la exclusión o la representación sesgada. La no discriminación e inclusión en la inteligencia artificial en educación son pilares éticos que promueven la equidad y la igualdad de oportunidades en la educación. Estos principios deben ser respetados en el diseño y la implementación de sistemas de IA para garantizar que todos los estudiantes tengan acceso a una educación de calidad, sin importar sus diferencias individuales.
11
UNIDAD 6.
UNIDAD 6: NO DISCRIMINACIÓN – INCLUSIÓN
I
6.4 Principios Dentro del marco ético de los datos, es de vital importancia asegurarse de que los datos utilizados sean representativos de una amplia gama de grupos sociales. Esto significa que en todas las etapas del desarrollo de sistemas de inteligencia artificial, incluyendo el diseño, el entrenamiento y el funcionamiento, se debe considerar la diversidad de fuentes de datos. Esto garantiza que los sistemas de IA no se basen en información limitada o sesgada, y que puedan brindar resultados justos y equitativos para todos. Para lograr este objetivo, es fundamental incrementar la disponibilidad de conjuntos de datos que reflejen la diversidad de la sociedad. Esto implica recopilar y utilizar datos de grupos que han sido históricamente subrepresentados o marginados en la toma de decisiones tecnológicas. Al hacerlo, se pueden abordar las brechas de datos que han existido y se pueden prevenir sesgos discriminatorios.Principio del formulario Final del formulario Con referencia a la ética de los algoritmos, es esencial tener en cuenta que las variables y criterios incorporados en estos algoritmos pueden ejercer un impacto profundo en contextos específicos. Esto significa que las decisiones tomadas por los algoritmos pueden afectar a diferentes grupos de personas de manera distinta. Existe la posibilidad de que ciertas decisiones o resultados favorezcan de manera injusta a un grupo particular de individuos mientras perjudican a otros. Por lo tanto, es imperativo evitar deliberadamente el diseño de algoritmos que otorguen un trato preferencial a un grupo específico de personas en detrimento de otros. En cambio, se debe buscar el desarrollo de algoritmos que sean equitativos y justos, que no perpetúen ni amplifiquen las desigualdades o los sesgos existentes en la sociedad. Esto implica la implementación de prácticas de diseño y revisión que garanticen que los algoritmos se ajusten a estándares éticos que promuevan la equidad y la igualdad de oportunidades para todos. En el contexto de la ética de las prácticas en la inteligencia artificial, es de suma importancia que los grupos encargados del diseño, desarrollo y puesta en marcha de sistemas de IA sean sensibles a la diversidad que caracteriza a la sociedad. Esto implica tomar medidas concretas, como la creación de comités de evaluación, que se encarguen de supervisar y garantizar que no se perpetúen prácticas discriminatorias hacia sectores marginados de la población. Estos sectores pueden incluir a mujeres, afrodescendientes, indígenas, miembros de la comunidad LGBTI+ y otros grupos que han enfrentado históricamente discriminación y marginación. Un enfoque ético en la inteligencia artificial implica reconocer que la tecnología puede influir significativamente en la vida de las personas y, por lo tanto, debe ser diseñada y utilizada de manera justa y equitativa. En el caso específico de Colombia, es esencial liderar esfuerzos para prevenir el desarrollo de sistemas de IA que perpetúen estereotipos de género, como la visión de las mujeres como simples asistentes personales o seres al servicio de los consumidores. En su lugar, el objetivo es promover sistemas de inteligencia artificial que sean neutrales en cuanto al género y que no discriminen a las personas en función de su género.
12
UNIDAD 6.
REFERENCIAS ChatGPT (2023), las aplicaciones de inteligencia artificial en la educación plantean desafíos éticos significativos. Cortina, A. (2019). Ética de la inteligencia artificial. In Anales de la Real Academia de Ciencias Morales y Políticas (pp. 379-394). Ministerio de Justicia. https://www.boe.es/biblioteca_juridica/anuarios_derecho/abrir_pdf.php?id=ANU-M2019-10037900394 González, M., & Martínez, D. (2020). Dilemas éticos en el escenario de la inteligencia artificial. Economía y Sociedad, 25(57), 93-109. https://dx.doi.org/10.15359/eys.25-57.5 Güío, A., Tamayo, E., Gómez, P., & Mujica, P. (2021). Marco ético para la inteligencia artificial en Colombia. https://dapre.presidencia.gov.co/TD/MARCO-ETICO-PARA-LAINTELIGENCIA-ARTIFICIAL-EN-COLOMBIA-2021.pdf UNESCO (2021). Recomendación sobre la ética de la Inteligencia artificial. https://eduteka.icesi.edu.co/pdfdir/eduteka-unesco-recomendaciones-etica-de-lainteligencia-artificial.pdf
6