La aplicación de búsqueda de redes sociales Predictim está prohibida en Facebook y Twitter

Los empleadores se desaniman por muchas cosas que descubren sobre contrataciones potenciales en las redes sociales: material provocativo, publicaciones sobre el consumo de drogas o drogas, publicaciones racistas / sexistas / intolerantes a la religión, malas palabras, mentiras acerca de las calificaciones, habilidades de comunicación deficientes, comportamiento criminal , o el intercambio de información confidencial de un empleador anterior, por nombrar solo algunos.

Todos debemos dar por sentado, entonces, que hoy en día nuestras publicaciones en redes sociales están siendo analizadas. Eso también se aplica a aquellos de nosotros cuyas cortezas prefrontales son actualmente una pila de gelatina que aún se está formando: a saber, niños y adolescentes.

De hecho, hay una aplicación de inteligencia artificial (AI) para eliminar el goo que los cerebros emocionales, impulsivos y dominantes de la amígdala de esos niños lanzan en línea: se llama Predictim, y está financiado por la Universidad de California en el acelerador Skydeck de Berkeley. Predictim analiza las cuentas de Facebook, Instagram y Twitter para asignar una "calificación de riesgo" de 1 a 5, ofreciendo predecir si las niñeras o los paseadores de perros pueden ser malas influencias o incluso peligrosas.

Puede simpatizar con su clientela: Predictim presenta estudios de casos sobre niñeras abusivas que han causado lesiones fatales o casi fatales a los niños a su cargo. La verificación de antecedentes o las referencias boca a boca no necesariamente captarán los factores de riesgo que destaca su informe, según la compañía, que incluyen evidencia de acoso escolar, abuso de drogas, comportamiento irrespetuoso o descortés o publicación de contenido explícito .

La compañía afirma que después de señalar la herramienta en las publicaciones de redes sociales relacionadas con dos niñeras acusadas de dañar a los niños, obtuvo una calificación de "muy peligrosa". Pero mientras que usted o yo podemos simpatizar con los padres, Facebook y Twitter no aprecian cómo Predictim está raspando los datos de los usuarios para llegar a estas conclusiones.

La BBC informa que a principios de este mes, Facebook revocó la mayor parte del acceso de Predictim a los usuarios, en base a violar las políticas de la plataforma con respecto al uso de datos personales.

Después de que Predictim dijo que aún estaba raspando los datos públicos de Facebook para potenciar sus algoritmos, Facebook inició una investigación sobre si debería bloquear Predictim por completo.

La BBC citó al jefe ejecutivo y cofundador de Predictim, Sal Parsa, quien dijo: "Oigan, son datos públicos y no es gran cosa:

Todo el mundo busca personas en las redes sociales. Ellos buscan gente en Google. Solo estamos automatizando este proceso.

Facebook no estuvo de acuerdo. Una portavoz:

Raspar la información de las personas en Facebook está en contra de nuestros términos de servicio. Investigaremos Predictim por violaciones de nuestros términos, incluso para ver si se están involucrando en el raspado.

Twitter, después de enterarse de lo que Predictim estaba haciendo, investigó y recientemente revocó su acceso a las API públicas de la plataforma, dijo a la BBC:

Prohibimos estrictamente el uso de los datos de Twitter y las API para fines de vigilancia, incluida la realización de verificaciones de antecedentes. Cuando nos enteramos de los servicios de Predictim, realizamos una investigación y revocamos su acceso a las API públicas de Twitter.

Predictim utiliza algoritmos de procesamiento de lenguaje natural y de aprendizaje automático que recorren años de publicaciones en redes sociales. Luego, genera un puntaje de evaluación de riesgo, junto con publicaciones señaladas y una evaluación de cuatro categorías de personalidad: abuso de drogas, acoso y hostigamiento, contenido explícito y actitud irrespetuosa.

Predictim se lanzó el mes pasado, pero se le recordó durante el fin de semana después de que el Washington Post publicara un artículo que sugiere que Predictim es reductivo, simplista, elimina las publicaciones de las redes sociales del típico contexto adolescente de ironía o sarcasmo, y depende de " Algoritmos de caja negra ”que carecen de la habilidad de los humanos para discernir matices. Del artículo:

Los sistemas dependen de algoritmos de caja negra que brindan pocos detalles acerca de cómo redujeron las complejidades de la vida interior de una persona en un cálculo de la virtud o el daño. Y aun cuando la tecnología de Predictim influye en el pensamiento de los padres, sigue sin estar completamente probado, en gran parte sin explicación y vulnerable a sesgos tranquilos sobre cómo una niñera adecuada debería compartir, mirar y hablar.

Parsa le dijo a la BBC que Predictim no usa la "magia de caja negra".

Si la IA señala a una persona como abusiva, hay pruebas de por qué esa persona es abusiva.

Pero tampoco se aclara la razón detrás de la partitura: Drew Harwell de The Post habló con una madre "enervada" que dijo que cuando la herramienta identificó a una niñera por posible acoso escolar, no pudo decir si el software había detectado una cita de una película antigua. letra de la canción u otra frase en contraposición al lenguaje de acoso real ".

La compañía insiste en que Predictim no está diseñado como una herramienta que debe usarse para tomar decisiones de contratación, y que el puntaje es solo una guía. Pero eso no impide que se utilicen frases como esta en el panel del sitio:

Es muy probable que esta persona muestre el comportamiento no deseado (alta probabilidad de ser una mala contratación).

Los expertos en tecnología advierten que la mayoría de los algoritmos utilizados para analizar el lenguaje natural y las imágenes están muy lejos de ser infalibles. Por ejemplo, Facebook ha luchado para construir sistemas que disciernen automáticamente el discurso del odio.

The Post habló con el abogado de Electronic Frontier Foundation Jamie L. Williams, quien dijo que los algoritmos son particularmente malos para analizar lo que sale de boca de los niños:

Ejecutando este sistema en adolescentes: Quiero decir, ¡son niños! Los niños tienen bromas internas. Son notoriamente sarcásticos. Algo que podría sonar como una "mala actitud" hacia el algoritmo podría sonar a otra persona como una declaración política o una crítica válida.

De hecho, Malissa Nielsen, una niñera de 24 años de edad que accedió a dar acceso a sus cuentas de redes sociales a Predictim a petición de dos familias separadas, le dijo al Post que se sorprendió cuando le dio calificaciones imperfectas por intimidación y falta de respeto. .

Nielsen había pensado que no tenía nada de qué avergonzarse. Ella siempre ha sido cuidadosa con sus publicaciones, dijo, no maldice, va a la iglesia todas las semanas y está terminando una licenciatura en educación infantil. Ella dice que espera abrir un preescolar.

¿En qué lugar del mundo Predictim propuso la "intimidación" y la "falta de respeto", se preguntó?

Hubiera querido investigar un poco. ¿Por qué pensaría eso de mí? Una computadora no tiene sentimientos. No puede determinar todas esas cosas.

Desafortunadamente, una computadora piensa que sí, puede, y la compañía que la respalda está dispuesta a cobrar a los padres $ 24.99 por lo que algunos expertos dicen que es una confiabilidad no probada.

The Post citó a Miranda Bogen, analista de políticas de Upturn, un grupo de expertos de Washington que investiga cómo se usan los algoritmos en la toma de decisiones automatizada y la justicia penal:

Todavía no hay métricas para dejar en claro si estas herramientas son efectivas para predecir lo que dicen que son. El impulso de estas tecnologías es muy probable que supere su capacidad real.