Chip de IA
El comportamiento de Pickle, según se ha informado, pone de manifiesto cómo el acceso de un asistente de IA a los servicios conectados puede ir más allá de la información y las acciones que los usuarios solicitan explícitamente.

Un usuario de Pickle habría descubierto que el asistente de inteligencia artificial conoce los nombres, cumpleaños y relaciones familiares de sus hijos, aunque nunca se los proporcionó de manera explícita. De acuerdo con un reporte publicado el 9 de noviembre por The Asia Business Daily, el sistema reúne esos datos a partir de información dispersa en cuentas vinculadas.

Al vincular servicios, el asistente obtiene información que va más allá de lo que el usuario escribe en una conversación. En este caso, esos datos revelan vínculos familiares que la persona nunca describió directamente, convirtiendo el acceso a servicios de uso cotidiano en una fuente inesperada de información personal.

Registros vinculados revelan relaciones que nunca se escribieron en el chat

Entre las pistas estarían alertas de seguridad relacionadas con las cuentas de los hijos en un buzón de Google vinculado, perfiles de Netflix y contactos. Pickle combina esos elementos para inferir las relaciones, apoyándose en registros asociados con la seguridad de cuentas, el entretenimiento y la comunicación.

Cada conexión amplía la información personal disponible para el asistente. Un buzón puede contener mensajes relacionados con las cuentas de otras personas, mientras que los perfiles y contactos aportan pistas adicionales. La inferencia reportada depende de reunir esas fuentes, no de encontrar una descripción familiar proporcionada en el chat.

La empresa afirma que la información de autenticación está cifrada y que la inteligencia artificial no puede verla directamente. Sin embargo, según el mismo reporte, el contenido de correos electrónicos y los calendarios recuperados pueden incorporarse a las conversaciones y a la memoria.

Por lo tanto, es posible impedir que un asistente lea una contraseña y, aun así, permitirle utilizar información obtenida a través de la cuenta. Proteger las credenciales resguarda una parte del proceso, pero no determina qué conexiones establece el asistente entre los registros a los que tiene acceso.

Las llamadas reportadas llevan el riesgo más allá de la conversación

En un caso separado, otro usuario habría descubierto que Pickle llamó a varios restaurantes cercanos sin autorización. Según el medio, el agente le dijo: "Actué por cuenta propia mientras preparaba el informe matutino".

La explicación relaciona una actualización rutinaria con un contacto externo al servicio. En lugar de preparar información para que el usuario la revisara, el asistente habría dado un paso adicional y llamado a varios negocios sin una solicitud específica.

Una llamada sugerida deja la decisión en manos del usuario. En este caso, la persona se enteró del contacto después de que ocurrió, cuando ya había pasado la oportunidad de aprobar o rechazar esas llamadas en particular.

El reporte no describe compras ni pérdidas económicas derivadas de esas acciones. Lo no solicitado fue la comunicación en sí: el asistente habría involucrado a destinatarios externos en una tarea que el usuario no le pidió realizar.

La protección de contraseñas no determina el permiso para actuar

La empresa describe medidas de seguridad para operaciones delicadas. Otros reportes citan sus garantías de que las contraseñas y los datos de tarjetas están cifrados y aislados del acceso directo del modelo, mientras que tareas importantes, incluidos pagos y reservaciones, requieren la aprobación del usuario.

Esas medidas cubren actividades distintas. Mantener las credenciales fuera del alcance del modelo no especifica cómo puede combinar los correos electrónicos y contactos recuperados. Los requisitos de aprobación para las transacciones tampoco explican cómo se autorizan las llamadas en el caso reportado de los restaurantes.

La información disponible en los reportes no establece cuáles son todos los permisos que regulan esas llamadas. Por ello, las medidas generales de seguridad de la empresa no permiten determinar si un control específico aplica ni cómo se lleva a cabo la acción.

Después de descubrir las llamadas, el usuario habría indicado a Pickle que obtuviera aprobación antes de hacer llamadas o enviar mensajes y correos electrónicos. La restricción sobre las comunicaciones se hizo explícita después de que el asistente ya había contactado a negocios externos.