A Agência de Serviços de Fronteira do Canadá planeja implementar um aplicativo que usa tecnologia de reconhecimento facial para rastrear pessoas que receberam ordens de deportação do país.
O aplicativo de relatórios móveis usaria biometria para confirmar a identidade de uma pessoa e registrar seus dados de localização quando ela usasse o aplicativo para fazer check-in. Documentos obtidos por meio de acesso à informação indicam que a CBSA propôs tal aplicativo já em 2021.
Um porta-voz confirmou que um aplicativo chamado ReportIn será lançado neste outono.
Especialistas estão sinalizando inúmeras preocupações, questionando a validade do consentimento do usuário e o potencial sigilo sobre como a tecnologia toma suas decisões.
A cada ano, cerca de 2.000 pessoas que receberam ordem de deixar o país não comparecem, o que significa que a CBSA “deve gastar recursos consideráveis investigando, localizando e, em alguns casos, detendo esses clientes”, diz um documento de 2021.
A agência lançou um aplicativo para smartphone como uma “solução ideal”.
Receber atualizações regulares por meio do aplicativo sobre o “endereço residencial, emprego, situação familiar, entre outras coisas, de uma pessoa permitirá que a CBSA tenha informações relevantes que podem ser usadas para contatar e monitorar o cliente em busca de quaisquer indicadores iniciais de não conformidade”, afirmou.
“Além disso, dada a automação, é mais provável que o cliente se sinta engajado e reconheça o nível de visibilidade que o CBSA tem em seu caso.”
Além disso, o documento observou: “Se um cliente não comparecer para remoção, as informações coletadas pelo aplicativo fornecerão boas pistas investigativas para localizar o cliente”.
Uma avaliação de impacto algorítmico para o projeto — ainda não publicada no site do governo federal — disse que a tecnologia de voz biométrica que a CBSA tentou usar estava sendo descontinuada devido a “tecnologia falha”, e desenvolveu o aplicativo ReportIn para substituí-la.
Ele disse que os “dados biométricos faciais e a localização de uma pessoa, fornecidos por sensores e/ou GPS no dispositivo móvel/smartphone” são registrados pelo aplicativo ReportIn e então enviados ao sistema de back-end do CBSA.
Notícias de última hora do Canadá e do mundo todo enviadas para seu e-mail, na hora.
Receba as últimas notícias nacionais
Para notícias que impactam o Canadá e o mundo todo, inscreva-se para receber alertas de notícias de última hora diretamente na sua caixa de entrada quando elas acontecerem.
Depois que as pessoas enviam fotos, um “algoritmo de comparação facial” gerará uma pontuação de similaridade com uma foto de referência.
Se o sistema não confirmar uma correspondência facial, ele aciona um processo para que os policiais investiguem o caso.
“A localização dos indivíduos também é coletada toda vez que eles reportam e se o indivíduo não cumpre com suas condições”, disse. O documento observou que os indivíduos não serão “constantemente rastreados”.
O aplicativo usa tecnologia da Amazon Web Services. Essa é uma escolha que chamou a atenção de Brenda McPhail, diretora de educação executiva no programa de política pública em sociedade digital da McMaster University.
Ela disse que, embora muitas empresas de reconhecimento facial enviem seus algoritmos para testes no Instituto Nacional de Padrões e Tecnologia dos EUA, a Amazon nunca o fez voluntariamente.
Um porta-voz da Amazon Web Services disse que sua tecnologia Amazon Rekognition é “testada extensivamente — inclusive por terceiros como a Credo AI, uma empresa especializada em IA Responsável, e a iBeta Quality Assurance”.
O porta-voz acrescentou que o Amazon Rekognition é um “sistema baseado em nuvem em larga escala e, portanto, não pode ser baixado conforme descrito nas diretrizes de participação do NIST”.
“É por isso que nosso Rekognition Face Liveness foi submetido para testes de acordo com os padrões da indústria ao iBeta Lab”, que é credenciado pelo instituto como um laboratório de testes independente, disse o porta-voz.
O documento da CBSA diz que o algoritmo usado será um segredo comercial. Em uma situação que pode ter consequências transformadoras, McPhail perguntou se é “apropriado usar uma ferramenta que é protegida por segredos comerciais ou segredos proprietários e que nega às pessoas o direito de entender como as decisões sobre elas estão realmente sendo tomadas”.
Kristen Thomasen, professora associada e titular de direito, robótica e sociedade na Universidade de Windsor, disse que a referência a segredos comerciais é um sinal de que pode haver impedimentos legais bloqueando informações sobre o sistema.
Há anos há preocupação sobre pessoas sujeitas a erros em sistemas serem legalmente proibidas de obter mais informações devido a proteções de propriedade intelectual, ela explicou.
A porta-voz da CBSA, Maria Ladouceur, disse que a agência “desenvolveu este aplicativo para smartphone para permitir que cidadãos estrangeiros e residentes permanentes sujeitos a condições de fiscalização da imigração façam denúncias sem comparecer pessoalmente a um escritório da CBSA”.
Ela disse que a agência “trabalhou em estreita consulta” com o Office of the Privacy Commissioner no aplicativo. “A inscrição no ReportIn será voluntária, e os usuários precisarão consentir tanto com o uso do aplicativo quanto com o uso de sua imagem para verificar sua identidade.”
Petra Molnar, diretora associada do laboratório de direito de refugiados da Universidade de York, disse que há um desequilíbrio de poder entre a agência que implementa o aplicativo e as pessoas que o recebem.
“Uma pessoa pode realmente consentir verdadeiramente nesta situação em que há uma grande diferença de poder?”
Se um indivíduo não consentir em participar, ele pode denunciar pessoalmente como alternativa, disse Ladouceur.
Thomasen também alertou que há risco de erros com a tecnologia de reconhecimento facial, e esse risco é maior para indivíduos racializados e pessoas com pele mais escura.
Molnar disse que é “muito preocupante que basicamente não haja nenhuma discussão sobre … impactos nos direitos humanos nos documentos”.
O porta-voz da CBSA disse que a Credo AI revisou o software para verificar se há preconceito contra grupos demográficos e encontrou uma taxa de correspondência facial de 99,9% em seis grupos demográficos diferentes, acrescentando que o aplicativo “será testado continuamente após o lançamento para avaliar a precisão e o desempenho”.
A decisão final será tomada por um humano, com oficiais supervisionando todos os envios, mas os especialistas observaram que os humanos tendem a confiar em julgamentos feitos pela tecnologia.
Thomasen disse que há uma “tendência psicológica amplamente reconhecida… para as pessoas se submeterem à expertise do sistema de computador”, onde os sistemas de computador são percebidos como menos tendenciosos ou mais precisos.
