Inteligência Artificial agora pode prever a raça de uma pessoa a partir de raios-X, e os cientistas estão preocupados

Modelos de aprendizado profundo baseados em inteligência artificial podem identificar a raça de alguém apenas a partir de seus raios-X, revelou uma nova pesquisa – algo que seria impossível para um médico humano olhando as mesmas imagens.

As descobertas levantam algumas questões preocupantes sobre o papel da IA ​​no diagnóstico, avaliação e tratamento médicos: o preconceito racial pode ser aplicado involuntariamente por software de computador ao estudar imagens como essas?

Tendo treinado sua IA usando centenas de milhares de imagens de raios X existentes rotuladas com detalhes da raça do paciente, uma equipe internacional de pesquisadores de saúde dos EUA, Canadá e Taiwan testou seu sistema em imagens de raios X que o software de computador não tinha. t visto antes (e não tinha informações adicionais sobre).

A IA poderia prever a identidade racial relatada do paciente nessas imagens com precisão surpreendente, mesmo quando os exames foram feitos de pessoas da mesma idade e do mesmo sexo. O sistema atingiu níveis de 90% com alguns grupos de imagens.

“Nosso objetivo era realizar uma avaliação abrangente da capacidade da IA ​​de reconhecer a identidade racial de um paciente a partir de imagens médicas”, escrevem os pesquisadores em seu artigo publicado .

“Mostramos que os modelos padrão de aprendizado profundo de IA podem ser treinados para prever corridas a partir de imagens médicas com alto desempenho em várias modalidades de imagem, sustentadas sob condições de validação externa”.

A pesquisa ecoa os resultados de um estudo anterior que descobriu que as varreduras de inteligência artificial de imagens de raios-X eram mais propensas a perder sinais de doença em pessoas negras. Para impedir que isso aconteça, os cientistas precisam entender por que isso está ocorrendo em primeiro lugar.

Por sua própria natureza, a IA imita o pensamento humano para identificar rapidamente padrões nos dados. No entanto, isso também significa que pode sucumbir involuntariamente aos mesmos tipos de preconceitos. Pior ainda, sua complexidade torna difícil desembaraçar os preconceitos que tecemos neles.

No momento, os cientistas não sabem ao certo por que o sistema de IA é tão bom em identificar raças a partir de imagens que não contêm essas informações, pelo menos não na superfície. Mesmo quando informações limitadas são fornecidas, removendo pistas sobre a densidade óssea, por exemplo, ou focando em uma pequena parte do corpo, os modelos ainda tiveram um desempenho surpreendentemente bom em adivinhar a raça relatada no arquivo.

É possível que o sistema esteja encontrando sinais de melanina, o pigmento que dá cor à pele, ainda desconhecidos pela ciência.

“Nossa descoberta de que a IA pode prever com precisão a raça auto-relatada, mesmo a partir de imagens médicas corrompidas, cortadas e com ruído, muitas vezes quando os especialistas clínicos não conseguem, cria um risco enorme para todas as implantações de modelos em imagens médicas”, escrevem os pesquisadores .

A pesquisa se soma a uma pilha crescente de evidências de que os sistemas de IA podem refletir os preconceitos e preconceitos dos seres humanos, seja racismo, sexismo ou outra coisa. Dados de treinamento distorcidos podem levar a resultados distorcidos, tornando-os muito menos úteis.

Isso precisa ser equilibrado com o poderoso potencial da inteligência artificial para obter muito mais dados muito mais rapidamente do que os humanos, em todos os lugares, desde técnicas de detecção de doenças até modelos de mudanças climáticas .

Ainda há muitas perguntas sem resposta do estudo, mas por enquanto é importante estar ciente do potencial de viés racial aparecer em sistemas de inteligência artificial – especialmente se vamos entregar mais responsabilidade a eles no futuro.

“Precisamos fazer uma pausa”, disse o pesquisador e médico Leo Anthony Celi, do Instituto de Tecnologia de Massachusetts, ao Boston Globe .

“Não podemos nos apressar em levar os algoritmos para hospitais e clínicas até termos certeza de que eles não estão tomando decisões racistas ou sexistas”.