L’Apple Card est examinée à la loupe, car les femmes reçoivent moins de crédit que leurs conjoints qui partagent leur revenu et leur cote de solvabilité. Lors du lancement de la carte, Apple s’est associé à Goldman Sachs, qui est la banque émettrice de la carte. Le processus d’examen du crédit de Goldman est maintenant qualifié de sexiste par Elizabeth Warren et plusieurs responsables de la haute technologie. Les accusations sont-elles justes ?

Un entrepreneur en technologies, David Heinemeier Hansson, a soulevé le problème pour la première fois en tweetant que les algorithmes de l’Apple Card étaient discriminatoires à l’encontre de sa femme. La preuve ? Sa limite de crédit est 20 fois supérieur à celle de sa femme. De même, le cofondateur d’Apple, Steve Wozniak, a affirmé qu’il pouvait emprunter dix fois plus que sa femme sur leurs Apple Cards. Hansson a déclaré que sa femme avait une meilleure cote de crédit et que le couple déposait des déclarations de revenus communes. De même, Wozniak et son épouse remplissent également des déclarations communes et partagent des comptes de carte de crédit et des comptes bancaires.

Un algorithme d’intelligence artificielle a été en mesure de trouver un proxy pour le sexe que l’algorithme utilise pour déterminer les limites de crédit. « Je ne crois pas qu’il y avait une personne malfaisante qui ait voulu faire de la discrimination. Mais cela n’a aucune importance. Comment savez-vous qu’il n’y a pas de problème avec l’algorithme d’apprentissage automatique alors que personne ne peut expliquer comment cette décision a été prise ? », a déclaré Hansson lors d’une interview avec Bloomberg.

Et un algorithme sexiste est certainement une possibilité. Comment cela fonctionnerait-il ? La demande de carte de crédit ne demande pas spécifiquement le sexe du demandeur. Au lieu de cela, un algorithme sophistiqué d’apprentissage automatique serait en mesure de cibler le genre, puis de l’appliquer pour déterminer les limites de crédit. Par exemple, il pourrait « apprendre » que ceux qui ont des cartes de crédit pour un magasin de vêtements pour femmes en particulier représentent un risque important – et ce serait quasiment toutes des femmes. Il pourrait alors proposer des limites de crédit moins élevées aux détenteurs de cette carte, ce qui entraînerait par inadvertance une limite de crédit moins élevée pour les femmes que pour les hommes.

Le rédacteur en chef de Wired, Nick Thompson, a toutefois déclaré à CBS This Morning qu’il doutait que les algorithmes soient sexistes. « L’une des raisons pour lesquelles j’ai eu un peu de scepticisme lorsque cette histoire a éclaté est que le système est probablement configuré pour minimiser les défauts, et un système conçu pour minimiser les défauts ne peut pas donner à tous les hommes 20 fois la limite de crédit de toutes les femmes. Vous pouvez peut-être avoir une petite différence basée sur des données historiques », a-t-il déclaré.

Cela ne veut pas dire que le sexisme dans les algorithmes d’IA n’est pas un problème. Thompson affirme que le sexisme non détecté dans les algorithmes est « l’un des plus gros problèmes de notre époque ». Cependant, il pense que l’histoire des cartes de crédit Goldman n’est « pas le meilleur exemple de cet énorme problème ».

En fait, Thompson pensait que les différences de limites de crédit étaient plus susceptibles d’être liées aux revenus excessifs associés à Wozniak et à d’autres dirigeants de la technologie. Il n’est pas exagéré de supposer que le cofondateur de Apple pourrait apparaître comme un bon risque du point de vue du crédit.

En fait, Goldman a déclaré qu’il n’existait aucun algorithme permettant de prendre des décisions à partir de facteurs inconnus. Patrick Lenihan, le porte-parole de Goldman, a affirmé qu’il ne pouvait exister aucune « boîte noire ». Il a déclaré : « Pour les décisions de crédit que nous prenons, nous pouvons identifier les facteurs qui figurent dans le rapport de crédit ou le revenu déclaré d’un particulier. Nous nous félicitons de ce que les décideurs et les régulateurs discutent de ce sujet ». Dans un tweet, Goldman a également répondu aux accusations, affirmant qu’ils « avaient révisé leur processus de crédit pour se protéger du sexisme involontaire et des conséquences inattendues ».

J’ai fait une demande d’Apple Card et le formulaire ne m’a obligé qu’à entrer mon nom, mon adresse, mon numéro de sécurité sociale et ma date de naissance. Mon mari a également fait une demande et a effectivement bénéficié d’une limite de crédit plus élevée que la mienne (et, curieusement, il a également dû fournir une photo de son permis de conduire dans le processus de demande, alors que je n’ai pas eu à le faire). Incapable de refuser les rabais intéressants offerts pour l’ouverture de nouveaux comptes, j’ai beaucoup plus de cartes de crédit que mon mari. C’est, pour moi, la meilleure supposition pour expliquer pourquoi mon mari a reçu une limite de crédit plus élevée.

En ce qui concerne l’histoire des crédits, les recherches ont révélé un certain nombre de différences entre les sexes. Par exemple, les femmes ont tendance à avoir plus de cartes de crédit que les hommes. Les femmes ont également tendance à avoir des soldes de prêts échelonnés plus élevés, des taux d’utilisation du crédit renouvelable plus élevés et une fréquence plus élevée de délinquance et de faillite que les hommes. Les causes de ces différences entre les sexes ne peuvent pas être imputées à Goldman Sachs. La grande question est de savoir si Goldman a un algorithme qui a appris à imposer des limites de crédit pour toutes les femmes en fonction de ces moyennes.

Je ne défends pas Goldman Sachs, je tiens simplement à souligner que nous ne savons pas encore si leur attribution de limite de crédit est sexiste – et nous ne devrions pas sauter aux conclusions. Heureusement, le département des services financiers de l’État de New York (NYSDFS) a ouvert une enquête sur le prétendu sexisme. Il est donc à espérer qu’il découvrira finalement si les préjugés sexistes ont joué un rôle. Ce type d’enquête est d’une importance cruciale et, si l’on accuse l’algorithme de sexisme, nous pouvons tous tirer les leçons des erreurs de Goldman. Et si ce n’est pas le cas, nous pouvons apprendre de nos propres erreurs.