Una recente ricerca di Bloomberg ha dimostrato che GPT, il modello linguistico generativo di OpenAI, produce sistematicamente pregiudizi razziali quando si tratta di vagliare i CV per trovare un candidato. E questo è un problema enorme.
Sembra che molte aziende stiano scegliendo di utilizzare l’IA di OpenAI, tra le altre cose, per il reparto risorse umane, al fine di ottimizzare il lavoro di reclutamento. Secondo i media citati, molte aziende ritengono che la GPT possa valutare un candidato in modo più equo rispetto agli esseri umani.Anche se OpenAI stessa proibisce l’uso del suo modello di intelligenza artificiale a questo scopo.
Il compito di GPT in questo compito è relativamente semplice: verificare quale candidato abbia maggiore esperienza, più istruzione o quali competenze siano più adatte all’azienda che sta cercando di assumere nuovi talenti. Ma l’esperimento di Bloomberg ha dimostrato che, anche se i candidati hanno esattamente la stessa esperienza, L’intelligenza artificiale di OpenAI considera le persone con nomi demograficamente diversi da quelli degli americani come meno adatte al lavoro.
L’intelligenza artificiale di OpenAI commette pregiudizi razziali nel classificare i curricula
Il giornale ha chiesto a GPT 3.5, il modello più diffuso, di valutare gli stessi CV fino a 1.000 volte. Tutti, ribadiamo, con la stessa esperienza, ma con nomi diversi. Bloomberg conclude che dopo aver ripetuto l’esperimento 1.000 volte, sono stati scoperti “chiari segni di discriminazione basata sul nome”..
Inoltre, che “i curricula vitae con nomi diversi da American [de personas negras] avevano meno probabilità di essere classificati come i migliori candidati per una posizione di analista finanziario rispetto ai curriculum con nomi associati ad altre razze ed etnie”.
Alla domanda [a la IA de OpenAI] di classificare questi CV 1.000 volte, il GPT 3.5, la versione più diffusa del modello, ha favorito i nomi di alcuni gruppi demografici più spesso di altri, in misura non superiore ai parametri di riferimento utilizzati per valutare la discriminazione occupazionale nei confronti dei gruppi protetti.
Bloomberg.
Un problema serio
Questi risultati non solo dimostrano che l’IA di OpenAI utilizza i nomi come fonte di pregiudizio che potrebbe influenzare il reclutamento se le aziende si affidano troppo al GPT. Il documento rivela inoltre che l’uso dell’IA generativa per il reclutamento e l’assunzione può comportare “un rischio significativo di discriminazione automatica su larga scala”.
Quando Bloomberg ha chiesto ai funzionari di OpenAI informazioni su questo pregiudizio, l’azienda ha risposto affermando che “le aziende che utilizzano la sua tecnologia spesso adottano misure per mitigare ulteriormente la distorsione, tra cui la regolazione delle risposte del software, la gestione dei messaggi di sistema e altro ancora”. Questo, tuttavia, non risolve il problema principale e molte aziende possono scegliere di affidarsi all’IA per selezionare i candidati senza adottare alcuna misura per evitare che discrimini le persone sulla base della razza.