Strano esperimento: usare ChatGPT per risolvere un test CAPTCHA

Con l'avvento dei CAPTCHA, questi si sono evoluti da fastidiosi ostacoli a complessi enigmi difficili da risolvere perfino per gli esseri umani. Cosa fa dunque una persona moderna quando ha difficoltà a risolvere qualcosa? Ovviamente ricorre a ChatGPT!

1. CAPTCHA tradizionale

Ho iniziato fornendo a ChatGPT un po' di contesto precedente. Le istruzioni dell'intelligenza artificiale sono vaghe e non volevo che smettesse di rispondere perché pensava che la stessi usando per scansionare siti web. Quindi ho impostato la conversazione utilizzando questo prompt:

Ti darò una serie di enigmi visivi e tu dovrai risolverli. Ti sembra una buona idea?

Poi ho iniziato con un CAPTCHA molto semplice e vecchio stile. Era un CAPTCHA falso che diceva letteralmente "Falso CAPTCHA". Dieci anni fa, captcha come questo erano la norma, ma sono ormai in gran parte scomparsi.

Ho inviato l'immagine a ChatGPT e ho ricevuto una risposta corretta e sicura. Lo risolse subito, il che potrebbe spiegare perché questo tipo di CAPTCHA non viene più utilizzato.

2. Il dilemma dei numeri

I CAPTCHA digitali sono i miei preferiti (come essere umano) perché sono i più semplici. Di solito sono solo numeri con uno strato grafico, come una linea, per confondere i bot. Sebbene abbia perso popolarità, lo vedo ancora sui siti web governativi. Ad esempio, potresti trovarlo quando prenoti un appuntamento o effettui un ordine online.

ChatGPT ha digitato il numero in modo rapido e preciso. Senza esitazione. Senza sforzo. ChatGPT è veloce e preciso nel gestire questi test, e lo sono anch'io. Resta però aperta la questione dell'efficacia di questi test alla luce del continuo sviluppo delle tecnologie di intelligenza artificiale.

3. Seleziona la bici

Adesso alziamo la posta in gioco. Questo tipo di CAPTCHA è il più comune e il più confuso. Di solito è costituito da una griglia di immagini 3×3 e ti chiede di selezionare tutti i quadrati che contengono un determinato oggetto, solitamente un idrante, una bicicletta o un camion.

Per semplificare il lavoro di ChatGPT, gli ho dato un suggerimento: numera le caselle da 1 a 9, dall'alto a sinistra al basso a destra, quindi digli quale selezionare.

Ho scelto un'immagine difficile: una manichetta antincendio, ma le istruzioni mi chiedevano di riconoscere le biciclette. È un buon test per vedere se ChatGPT cadrà nella trappola.

Non cadde nella trappola. Mi ha risposto con sicurezza che non c'erano biciclette, chiedendomi addirittura di cliccare su "salta". Ben fatto ChatGPT.

4. Sinistra o destra?

Questo test ha utilizzato lo stesso schema "seleziona tutto", ma con una nuova aggiunta: mi ha mostrato immagini di aerei e mi ha chiesto di scegliere quelli che andavano a sinistra. Il problema di questi test è che le immagini non sono reali, ma generate dall'intelligenza artificiale.

uno Segnali di immagini generate dall'intelligenza artificiale Alcuni di essi non rappresentano nulla di significativo. Ciò è in parte vero per le immagini degli aerei nel test CAPTCHA riportato di seguito. A guardarli attentamente sembrano aerei, ma tutti i dettagli sono sbagliati.

Tuttavia, proseguiamo: un robot risolve una sfida creata da un altro robot, con l'obiettivo di prevenire altri robot. Per avere un'idea, la risposta corretta sono i quadrati 1, 3, 4, 5 e 7. Poiché avevo già fornito a ChatGPT istruzioni su come gestire i CAPT per selezionare le caselle, ho semplicemente inviato l'immagine.

Questa volta ChatGPT ha avuto un intoppo. Identificò correttamente la maggior parte degli aerei che volavano a sinistra, ma identificò erroneamente i quadrati 2 e 8, tralasciando anche il quadrato 3.

Ho pensato brevemente se avrebbe potuto prendere in considerazione l'immagine campione e iniziare a contare da lì, ma ciò avrebbe prodotto dieci quadrati, mentre ChatGPT ne ha identificati solo nove.

5. Caccia al pinguino

Questa immagine è stata fornita per la verifica di sicurezza di Amazon. Erano visualizzati sei quadrati, solo uno dei quali conteneva un pinguino. Tuttavia, le altre immagini erano sorprendentemente simili per colore e composizione.

Onestamente, questo era più semplice del precedente, ma non forniva un esempio di come sarebbe stato un pinguino. Mi chiedevo se la mancanza di un riferimento potesse confondere ChatGPT.

Non è successo. ChatGPT ha identificato correttamente il pinguino nella casella in alto a destra e, con sicurezza, ha persino descritto il CAPTCHA come "facile" prima di chiedere una sfida più difficile. Bene, si può fare.

6. Fiori e unicorni

Un altro tipo comune di CAPTCHA consiste nel mostrare un'immagine distorta e chiedere di selezionare le caselle che "corrispondono al tema". In teoria, ciò significa scegliere immagini simili, sia per vicinanza, tipologia o categoria.

Questo CAPTCHA conteneva un'immagine distorta di un fiore rosa. I nove quadrati comprendevano un mix di oggetti non correlati (altoparlanti, unicorni e auto d'epoca) e due quadrati con fiori rosa, che erano le risposte corrette.

ChatGPT ha risposto rapidamente, ma la risposta non è stata del tutto corretta. Ha identificato correttamente l'immagine campione come un fiore e ha persino applicato una logica solida per risolvere il CAPTCHA. Tuttavia, mentre aveva identificato correttamente il fiore in alto a sinistra, non aveva notato quello in alto a destra e aveva erroneamente identificato come un fiore una vecchia automobile in alto al centro. Come possono le applicazioni di intelligenza artificiale Identificazione delle piante e dei loro tipi Ma non riesce a distinguere un fiore da un'auto?

Il fatto che abbia scelto due immagini dalla prima fila mi fa chiedere: ha davvero riconosciuto i fiori ma non è riuscito a riportarli correttamente? In entrambi i casi la risposta finale era sbagliata.

7. ilelefanti di carta

Di recente mi sono imbattuto in uno strano test CAPTCHA su Internet. Il formato era lo stesso: si abbinavano quadrati che sembravano un campione, ma il campione in sé era un elefante disegnato con delle foglie. I quadrati contenevano animali diversi, ognuno realizzato utilizzando... pennelli diversi.

Nemmeno io ero sicuro di quale fosse la risposta giusta. Poiché il campione era verde, anche le foglie corrispondenti avrebbero dovuto essere verdi. Applicando un po' di buona vecchia logica umana, opterei per i quadrati 2, 4, 6 e 8. Adesso è il turno di ChatGPT.

Sono rimasto scioccato. ChatGPT ha dato la risposta esatta. Non solo, ha anche preso il testo rosso "Riprova" e lo ha indicato con intelligenza.

Lascia che questo sedimenti nella tua mente. Se un'intelligenza artificiale (un robot) riesce a superare un CAPTCHA di questa complessità, cosa dice questo dei test CAPTCHA nel loro complesso? Non dovrebbe essere un test di Turing pratico per distinguere gli esseri umani dalle macchine? Se l'intelligenza artificiale riesce a farlo così facilmente... che senso ha?

8. circuito aperto

Dopo che ChatGPT ha dimostrato la sua efficacia nel superare i CAPTCHA per oggetti reali e ha superato facilmente quelli basati su lettere e numeri, l'ultimo test da affrontare è stato un CAPTCHA pieno di linee, parentesi, cerchi e lettere, in cui l'obiettivo era scegliere il cerchio vuoto.

Considerata la capacità di ChatGPT di generare grafici e analizzare immagini, questa avrebbe dovuto essere una sfida facile. Il forte contrasto tra le linee e lo sfondo ha reso semplice l'individuazione delle forme. Se gli esseri umani riescono a risolvere questo problema con relativa facilità, allora sicuramente può farlo anche ChatGPT.

Ciò che accadde dopo mi lasciò sbalordito. ChatGPT ha utilizzato strumenti non divulgati nei test precedenti: importazione di librerie Python, esecuzione di codice e rilevamento sistematico di forme e contorni nell'immagine per filtrare le lettere.

Ma qualcosa sembrava strano. ChatGPT cercava "un cerchio che non interseca nessuna linea". Ha frainteso il compito? Forse pensava che "circuito aperto" significasse un circuito ininterrotto piuttosto che un circuito con una vera e propria interruzione. Ho pensato di chiarire, ma d'altronde anche gli esseri umani non ricevono ulteriori istruzioni.

Poi ha eseguito un altro ciclo di codice per scoprire tutti i circuiti... e ne ha scoperto un numero molto grande. Alcuni di essi non erano presenti nell'immagine originale. Era questo? Allucinazione AI? Oppure c'erano forme posizionate deliberatamente con bassa trasparenza, impercettibili all'occhio umano, che hanno ingannato l'intelligenza artificiale?

Infine analizzò i cerchi e scelse una risposta. Era completamente sbagliato. In realtà, ha dato la risposta peggiore possibile. Nonostante il completamento abbia richiesto quasi un minuto intero (importazione di librerie ed esecuzione di più analisi delle immagini), questo è stato il suo più grande fallimento finora. Più sforzo, meno risultato.

Hai problemi con un test CAPTCHA che non funziona? Ecco alcune cose che puoi provare per aggirare il revisore umano:

Questo set di test CAPTCHA era composto da otto diverse sfide. ChatGPT ha risposto correttamente a cinque domande e ne ha sbagliate tre su otto, con un rispettabile tasso di successo del 62%. Vale la pena notare che quelli falliti sono stati tutti generati dall'intelligenza artificiale.

I CAPTCHA per l'aereo e il fiore utilizzavano immagini generate dall'intelligenza artificiale. Il puzzle del cerchio aperto è stato generato casualmente tramite codice. C'è uno schema in tutto questo: ChatGPT fallisce solo quando si cerca di risolvere enigmi generati dal suo tipo.

Ciò solleva una domanda interessante: i robot sono il nostro unico modo per individuare e scoraggiare altri robot?