Provukao sam ovaj text kroz translator, nije loš text!
U današnje vrijeme često je teško utvrditi postoji li čovjek ili bot na mreži: AI može djelovati i komunicirati gotovo poput osobe i lako rješavati zakrpe koji bi trebali biti štit koji štiti od robota. To se događa jer postojeće captcha nisu otporne na AI.
Captcha otporna na AI trebala bi biti obrnuti Turingov test, koji ne može proći stroj, ali čovjek ga lako može proći.
Da li je moguće konstruirati captcha otpornu na AI koja bi se mogla primijeniti u praksi? Da li je moguće oduprijeti se dinamičnom razvoju AI povezanom s neuronskim mrežama i dubokim učenjem?
Zapravo su mogućnosti dubokog učenja precijenjene, a spektar potencijalno rješivih zadataka ograničen. Takvi AI-teški problemi kao što je razumijevanje značenja teksta, obrazloženje i korištenje logike zdravog razuma, su izvan dubinskog učenja. U posljednjih 60 godina razvoja AI napredak u tim zadacima blizu je nuli. Jedan od osnivača dubokog učenja, Yoshua Bengio, skreće našu pažnju na ovo:
Mislim da moramo razmotriti teške izazove AI i ne biti zadovoljni kratkoročnim, inkrementalnim napretkom. Ne kažem da želim zaboraviti duboko učenje. Naprotiv, želim da gradim na tome. Ali to trebamo biti u mogućnosti proširiti na stvari poput razmišljanja, učenja uzročnosti i istraživanja svijeta kako bismo naučili i stekli informacije.
Pokušajmo iskoristiti jaz između uskog AI i ljudskog zdravog razuma da modeliramo captcha otpornu na AI.
Potrebna svojstva captcha otpornog na AI
Identificirali smo karakteristike koje mora imati captcha otporna na AI. Sljedeći odjeljci detaljno ih opisuju.
- Pripadanje klasi AI-teških problema
Pretpostavljamo da captcha koja se naziva AI otpornom ne bi trebala potpasti pod klasu problema s „prepoznavanjem“ koje rješavaju, na primjer, neuronske mreže. Umjesto toga, zadatak rješavanja captcha trebao bi pasti u klasu AI-teških problema, poput razumijevanja značenja teksta, korištenja razumnog rasuđivanja i tako dalje.
Captcha otporna na AI trebala bi se baviti sposobnostima ljudi da razumiju i protumače informacije. To bi trebalo biti slično načinu na koji ljudi interpretiraju ono što kažu jedni drugima u procesu komunikacije i sposobni su da čitaju neizgovoreno “između redova”.
2. Stvorili ljudi
Ključna karakteristika captcha otpornog na AI je da se test ne bi trebao stvarati algoritamski. To jest, za razliku od dobro poznate Google reCaptcha i drugih captcha generiranih algoritmima, čovjek mora stvoriti AI otpornu kapthu. Tek tada captcha koja neće pripadati klasi zadataka „prepoznavanja“, zahtijevat će za svoje rješenje razumijevanje značenja koje čovjek podrazumijeva i, shodno tome, biti će zaista AI-hard.
Stoga je captcha otporna na AI ustvari obrnuti Turingov test otporan na AI koji nije captcha, strogo govoreći, jer riječ captcha znači „Potpuno automatizirano javno Turingovo testiranje da bi se reklo Računarima i ljudima.“ Ali kao termin captcha je široko shvaćen kao bilo koji test koji omogućava kazanje računara od ljudi, mi ćemo ga nastaviti upotrebljavati dalje u članku u ovom općem značenju.
3. Nepredvidivost i beskonačnost mogućeg niza kapitula
Raspon mogućih zadataka ne smije biti ograničen (slično kao u zadacima razumijevanja značenja teksta, gdje može postojati beskonačan niz tekstova i značenja).
Besplatni semantički sadržaj captcha pružit će beskonačni broj captcha otpornih na AI. Da bismo to shvatili, potrebno je osigurati najveću moguću neponovljivost i nepredvidivost značenja u porukama koje prenose AI otporne kapsule.
4. Nema većih sistemskih ranjivosti
Ranjivost u strukturi captcha otpornog na AI može omogućiti rješavanje problema algoritamski uz pomoć uskog AI, bez rješavanja AI-teškog zadatka. U ovom slučaju, ono što mislimo nije ranjivost jedne jedine captcha, već sistemska ranjivost, koja omogućava algoritamsko rješavanje stotina hiljada captcha s velikom vjerovatnoćom, iznad 80 posto.
Risk factors:
- Limited or predictable range of meanings of AI-resistant captchas. Since we assume that the semantic content of a captcha is provided by people, the human factor may cause a homogeneity problem with the generated captchas. It is important that people, creating AI-resistant captchas, do not adhere to one template, but use fantasy in the context of a unique situation.
- The availability of a large training data set that allows the building of a model to compare a given captcha with the training set. In this case, the training set should cover most of the possible semantic messages of AI-resistant captchas.
- The form of the captcha allows the solution to be found without an understanding of the semantics, for example, on the basis of statistical language models.
Desirable characteristics of an AI-resistant captcha
Apart from required properties, there are some other characteristics which will allow for the wider and smoother application of AI-resistant captchas. Let us call them “desirable” and consider them in the following sections.
- Marginal accuracy. The marginal accuracy of solving a single captcha using a narrow AI should be less than 80 percent. We want to have a captcha that can be solved with a probability higher than or equal to 80 percent (that is, for example, at least 16 out of 20 captchas) only by a human. It would be very desirable that the probability of an algorithmic solution of a captcha does not exceed 50 percent — the probability of a coin flip. However, in practice, anything under 80 percent can be considered a good result, because running a series of tests reduces the final probability of passing the test to an acceptable level. By acceptable level, we mean that the AI will not be able to pass a series of tests with a probability higher than 50 percent. For example, a successful solution of a minimum of 16 captchas out of 20 is 48 percent, which is an acceptable result for us.
- Internationality. A person speaking any language should be able to solve an AI-resistant captcha.
- Сlarity. An AI-resistant captcha is created by a human. People may have various world views and ethnic and social backgrounds. Despite all the differences, it is desirable for AI-resistant captchas to remain clear for any adult person irrespective of their background. Also, a captcha is not an IQ test, so the meaning of the messages embedded in an AI-resistant captcha should not be difficult for an average person to understand.
- Ease of creation. It should not be difficult for a human to create an AI-resistant captcha.
It would be great to come up with a universal AI-resistant captcha, which can be easily solved by a person with disabilities or equally easy by people living in various socio-cultural environments. Despite this captcha property being desirable, for now, we leave out this requirement.
Examples of AI-resistant captchas
Though the vast majority of existing captchas cannot be called AI-resistant, we suppose that following the required and desirable characteristics proposed in this article it is possible to create a test that will allow us to tell humans and robots apart. Below we will consider one of the existing tests and recommend how it could possibly be reinforced.
Winograd Schema Challenge
In terms of the chosen criteria, the Winograd Schema Challenge (WSC) seems to be the closest to the AI-stable captcha concept: As stated by the authors, the test requires common-sense reasoning.
Consider the following WSC example:
The trophy would not fit in the brown suitcase because it was too big. What was too big?
-
The trophy
-
The suitcase
The highest known probability of solving a WSC test using a narrow AI based on a language model trained on 40 GB of text is 70.7 percent. A human successfully solves a WSC test in 92 percent of cases.
However, due to its textual representation, the challenge does not meet the criterion of internationality and thus has drawbacks that do not allow its wide use as a reverse Turing test in practice.
Winograd Schema Challenge 2.0 (Flip Challenge)
How can we fix the Winograd Schema Challenge’s problems? Let’s take the typical task of the WSC and try to get rid of the textual representation:
The trophy would not fit in the brown suitcase because it was too big. What was too big?
The meaning of the phrase is that the trophy does not fit into the suitcase. How can we encode the meaning without using text? We all “read” comics without text in our childhood. So, we could use pictures.
We can search for pictures on the Internet. It is not that easy to find a picture in which there would be a trophy not fitting in a suitcase. Instead, you can find something like this:
We could additionally come up with the context: why we actually encountered this problem of fitting a trophy into a suitcase. Suppose someone won a cup at a sports competition, then returned to the hotel room, began to pack a suitcase to go home, and faced the problem of the sports cup not fitting in the suitcase. There may be other contexts, but let’s dwell on this. It is likely that four pictures are enough to encode our story.
This is what we’ve got. You can come up with a completely different scenario and find other or even more suitable pictures.
Pokušajte pokazati ovu sliku ljudima koji nisu pročitali ovaj članak i zamolite ih da “pročitaju” priču. Priče različitih ljudi možda se malo razlikuju, ali svi će oni moći vidjeti logiku.
Sada moramo iz ove priče stvoriti izazov s više izbora. Binarnost izazova sheme Winograd temelji se na dvosmislenosti zamjenice: ako se zamjenica pogrešno pripisuje, poruka će biti u suprotnosti sa zdravim razumom.
Imamo logično smislenu priču u slikama. Da bismo stvorili alternativu, mogli bismo iskriviti svoj scenarij, tako da slijed slika ne bi činio priču ili bi barem novi slijed slika bio manje smislen od originala. Umjetno stvaramo semantičku kontradikciju preuređivanjem prve dvije slike. Za čovjeka je očito koja je od tih sekvenci tačna.
Može biti mnogo inačica iskrivljavanja scenarija, ali važno je da pogrešan sadrži jasnu suprotnost zdravom razumu i da ga čovjek najvjerojatnije ne može odabrati kao smislenu poruku.
Sada pokušajte nekoga pitati koji slijed slika ima značajnu priču iza njega - lijevo ili desno. Naši eksperimenti pokazuju da više od 95 posto ljudi lako izbaci točan odgovor.
Zovemo ga Flip Challenge. Flip je akronim za “Filter za inteligentne ljude uživo”.
Okvir za ljude koji stvaraju zadatke Flip Challenge
Količina mogućih okretaja nije ograničena ako ih stvaraju ljudi, a ne algoritmi. Međutim, važno je osigurati pravilan okvir kako bi ljudi svaki put mogli stvarati nove i jedinstvene obloge.
Vidimo postavljanje pojedinačnih zadataka ljudima kao mogući način da se osigura ponovljivost okretaja. Na primjer, dvije nasumične riječi odabrane iz velikog rječnika mogu se pojaviti kao zadatak, a osoba bi trebala smisliti scenarij vezan za te riječi. Riječi su svojevrsni asocijativni nagovještaj za poticanje ljudske fantazije i ne nameću nikakva stroga ograničenja u pogledu opsega mogućih scenarija.
Ovo može izgledati korak unazad do predstavljanja teksta. Ali skloni smo da ga ne smatramo takvim. Odvojene riječi mogu se sada lako i automatski prevesti praktično bez ikakvih smetnji. Štaviše, ovo moguće izobličenje značenja riječi neće imati nikakvog efekta, jer se riječi koriste samo kao naputke za nadahnuće ljudi za kreativnost kada naprave okret. Riječi u tekstualnom obliku ne prikazuju se u pregibu.
Drugo važno pitanje je stvaranje dobre iskrivljene verzije scenarija. Ponekad to može biti i teže od stvaranja originalne priče. Jedini ispravan način da provjerite jeste li stvorili dobar preokret je da ga provjeri neko drugi, pa bi trebalo zatražiti od autora flip-a da testiraju letvice. Ako bilo koji od njihovih prijatelja, vidjevši slike, može nedvosmisleno odabrati smisleni scenarij u roku od 15 sekundi, to se može smatrati kvalitetnim okretom.
Preokrenite otpor na „uski“ AI
Daljnji testovi će pokazati je li ovaj novi izazov uistinu otporan na AI. Pretpostavljamo da će Flip Challenge pokazati rezultate ništa lošije od Winograd Schema Challenge-a.
Umjetna opća inteligencija Prijetnja AI otporan na AI
AI-težak problem potencijalno se može riješiti umjetnom općom inteligencijom (AGI). Čini se posve sigurnim pretpostaviti da AGI u ovom trenutku ne postoji.
Stvaranje punopravnog AGI uzrokovat će drastične promjene u svijetu - to svi znamo iz naučne fantastike. Kao rezultat toga, mnoge trenutne stvari i vrijednosti izgubit će na važnosti. U ovom trenutku, čini se da su rasprave o AGI više način da se privuče pažnja u hipetu povezanom s aktivnim razvojem dubokog učenja i njegovim uvođenjem u različita poslovna područja.
Kao zaključak možemo navesti da testovi koji se danas široko koriste za captchase ne dopuštaju reći robotima od ljudi. Za izvršavanje ovog zadatka, captcha bi trebao biti otporan na AI, što znači da pripada klasi AI-tvrdih problema, stvoren od strane ljudi, a ne algoritama, omogućava nepredvidivost i beskonačnost mogućeg niza captcha , i nema sistemske ranjivosti. Predloženi Flip Challenge ispunjava sve kriterije i stoga se prema našem mišljenju može smatrati kapijom otpornom na AI.
