Šeši iš keturiasdešimt penkių: kiek lietuviškų svetainių neįsileidžia AI botų

Prieš klausiant, ar dirbtinis intelektas mini verslą atsakyme, verta patikrinti paprastesnį dalyką: ar jis apskritai gali perskaityti puslapį. Tai dvi skirtingos plokštumos, ir jos gali nesutapti.

Pirma plokštuma yra robots.txt: ką svetainė deklaruoja šešiems agentams (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended). Antra yra tikras HTTP atsakymas, kai užklausa siunčiama su boto antrašte. Deklaracija ir elgsena skiriasi dažniau, nei atrodo.

Iš 45 pasiekiamų domenų šeši blokuoja bent vieną iš šešių tikrintų agentų. Dažniausiai uždaromas Google-Extended, kuris valdo turinio naudojimą Gemini modeliams.

Cloudflare turi jungiklį „AI Scrapers“, kuris blokuoja užklausas ugniasienės lygyje. Robots.txt tokiu atveju lieka visiškai švarus, tad patikra, skaitanti tik jį, parodys žalią būseną esant realiam blokui.

Todėl mūsų zondas eina į TĄ PATĮ adresą, kurį prieš tai sėkmingai perskaitėme įprasta naršyklės antrašte. Dvi užklausos skiriasi vienu lauku, tad tai kontroliuojamas eksperimentas.

Kontrolė abiem kryptimis: nytimes.com blokuoja visus šešis agentus, ir jo agentic dalis yra 3 iš 20. Mūsų pačių aivikta.com tuo pačiu matavimu turi 15 iš 20.

Blokuoti AI botus yra teisėtas sprendimas, ir kai kuriems leidėjams jis pagrįstas. Problema prasideda tada, kai sprendimas priimtas ne sąmoningai: jungiklis įjungtas kartu su kitais apsaugos nustatymais, o įmonė tuo pačiu metu laukia, kada ją pradės minėti pokalbių robotai.

Pirmas žingsnis yra pamatyti savo būklę. Mūsų nemokamas skeneris tikrina abi plokštumas ir pasako, kuris agentas kur sustoja.