AI Toolkit

Články · Měření a čísla

Viditelnost v AI kolísá mezi běhy a jedno měření to neukáže

Položte modelu tentýž dotaz pětkrát a dostanete pět různých odpovědí. Měření z jednoho běhu je proto náhodný vzorek, ne stav. Co o kolísání víme, co z toho plyne pro měření a jak si rozptyl změřit sami.

Zeptejte se ChatGPT na nejlepší e-shopy ve své kategorii. Pak se zeptejte znovu, stejnými slovy. Je slušná šance, že dostanete jiný seznam. Ne proto, že by se za tu minutu něco změnilo na webu, ale protože model skládá odpověď pokaždé znovu.

Pro měření viditelnosti to má jeden nepříjemný důsledek. Číslo z jednoho běhu není stav, je to jeden los. A skóre, které z jednoho losu uděláte, vypadá přesně stejně solidně jako skóre, za kterým je padesát běhů.

Proč se odpověď mění, i když se dotaz nemění

Jazykový model negeneruje odpověď z uložené tabulky. Skládá ji token po tokenu a v každém kroku vybírá z rozdělení pravděpodobností, takže dvě spuštění téhož dotazu mohou jít jinou cestou. K tomu se přidává několik dalších vrstev:

  • Vyhledávání na webu. Když model hledá, dostane pokaždé mírně jiný výsledek. Perplexity hledá téměř vždy, ChatGPT a Claude podle toho, jestli to uznají za nutné.
  • Verze modelu a nastavení. Odpověď z aplikace, z API a z vyhledávače nemusí vzniknout stejnou cestou.
  • Kontext uživatele. Historie konverzace, jazyk, někdy i region.

Ani jedna z těch vrstev není chyba, kterou by šlo odstranit. Je to vlastnost nástroje, se kterou se měří.

Co o tom říkají dostupná měření

Tady je potřeba rozlišit dvě různé věci, protože se často míchají dohromady.

Kolísání mezi běhy téhož dotazu. K tomu máme jediný údaj, a to od firmy, která na měření viditelnosti staví produkt. AirOps ve zprávě k roku 2026 uvádí, že viditelná mezi dvěma po sobě jdoucími odpověďmi zůstane jen asi třetina značek a napříč pěti běhy zhruba pětina. Vysvětlení dává stejné jako výš, tedy že model skládá odpověď pokaždé znovu. Úplnou metodiku, tedy velikost vzorku a sadu dotazů, zveřejněnou nemá, takže se to nedá ověřit ani zopakovat.

Neshoda mezi různými rozhraními. Tohle je doložené podstatně líp. Studie agentury Minuttia z října 2026 projela 24 067 dotazů napříč pěti rozhraními a zjistila, že u kategoriových dotazů se 51,6 % doporučených značek objevilo v odpovědi jen jednoho z nich. Napříč všemi pěti byla shoda zhruba u devíti procent značek.

Důležité je, co ta druhá studie neměří: každý dotaz pustila jednou, takže o kolísání mezi opakovanými běhy neříká nic. Je to měření toho, že se rozhraní neshodnou mezi sebou, ne toho, že se jedno rozhraní neshodne samo se sebou.

Shrnuto: že se odpovědi liší mezi rozhraními, je doložené na velkém vzorku s popsanou metodikou. Že se liší i mezi běhy téhož rozhraní, si ověříte sami za deset minut, a níž je návod jak. Spoléhat se u toho na cizí procenta nemusíte.

Co z toho plyne pro měření

Z kolísání plyne hlavně to, co je potřeba přestat dělat.

Jeden běh neměřte. Odpověď z jednoho spuštění je anekdota. Pokud podle ní někdo tvrdí, že „značka v AI není vidět“, tvrdí to na základě jednoho losu.

Nehoňte číslo na desetiny. Když se měření mezi běhy liší o desítky procent, je rozdíl mezi skóre 31 a 34 šum. Sledujte řád a směr v čase.

Dávejte k číslu rozptyl. Místo „viditelnost 40 %“ je poctivé „ve čtyřech z deseti běhů“. Je to totéž číslo, ale čtenář hned vidí, z čeho vzniklo.

Pozor na nástroje, které rozptyl neukazují. Když vám měření ukáže jedno skóre a neřekne, z kolika běhů vzniklo, nedá se posoudit, jestli jste se zlepšili, nebo jestli jste měli jiný den.

Jak si rozptyl změřit sami

Nepotřebujete k tomu předplatné. Potřebujete trpělivost a deset minut.

  1. Vyberte si jeden dotaz, na který chcete být vidět. Ne deset, jeden.
  2. Spusťte ho pětkrát až desetkrát, pokaždé v novém chatu, aby odpověď neovlivnila historie.
  3. Každou odpověď zkopírujte.
  4. Vložte je všechny najednou do analýzy odpovědí AI jako samostatné odpovědi ke stejnému dotazu.

Nástroj počítá viditelnost jako podíl odpovědí, ve kterých se značka objevila. Když do něj vložíte deset běhů téhož dotazu, vyjde z toho rovnou četnost: ve třech z deseti, v sedmi z deseti. To je to číslo, se kterým se dá pracovat, protože o něm víte, z čeho vzniklo. Stejně se chová i podíl hlasu vůči konkurenci.

Počítá to prohlížeč a vložené odpovědi nikam neodcházejí.

Co z toho naopak nevyplývá

Že měření nemá smysl. Má, jen se musí dělat jako měření, ne jako jedno zjištění.

Taky z toho nevyplývá, že se s kolísáním nedá nic dělat. Značka, kterou model zmíní v devíti bězích z deseti, je zjevně jinak ukotvená než ta, která se objeví jednou za deset. Právě proto má smysl měřit opakovaně: rozdíl mezi „jsme vidět“ a „občas se mihneme“ se v jednom běhu nepozná, ale v deseti ano.

A konečně: kolísání není důvod kupovat si dražší nástroj. Je to důvod chtít po jakémkoli nástroji, aby ukázal, kolikrát měřil.

Zdroje

  • AirOps: The 2026 State of AI Search — zdroj čísel o tom, kolik značek zůstane viditelných mezi po sobě jdoucími běhy. AirOps prodává nástroj na sledování viditelnosti v AI a úplnou metodiku zprávy nezveřejňuje, takže vzorek ani sadu dotazů nejde ověřit. Je to jediný údaj k opakovaným během, který jsme našli, a proto ho uvádíme, ne proto, že by byl spolehlivý.
  • Minuttia: AI Search Visibility Study (2026) — 24 067 dotazů napříč pěti rozhraními, publikováno 13. 10. 2026, data sbírala Convex Works. Metodika je popsaná včetně toho, že rozhraní byla testovaná různě, část přes aplikace a část přes API. Měří neshodu mezi rozhraními, ne kolísání mezi opakovanými běhy; každý dotaz byl spuštěn jednou.

Zdroj, který jsme v článku nakonec neuvedli: často citované měření BrightEdge o neshodě ChatGPT a Googlu. Nepodařilo se nám otevřít stránku, která ho referuje, takže jsme si nemohli ověřit ani čísla, ani metodiku.

Naposledy aktualizováno 2026-10-29

Související
Nezávazně

Pošlete web a napíšeme, jak na tom jste

Projdeme deset dotazů z vašeho oboru a odpovíme vám, kde se objevujete a kde ne. Bez prezentace a bez nabídky, kterou jste nechtěli. Když z toho nic nebude, taky to napíšeme.

Odesláním souhlasíte se zpracováním údajů pro vyřízení poptávky. Neukládáme vás do žádné databáze pro marketing a nikomu vás nepředáváme.