Vad ni skriver upp vid varje mätning, hur ofta ni mäter och hur ni skiljer en verklig förändring från att modellen svarar olika varje gång.
Ungefär en timme. Gör det innan ni rör sajten, annars vet ni inte vad ändringen gav.
AI-tjänsterna sparar ingen historik åt er. Det finns ingen logg att gå tillbaka till. Antingen skrev ni ner hur svaren såg ut innan ni började, eller så vet ni inte om något har förändrats.
Allt annat i planen kan ni börja med när som helst. Den första mätningen kan ni bara göra före allt annat. Därför kommer den först i kapitel 8.
En mätning säger var ni står. Två mätningar med samma frågor, samma modeller och samma antal körningar säger om ni rör er. Ändrar ni något i rutinen mellan mätningarna går de inte att jämföra.
Sex kolumner att fylla i
| Kolumn | Varför |
|---|---|
| Datum och modell | Modellerna uppdateras vid olika tidpunkter. Utan datum och modell vet ni inte vad ni jämför med. |
| Frågan, ordagrant | Ändrar ni ett ord i frågan är det en ny fråga, och den går inte att jämföra med den gamla. |
| Nämnd, ja eller nej | Grundmåttet. Tre körningar ger tre svar. Skriv upp alla tre. |
| Plats i uppräkningen | Först av tre nämnda bolag är bättre än sist av åtta, även om båda räknas som nämnd. |
| Sajter svaret bygger på | Visar om er sajt används som källa. Det är så ni upptäcker läget känd men inte nämnd från kapitel 4. |
| Konkurrenter i svaret | Vilka bolag som nämndes i stället för er. Utan den kolumnen vet ni inte om ni tappar eller om hela branschen rör sig. |
Sex kolumner räcker. Fler kolumner gör mätningen svårare att göra likadant nästa gång.
Var fjärde vecka. Då har det ni gjort hunnit ge utslag, och ni hinner göra något nytt före nästa mätning.
Modellerna svarar olika från gång till gång. Mäter ni varje vecka ser ni skillnader som bara är slump, och risken är att ni agerar på dem.
Ändringar på sajten har hunnit läsas in, och nya artiklar har hunnit indexeras. Under en period med många ändringar går det att mäta varannan vecka.
Ni ser att något har ändrats, men ni har gjort så många saker däremellan att ni inte vet vilken av dem som gav effekt.
Räkna med fördröjning. En artikel som publiceras i dag ska hittas, indexeras och sedan hinna påverka svaren. Det tar veckor för ändringar på sajten och månader för nya artiklar. Ingen förändring efter fjorton dagar betyder ingenting.
Tre körningar per fråga ger ett resultat som ”nämnd i 2 av 3 svar” i stället för ett ja eller nej. Så här läser ni det.
| Förra mätningen | Den här mätningen | Vad det betyder |
|---|---|---|
| Nämnd i 0 av 3 | Nämnd i 3 av 3 | Verklig förändring. Något ni gjort har gett effekt. |
| Nämnd i 0 av 3 | Nämnd i 2 av 3 | Troligen verklig. Vänta på nästa mätning innan ni drar slutsatser. |
| Nämnd i 1 av 3 | Nämnd i 2 av 3 | Troligen slump. Skriv upp det, gör inget. |
| Nämnd i 3 av 3 | Nämnd i 2 av 3 | Troligen slump. Ett tapp är verkligt först när det syns två mätningar i rad. |
Jämför alltid med konkurrenterna samma dag. Går ni från 0 till 2 av 3 samtidigt som alla tre konkurrenter gör detsamma har hela branschen blivit synligare, inte ni. Står ni still medan de går bakåt har ni flyttat er framåt. Er egen siffra säger lite. Skillnaden mot konkurrenterna säger mer.
Förr eller senare vill någon ha en enda siffra i stället för en tabell. För att räkna fram den måste ni bestämma fyra saker, och inget av svaren är självklart.
Vi svarar olika på de fyra frågorna beroende på bransch, och därför finns ingen färdig formel här. En viktning som passar ett industribolag med tre kunder i Sverige är fel för ett konsultbolag med tvåhundra. En felräknad siffra ser lika trovärdig ut som en rätt räknad.
Tills ni har bestämt de fyra sakerna: rapportera som det är. ”Nämnd i 2 av 3 svar, på 3 av 4 frågor, i båda modellerna.” Det är längre än ett tal, men det går att kontrollera.
Ingen av punkterna kräver en utvecklare. Alla kräver att samma person gör samma sak var fjärde vecka.
Innan ni ändrar robots.txt, innan ni skriver om en enda rubrik. Varje ändring ni gör före den första mätningen blir omöjlig att utvärdera.
Vilka frågor, vilka modeller, hur många körningar, utloggad eller inte. En halv sida. Utan den gör nästa person något annat, och då går mätningarna inte att jämföra.
Samma frågor, samma dag, samma modeller. Det dubblar arbetet. Utan det vet ni inte om en förändring gäller er eller hela branschen.
Två personer mäter olika, hur bra rutinen än är skriven. Byter ni person mellan mätningarna kan skillnaden bero på personen och inte på er synlighet.
En mätning utan åtgärd efteråt är en rapport ingen läser. Har ni inte tid att göra något mellan mätningarna, mät var åttonde vecka och lägg tiden på arbetet.
Så här gör vi när vi mäter åt kunder. Vi ställer tjugo frågor i fyra AI-tjänster och mäter tre konkurrenter samtidigt. Varje fråga ställs flera gånger, och vi räknar bara de bolag som återkommer. Vi rapporterar resultatet som det är, till exempel ”nämnd i två av tre svar på tolv av tjugo frågor”, inte som ett poängtal. Efter tio veckor mäter vi om på samma sätt. Det ledningen får är en rad: hur många frågor bolaget nämns på nu, jämfört med förra gången.
Kapitel 6 handlar om sajten: vad som måste vara på plats för att modellerna ska kunna läsa er. Kapitel 7 handlar om att bli omskriven. Kapitel 8 lägger allt i ordning.
Läs kapitel 6