Under en längre tid har jag funderat över varför Google inte indexerade flera av mina inlägg på sandqvist.place, trots att de fanns i webbplatskartan, var länkade från startsidan och inte hade några uppenbara fel. Jag tänkte att det här kanske är nåt att berätta om för andra om man hamnar i samma situation så varför inte skriva ett litet inlägg om detta då.
Det visade sig vara betydligt mer komplicerat än jag först trodde.
Symptomen
I Google Search Console hade jag många sidor med statusen:
Upptäckt – inte indexerad för närvarande
Google skrev:
Google har hittat sidan men inte genomsökt den än.
Det märkliga var att sidorna:
- fanns i sitemap.xml
- var länkade från andra inlägg
- kunde nås utan problem
- inte hade noindex
- klarade Googles realtidstest
Trots detta ville Google inte indexera dem. gah.
Första upptäckten: Yoast vägrade spara inställningar
När jag började gräva upptäckte jag att Yoast SEO gav ett felmeddelande varje gång jag försökte spara vissa inställningar:
Profilen är inte giltig. Ange en giltig URL.
Problemet visade sig vara gamla sociala profiler som låg sparade sedan många år tillbaka. via WP-CLI hittade jag gamla synder som tex instagram_url som var felaktig och ”other_social_urls” som också va knasiga.
Det är inte giltiga URL:er enligt dagens Yoast-version.
Efter att dessa poster rensats bort gick det att spara inställningar igen. De rensades genom att gå från personlig sida till organisation och sedan hittades dessa gömda där, vilket inte va helt logiskt.
Andra upptäckten: Problemet satt inte där
Nåja, Yoast va nu fixat, men det hjälper ju inte att lösa problemet med att sidorna fortfarande inte indexerades? Google indexerar redan många av mina sidor, men ca 30% till borde faktiskt indexeras tyckte jag. Många av mina nyare inlägg blev liggande väldigt länge med statusen ”Upptäckt – inte indexerad för närvarande”.
Crawlbudget och skräp-URL:er
När jag exporterade data från Search Console såg jag något intressant.
Google spenderade tid på URL:er som:
/tag/namn/feed/
/category/namn/feed/
Samt en masa ?noamp=1 osv (sen jag laborerade med det förstås)
Detta fick mig att misstänka att Google lagt en stor del av sin/min crawlbudget på onödiga urler.
Så, ibland kan man inte bara installera ett plugin i wp utan kanske också pillra lite med det så att man optimerar det litet!
Crawloptimering i Yoast
Jag aktiverade därför Yoasts nya funktion:
SEO → Inställningar → Avancerat → Optimering av genomsökning
Där aktiverade jag bland annat:
- Ta bort kortlänkar
- Ta bort REST API-länkar
- Ta bort RSD/WLW-länkar
- Ta bort oEmbed-länkar
- Ta bort generator-taggen
- Ta bort pingbacks
- Ta bort RSS-flöden som jag inte använder
- Ta bort oregistrerade URL-parametrar
Syftet var att minska mängden skräp-URL:er som Google kunde upptäcka och istället förhoppningsvis crawla mina inlägg istället.
Eftersom jag tämligen nyligen ändrat detta så har jag inte sett resultatet på detta ännu, men om du hamnar i samma situation så rekommenderar jag:
- Kontrollera att inga gamla trasiga sociala profiler finns i Yoast.
- Se över crawloptimeringen i Yoast.
- Kontrollera att sidorna finns i sitemap.xml.
- Använd URL-inspektion i Search Console.
- Studera crawlstatistiken.
- Leta efter onödiga URL-varianter, feed-URL:er och parametrar.
Det viktigaste jag lärde mig var att:
Bara för att en sida inte är indexerad betyder det inte att något är fel.
I mitt fall kunde Google nå sidorna, läsa dem och indexera dem om den ville. Problemet verkade snarare handla om prioritering och crawlbudget än om tekniska fel.
Nu återstår den svåraste delen av SEO-arbetet:
Att sluta ändra saker och låta Google jobba i fred ett tag och hoppas att det här inlägget indexeras 🙂