Licentievereiste
| Abonnement | Suite Team of hoger, Knowledge Professional of hoger |
| Toegang | Admin |
De crawl is voltooid en er verscheen niets in het zoeken. Vier gedocumenteerde oorzaken dekken vrijwel alles, en het is goed om vooraf te zeggen dat JavaScript daar niet bij hoort: de crawler schakelt over op een browsermodus voor pagina's die gerenderd moeten worden.
Waarom heeft de crawler niets gevonden?
- De crawl voltooit maar indexeert nul pagina's.
- Er worden veel minder pagina's geïndexeerd dan de site heeft.
- Inhoud die je in een browser ziet, verschijnt niet in het zoeken van je Help Center.
Begin bij de e-mail
Mislukt een crawl, dan ontvangt de eigenaar van de crawler een e-mail met tips. Lees die eerst, want een crawl die succes meldt en een crawl die stil is mislukt vragen om een ander onderzoek.
Een: de afbakening sluit alles uit
De crawl meldt hier succes, omdat de crawler precies deed wat hem was opgedragen.
Kijk eerst naar Sync only specified URLs. Staat dat aan, dan neemt de crawler de opgegeven adressen en verder niets, dus een lijst met landingspagina's levert alleen die pagina's op. Controleer daarna Limit sync to specific patterns en Exclude specific patterns from syncing onder Advanced settings. Open de site, kopieer een echt adres, en houd dat naast je patronen in plaats van ze op aannemelijkheid te lezen.
Twee: de crawler kan de pagina's niet bereiken
Alles achter een inlog is voor hem onzichtbaar, en zijn de pagina's niet openbaar, dan is crawlen sowieso niet het juiste middel.
Zijn de pagina's wel openbaar maar staat er een firewall voor, sta dan de user agent Zendesk/External-Content toe. Dat is het concrete verzoek, en dat gaat sneller dan het verschijnsel beschrijven aan degene die de site beheert.
Drie: de site wordt met gzip-compressie geserveerd
De crawler werkt niet met sites die gzip-compressie gebruiken, en inhoud van die sites verschijnt niet in de zoekresultaten. Dit levert een keurige, voltooide, lege crawl op, dus het is het waard om dit vroeg uit te sluiten, ook al lijkt het niets met je instellingen te maken te hebben.
Vier: de inhoud ligt buiten bereik
Een crawler gaat vier niveaus diep, of de hele site als dat zich eerder voordoet, en neemt tot 500 URL's mee. Documentatie die vijf klikken van je startadres ligt, ontbreekt niet, maar ligt buiten bereik.
De oplossing is een tweede crawler die dieper begint, niet een bredere op de hoofdmap. Je kunt er 50 per account hebben.
Nog steeds niets
Noteer welke van de vier je hebt uitgesloten en hoe, en neem daarna contact op met pluscloud support met het siteadres, je URL-patronen en de crawl-e-mail. Daarmee is het te reproduceren zonder heen en weer.
Opmerkingen
0 opmerkingen
Artikel is gesloten voor opmerkingen.