Licentievereiste
| Abonnement | Suite Team of hoger, Knowledge Professional of hoger |
| Toegang | Admin |
De crawler indexeert openbare pagina's waar je hem op richt, en is daarmee de route naar gefedereerd zoeken waarvoor je geen ontwikkelaars nodig hebt. Hij kan overweg met pagina's die JavaScript nodig hebben om te renderen en schakelt daarvoor over op een browsermodus, dus een moderne site is op zichzelf geen probleem.
Een crawler instellen
- Open in Knowledge admin Settings en daarna Search settings.
- Klik onder Crawlers op Manage, dan op Add crawler en dan op Continue.
- Geef op het tabblad Source and URLs een Connection name op en voer de URLs in om vanaf te starten.
- Stel de Syncing frequency in.
- Bepaal wat je doet met Sync only specified URLs, hieronder beschreven.
- Laat hem lopen en zoek daarna naar iets waarvan je weet dat het op de site staat.
De limieten om vooraf te kennen
| Crawlers per account | 50 |
| URL's per crawler | 500 |
| Diepte | Vier niveaus, of de hele site, wat zich het eerst voordoet |
| Syncfrequentie | Standaard wekelijks. Ook dagelijks, maandelijks, of nooit voor een eenmalige sync |
Een grote site kan dus meerdere crawlers nodig hebben die op verschillende delen zijn gericht, in plaats van één die op de hoofdmap staat.
Sync only specified URLs bepaalt de hele opzet
Laat je het uit staan, dan indexeert de crawler de pagina's die je opgaf en elke pagina waarnaar die linken, en zo belanden marketingpagina's, de vacaturepagina en oude campagnesites in het zoeken van je Help Center. Zet je het aan, dan neemt hij precies de adressen die je invoerde en verder niets.
Begin smal. Een crawler verbreden is eenvoudiger dan uitleggen waarom een vacature een supportvraag beantwoordt.
Verder afbakenen onder Advanced settings
Daar vind je Look for more URLs while syncing, plus Limit sync to specific patterns en Exclude specific patterns from syncing. Patronen zijn de praktische tussenweg tussen één pagina en een hele site, en het resultaat controleren telt zwaarder dan ze in één keer goed hebben.
De taal komt van de pagina, niet uit een instelling
Er valt niets te kiezen. De crawler leest eerst het lang-attribuut op de <html>-tag, dan de Content-Language-header, dan een <meta>-tag, en pas als geen daarvan er is, raadt hij de taal uit de tekst zelf. De crawler bewaart een record onder de basistaalcode en niet onder een regionale variant: een pagina met lang="en-gb" wordt geïndexeerd als en. Hij toetst die code aan een vaste lijst ondersteunde talen, niet aan de locales die jij toevallig aan hebt staan.
Past er niets bij een taal die je helpcenter ondersteunt, dan levert de crawl een fout Locale not detected op, en die komt in het foutrapport dat naar de eigenaar van de crawler gaat. Inhoud die in de verkeerde taal binnenkomt, los je dus op in de opmaak van de gecrawlde site en niet hier.
Hij ziet alleen openbare pagina's
Alles achter een inlog is voor hem onzichtbaar. Dat is tegelijk een beperking en een waarborg: hij kan niet per ongeluk iets vertrouwelijks indexeren. Is je firewall streng, sta dan de user agent Zendesk/External-Content toe, zodat de crawl niet wordt geblokkeerd.
Nog één uitsluiting is het vooraf nakijken waard: de crawler werkt niet met sites die met gzip-compressie worden geserveerd, en inhoud van die sites verschijnt helemaal niet.
Twee dingen op je site die hij negeert
Een changefreq-waarde in je sitemap heeft geen invloed op wanneer de crawler draait, en een crawl-delay in robots.txt wordt niet opgevolgd. Het schema is de instelling in Zendesk en verder niets, en dat is het waard om te zeggen tegen wie de site beheert voordat die het van zijn kant probeert te sturen.
Kan een ronde niet afkomen, bijvoorbeeld omdat de site plat ligt, dan blijft wat de vorige keer is geïndexeerd gewoon doorzoekbaar en probeert Zendesk het later opnieuw. Een mislukte crawl maakt je resultaten dus niet leeg.
Controleer hem na wijzigingen aan de site
Een crawler hangt aan de structuur van de site die hij leest, dus een herontwerp dat adressen wijzigt laat hem niets indexeren of de verkeerde pagina's. Mislukt een crawl helemaal, dan krijgt de eigenaar van de crawler een e-mail met tips, maar een crawl die slaagt op een gewijzigde site zeg je niets, en daarom is het verstandig een herontwerp te koppelen aan een zoekopdracht waarvan je weet dat die iets moet opleveren.
Opmerkingen
0 opmerkingen
Artikel is gesloten voor opmerkingen.