Bot crawler maken om domein namen op te slaan?
Ik heb een website waar je websites kan reviewen, nu is het zo dat pas als iemand zoekt op onze website dat het domein wordt opgeslagen maar nu leek het ons mooi om een bot te maken die het web afspeurt en elk domein dat het tegenkomt opslaat in de database zodat als iemand zoekt op onze website er een 100% kans is dat de website gevonden wordt...
Is dit mogelijk en hoe moelijk is dit in php?
OF je doet zoiets als iemand een nog onbekende hostnaam invult:
https://css-tricks.com/snippets/php/check-if-website-is-available/
Wij willen het automatiseren, dus alle domeinen die bestaan invoeren in de database zodat als een gebruiker zoekt op de website die altijd gevonden zal worden.
Moelijk te maken?
En verder bestaat het internet uit vele miljoenen domeinen met vele extenties. Wou je dat allemaal indexeren?
Dit. Je gaat gigantische hoeveelheden bandbreedte verstoken, en het gaat ontzettend lang duren. Er komen sneller websites bij dan dat je kan bijhouden.
Verder moet je ook rekening met diverse dingen houden.
Niet iedereen wil zijn website ook indexeren bij jouw, wat als een domein niet bereikbaar is vanwege DNS-problemen, hoe voorkom je een kleine dos-attack door al je requests?
Ik durf te wedden dat de moeite niet opweegt met wat je wilt bereiken. Ik denk dat je beter mensen zelf de domein in moet laten vullen en met een autosuggest je gasten de juiste suggestie kan geven welke site ze bedoelen.
En wat @Ariën zegt, honoreert jouw crawler robots.txt en/of meta tags?
Wellicht kan ik het beperken door enkel .nl domeinen te crawlen en op te slaan?
En dat is logisch, want je hebt voor de niet geregistreerde domeinen toch geen data. Wat is de meerwaarde dan? Mensen gaan zich hooguit zitten ergeren dat je geen beoordeling hebt. En daarbij: waarom zou je die zoekterm ooit in een zoekmachine gooien, tenzij het een webwinkel betreft?