website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

Database developer - SQL

Functie omschrijving Kan jij goed overweg met complexe algoritmes en het schrijven van procedures in T-SQL? Heb jij al wat ervaring opgedaan met SQL en vind je het tijd voor de volgende stap? Lees dan snel verder! Dit software bedrijf, gespecialiseerd in de ontwikkeling van logistieke software, is op zoek naar een ervaren SQL database developer. Jouw werkzaamheden zullen onder andere bestaan uit: Je sluit aan bij meetings en brengt het gehele logistieke proces in kaart. Vervolgens ga je als lead developer aan de slag om de klus te klaren. Je stuurt het junior developer team en helpt, zo nodig,

Bekijk vacature »

Java Front-end Developer

Dit ga je doen Ontwikkelen van nieuwe functionaliteiten in Java met tools als Springboot, MS SQL Server (T-SQL) en JavaScript; Het onderhouden van de (web-)applicaties binnen een complexe omgeving; Werken aan de migratie van een monolithisch systeem naar een architectuur gebaseerd op Kubernetes; Code reviews met collega's en actieve kennisuitdelingsessies voeren; Het uitvoeren van unit- en systeemtests Experimenteren met nieuwe tools en technieken. Hier ga je werken Binnen deze organisatie kom je te werken op de afdeling die gegevens verzamelt vanuit het hele land. Denk hierbij aan vertrouwelijke persoonsgegevens. Het team verwerkt al deze data met als doel het waarborgen

Bekijk vacature »

Medior PHP developer

Functie Het team bestaat inmiddels uit zo’n 25 collega’s met specialisten op het gebied van development, data(analyse), marketing, infrastructuur en finance. Ze hebben een supermodern pand en bieden hiernaast veel vrijheid en verantwoordelijkheid. Ze doen er alles aan om jou op te gemak te stellen. Zo kun je je eigen werkplek inrichten naar persoonlijke wensen, maar gaan ze bijvoorbeeld ook jaarlijks met elkaar wintersporten en zijn er andere leuke uitjes. Als onderdeel van één van de scrumteams ga je aan de slag, samen ben je medeverantwoordelijk voor het doorontwikkelen van hun business applicatie waar het traffic team dagelijks mee werkt.

Bekijk vacature »

Applicatie ontwikkelaar

Functie omschrijving Zelfstandige applicatie ontwikkelaar gezocht voor familiair bedrijf in omgeving Rotterdam! Ben jij op zoek naar een nieuwe uitdaging en zoek jij een informele werkgever waar je zelfstandig kunt werken binnen een leuk IT team, lees dan snel verder want wie weet zijn wij op zoek naar jou! Binnen deze rol houdt jij je met het volgende bezig: Onderhouden en ontwikkelen van de IT systemen; Opzetten van Azure Cloud systemen, denk aan interfaces, hardware op de Cloud, webportalen of BI functies; Werken aan scripts binnen verschillende software applicaties, denk aan ERP en CAD; Ontwikkelen en implementeren van MS PowerApps

Bekijk vacature »

Back-end ontwikkelaar

Functie omschrijving Wil jij meebouwen aan diverse databasesystemen in een klein bedrijf met een platte organisatie? In een team van ruim 10 ontwikkelaars wordt er aan diverse ICT oplossingen gewerkt. Jouw taken hierbij zullen bestaan uit: Het onderhouden en door-ontwikkelen van bestaande databases. Denk hierbij aan schema verbeteringen en performance-tuning. Bij nieuwe ontwikkelingen ga jij ook bezig met het bouwen van het databaseschema. Omdat je in een klein team werkt zal je ook de C# routine verder uitbouwen en ontwikkelen. Ook kan je meedraaien in algemene refactory-, ontwikkel- of testwerkzaamheden. Je zal voornamelijk gebruik maken van de volgende technieken: .NET

Bekijk vacature »

Network Engineer (f/m/d) in Heidelberg

Network Engineer (f/m/d) The IT Services team operates and supports the IT infrastructure and services at EMBL headquarters in Heidelberg and at the laboratory’s sites in Barcelona and Rome. As part of IT Services, the Network team is responsible for managing and developing the network infrastructure in our data centres, on campus, and to our external network providers. As a leading scientific institution with highly data-intensive research, extensive data flows at and between the laboratory’s six sites and to the Internet, EMBL is connected to national and international scientific networks using state-of-the-art technologies from vendors including Cisco, Extreme Networks and

Bekijk vacature »

Junior Software Developer

Functie omschrijving Wij zijn op zoek naar een Junior Software Developer!? Sta jij aan het begin van jouw loopbaan of heb jij misschien al enige ervaring? Vind jij het daarnaast belangrijk om jezelf constant te kunnen ontwikkelen en uitdagen? Lees dan snel verder! Voor een vooraanstaand softwarehuis in Nieuwegein ben ik op zoek naar een Junior Software Developer. De eigenaar van het bedrijf is ervan bewust dat je als junior nog een hoop kan leren, waardoor je de eerste maanden veel begeleiding en diverse trainingen krijgt. Daarna ga je samen met je collega's aan zowel kleine als grote projecten werken.

Bekijk vacature »

3D BIM Add-on Developer

Als 3D BIM add- on ontwikkelaar bij KUBUS ontwikkel je add-ons (BCF Managers genaamd) voor de toonaangevende building information modeling (BIM) programma's Revit, Navisworks, Archicad, AutoCAD en Tekla Structures. BCF Managers maken gegevensoverdracht mogelijk tussen BIM-software en BIMcollab. Je werkt zowel aan de front- als aan de back-end. Als softwarebedrijf bevindt KUBUS zich in een unieke positie. We bouwen aan onze eigen producten die wereldwijd door tienduizenden gebruikers worden gebruikt. Ons bedrijf heeft precies de juiste grootte: groot genoeg om echt impact te maken in de markt, maar klein genoeg om als individuele ontwikkelaar invloed uit te kunnen oefenen en

Bekijk vacature »

Ervaren PHP Software Developer

Functieomschrijving Voor een toffe opdrachtgever in regio Breda zijn wij op zoek naar een medior PHP Developer met affiniteit met Laravel. Je komt te werken bij een uitdagende opdrachtgever met supergave klanten in een specifieke branche. Als PHP ontwikkelaar ben je samen met een vooruitstrevende team van 6 collega’s verantwoordelijk voor de ontwikkeling, beheer en het vernieuwen van informatiesystemen voor een specifieke branche. Je ondersteunt complexe uitdagingen van klanten. Vervolgens breng je hun wensen in kaart en vertaalt deze door naar maatwerk software. Affiniteit met Laravel is een pré. Om de klanten zo goed mogelijk te ondersteunen en snel in

Bekijk vacature »

Back end developer Onderwijssoftware

Functie Als back end developer kom jij terecht in een klein, maar hecht team bestaande uit 5 andere developers (waarvan 2 senioren, 2 medior en 1 junior). Met de gezamenlijke missie om “ieder kind te helpen met onze software” wordt er dagelijks gepassioneerd en hard gewerkt aan ons in-house ontwikkeld platform. Deze software is gebaseerd is op AI, machine Learning en wetenschappelijke inzichten. Dagelijks zul jij werken met onze high traffic webapplicatie. We hebben ruim 300.00 gebruikers en meer dan 2 miljard records waar je te maken mee krijgt! Verder zul jij je bezighouden met: – Het ontwikkelen van hoogwaardige

Bekijk vacature »

Senior PHP developer/ Software Architect

Functie Momenteel zijn ze op zoek naar een ervaren PHP developer die zichzelf graag bezighoudt met zaken als architectuur en de algehele verbetering van structuren en standaarden. Het is eigenlijk meer operationeel als uitvoerend omdat je bezig gaat met zaken als het verder uitrollen en verbeteren van testautomatisering, codereviews, tickets en de doorloop hiervan en architectuurkeuzes. Mocht je hiernaast ook wat DevOps kennis meenemen is dit mooi meegenomen! Vanwege het kleine team maar de wereldwijde impact die zij leveren is er veel focus op kwaliteit. In deze functie werk je aan één van hun belangrijkste applicaties. Hierin werk je nauw

Bekijk vacature »

Laravel developer

Zie jij mogelijkheden om onze tooling technisch te verbeteren en uit te bouwen? Over Jobmatix Jobmatix is een innovatieve en internationale speler op het gebied van jobmarketing. Onze jobmarketing automation tool helpt organisaties bij het aantrekken van nieuw talent door vacatures digitaal, geautomatiseerd en op een efficiënte manier te adverteren en onder de aandacht te brengen bij de doelgroep op 25+ jobboards. Volledig performance-based, waarbij organisaties betalen op basis van cost per click of cost per applicant. Maandelijks wordt onze jobmarketing automation tool al gebruikt door vele directe werkgevers, intermediairs en mediabureaus, waaronder Picnic, Rijkswaterstaat, AdverOnline, Schiphol, DPA, Teleperformance en

Bekijk vacature »

Lead Front-end developer

Functie Hun huidige applicatie worden ontwikkeld in o.a. React, Redux, TypeScript. Ze werken graag met de nieuwste technieken en tooling en zoeken ook developers die hier proactief op zoek naar gaan. Als senior/lead developer ben je een kartrekker in het team. Naast het meedenken over bijvoorbeeld de architectuur of toepassing van nieuwe technieken krijg je ook veel tijd om de meer junior (front-end) developers te begeleiden. Zo kun je bijvoorbeeld 1 dag in de week met 2 collega’s bezig zijn om samen met hen te kijken naar hun ontwikkeling, doelstellingen en uiteraard de gewenste begeleiding hierin. Hiernaast sta je als

Bekijk vacature »

Software Developer C# .NET

Functie omschrijving Software Developer C# .NET gezocht voor een dynamische organisatie! Ben jij net afgestudeerd of toe aan een volgende stap in je maatschappelijke carrière? Lees dan snel verder! Wij zijn op zoek naar een Software Developer die klaar is voor een nieuwe uitdaging en die een organisatie in de regio Houten wil versterken. Je werkt in deze functie aan verschillende projecten en gaat vaak op bezoek bij klanten. In deze functie kun je een grote mate van uitdaging, diversiteit en verantwoordelijkheid verwachten. Bedrijfsprofiel Waar kom je te werken? Je komt te werken bij een organisatie dat gespecialiseerd is in

Bekijk vacature »

Ventilatiesysteem Productontwikkelaar HBO WO Verwa

Samengevat: Zij bieden flexibele ventilatiematerialen, geluidsdempers, rookgasafvoer producten en industrieslangen. Ben jij een technisch productontwikkelaar? Heb jij ervaring met het ontwikkelen van nieuwe producten? Vaste baan: Technisch Productontwikkelaar HBO WO €3.000 - €4.000 Zij bieden een variëteit aan flexibele ventilatiematerialen, geluiddempers, rookgasafvoer producten, industrieslangen en ventilatieslangen voor de scheepsbouw. Met slimme en innovatieve materialen zorgen wij voor een gezonde en frisse leefomgeving. Deze werkgever is een organisatie die volop in ontwikkeling is met hardwerkende collega's. Dit geeft goede ontwikkelingsmogelijkheden. De branche van dit bedrijf is Techniek en Engineering. Functie: Voor de vacature als Technisch Productontwikkelaar Ede Gld HBO WO ga

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

24/11/2024 14:13:31
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.