Curl Proxy Checker - Cronjob Time-Out

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Top Low-Code Developer Gezocht!

Bedrijfsomschrijving Unieke Kansen, Uitstekende Arbeidsvoorwaarden & Inspirerend Team Wij zijn een toonaangevende, internationale organisatie die de toekomst van technologie vormgeeft door het creëren van innovatieve en baanbrekende oplossingen. Ons succes is gebaseerd op een hecht en gepassioneerd team van professionals die altijd streven naar het overtreffen van verwachtingen. Als jij deel wilt uitmaken van een dynamische, vooruitstrevende en inspirerende werkomgeving, dan is dit de perfecte kans voor jou! Functieomschrijving Als Low-Code Developer ben je een cruciaal onderdeel van ons team. Je werkt samen met collega's uit verschillende disciplines om geavanceerde applicaties te ontwikkelen en te optimaliseren met behulp van Low-code

Bekijk vacature »

Patrick B

Patrick B

16/04/2014 16:19:28
Quote Anchor link
Provider problemen ( Antagonist ondersteunt geen curl scripts die langer duren dan 8 minuten )
Gewijzigd op 16/04/2014 20:23:28 door Patrick B
 
PHP hulp

PHP hulp

22/12/2024 02:23:14
 
Michael -

Michael -

16/04/2014 16:23:47
Quote Anchor link
Met timeout op 10 i.p.v. 3 had je toen nog enig verschil in de uiteindelijke stop/aantal proxy's ? Of maakt dat geen verschil.
 
Patrick B

Patrick B

16/04/2014 16:49:19
Quote Anchor link
Duurde langer dacht ik maar met het zelfde resultaat ( 150-200 scans )
Ik zal nu nog een scan laten lopen op 10s time out
Gewijzigd op 16/04/2014 16:53:07 door Patrick B
 
- Ariën -
Beheerder

- Ariën -

16/04/2014 16:53:36
Quote Anchor link
Hoe voer je de cronjob uit? Via wget of via een directe aanroep van het script op je server via php?
 
- Pepijn -

- Pepijn -

16/04/2014 16:55:43
Quote Anchor link
Vreemd, en heb je met iets anders al geprobeerd om het te checken? Als je dan op hetzelfde uitkomt..



Toevoeging op 16/04/2014 16:57:22:

Offtopic, cool proxy scraper?
 
Patrick B

Patrick B

16/04/2014 17:01:22
Quote Anchor link
- Aar - op 16/04/2014 16:53:36:
Hoe voer je de cronjob uit? Via wget of via een directe aanroep van het script op je server via php?

directe aanvraag op het script, via directadmin.

cd /home/gebruiker/domains/domein/public_html/scanner; /usr/local/bin/php -q index.php
Gewijzigd op 16/04/2014 17:01:48 door Patrick B
 
TJVB tvb

TJVB tvb

16/04/2014 18:01:29
Quote Anchor link
Wat is de reden dat je -q gebruikt?
En wat krijg je te zien als je het script zelf uitvoert (dus niet via cron)
 
Patrick B

Patrick B

16/04/2014 18:29:10
Quote Anchor link
TJVB tvb op 16/04/2014 18:01:29:
Wat is de reden dat je -q gebruikt?
En wat krijg je te zien als je het script zelf uitvoert (dus niet via cron)

Heb alle cronjob commands al geprobeert, ook zonder quiet mode.
Ik las op forums dat -q word aangeraden voor lange scripts.
Maar ook zonder -q het zelfde resultaat

Dit zie je in de browser, werkt prima, maar stopt dan ook na 5-10 minuten.

Afbeelding
Gewijzigd op 16/04/2014 18:35:07 door Patrick B
 
Kumkwat Trender

Kumkwat Trender

16/04/2014 18:36:17
Quote Anchor link
doe eens na set time limit:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
<?php
 ini_get('max_execution_time');
?>


Toevoeging op 16/04/2014 18:39:40:

Daarnaast kan het aan de host liggen. Connectie open voor 10 min is wel lang..
 
Patrick B

Patrick B

16/04/2014 18:57:52
Quote Anchor link
18:45 gestart
18:56 gestopt

131 proxies in scanned.txt

Hij heeft dus rond de 1500 proxies gescanned van de 8.000 :(
 
Ivo P

Ivo P

16/04/2014 19:07:57
Quote Anchor link
Als je php via cli gebruikt, is er geen time limit.

Ik heb zo verschillende scripts draaien die 24/7 door gaan om apparatuur aan te sturen.

While(1==1) {
// doe iets
}
 
John D

John D

16/04/2014 19:28:36
Quote Anchor link
check je de errorfiles van apache en de logging van de crontab en de linux logging? Bij scripts als deze vraag ik mij altijd af waarom met php cli? Er zijn zoveel meer krachtiger en sneller methoden om dit te regelen. Het simpelste met linux/unix shell scripting.
Gewijzigd op 16/04/2014 19:29:01 door John D
 
Patrick B

Patrick B

16/04/2014 20:22:28
Quote Anchor link
Antagonist.nl heeft dus een time-out ingesteld op curl scripts ( langer dan 8 min ).
Willen ze niet wijzigen.. opzoek naar een andere provider dus, iemand tips ?
Gewijzigd op 16/04/2014 20:24:08 door Patrick B
 
- Pepijn -

- Pepijn -

16/04/2014 20:26:25
Quote Anchor link
@Joey, ik heb een grote ruimte, en ik kan uw script hosten.
 
Ivo P

Ivo P

16/04/2014 20:50:12
Quote Anchor link
kun je niet om de X connecties curl opnieuw starten? Zodat je onder die 8 minuten blijft.
 
- Pepijn -

- Pepijn -

16/04/2014 21:01:58
Quote Anchor link
Of via een python of perl scriptje een checker maken.
 
Patrick B

Patrick B

16/04/2014 21:42:50
Quote Anchor link
Bedankt voor de tips, jammer dat antagonist dit niet meld op hun website.

Ik heb mijn script aangepast en ondersteunt nu multithreading, 8k in 9 minuten.

Pepijn kan je mij een PM sturen met wat informatie ?
 
- Pepijn -

- Pepijn -

16/04/2014 21:46:14
Quote Anchor link
Of je stuurt een mailtje naar antagonist, dat je de timeout hoger wilt. Zullen ze vast wel toestaan. Desnoods bypass je het.
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.