meerdere WGET via de cli

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Daniel van Seggelen

Daniel van Seggelen

05/04/2023 14:16:09
Quote Anchor link
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
wget https://www.test.nl/supermarkt --no-check-certificate -np -O /home/test/domains/test.nl/cronjob/supermarkt.html
wget https://www.test.nl/kleding-schoenen-en-accesoires --no-check-certificate -np -O /home/test/domains/test.nl/cronjob/kleding-schoenen-en-accesoires.html


In de sh batch heb ik meerdere wget files.
Als ik ze zonder linebreak naast elkaar plaats, dan komt alles in één bestand.

Maar nu krijg ik wel aparte bestanden maar er zit een /r bij zoals
supermarkt.html/r en kleding-schoenen-en-accesoires.html/r

Hoe log ik dit op?
 
PHP hulp

PHP hulp

21/12/2024 13:34:22
 
Ivo P

Ivo P

05/04/2023 14:45:45
Quote Anchor link
heb je dit script in Windows gemaakt, en opgeslagen met DOS-enters?

DOS / Windows gebruikt \r\n als "enter"
Linux : \n
Max : \r
 
Daniel van Seggelen

Daniel van Seggelen

05/04/2023 15:06:06
Quote Anchor link
Nee. In notpad gemaakt en op centos 8 lonux als sh batch.sh laten draaien.
Ik wil dat hij de /r weghaald en gewoon als xxxx.html opslaat en niet als xxxxhtml/r

Toevoeging op 05/04/2023 15:44:32:

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
#!/bin/bash
while IFS=' ' read a b; do
  wget $a --no-check-certificate -np -O $b &
done < list.txt


hier zegt hij dat het ebstand niet bestaat, terwijl hij wel bestaat, ook met volledig pad.\
 
Ivo P

Ivo P

05/04/2023 16:15:01
Quote Anchor link
Bestaat er een notepad voor Linux?
 
- Ariën  -
Beheerder

- Ariën -

05/04/2023 16:26:23
Quote Anchor link
Pico, nano om een paar te noemen.
 
Ivo P

Ivo P

05/04/2023 17:55:39
Quote Anchor link
Ja, maar Daniel zegt dat hij het met Notepad gedaan heeft, nadat ik aangeeft (of dat probeerde ik) dat hij het bestand dan voorziet van DOS-enters. En die enters hebben een extra \r die Linux niet verwacht.

Dus Daniel zou het bestand in Linux moeten aanmaken, of aanmaken met een editor waarbij je kunt kiezen welk(e) teken(s) voor regeleindes gebruikt word(en)
 

05/04/2023 21:46:28
Quote Anchor link
Zwaardere editors: vim, vscode, vscodium, kate, cudatext, gedit, lapce, eclipse, atom, apache netbeans, bluefish, ...

In Windows gebruikte ik PsPad, daarmee kan je ook de regeleinden bepalen (DOS / UNIX / MAC)

Wel vreemd, je zou de wget-commando's in Linux opnieuw kunnen typen en opslaan. Je kunt eventueel de commando's achter elkaar schakelen als 1 lang commando, om enters te voorkomen:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
wget https://www.test.nl/supermarkt --no-check-certificate -np -O /home/test/domains/test.nl/cronjob/supermarkt.html && wget https://www.test.nl/kleding-schoenen-en-accesoires --no-check-certificate -np -O /home/test/domains/test.nl/cronjob/kleding-schoenen-en-accesoires.html

Maar dat zou niet de laatste \r verklaren.
 
Ivo P

Ivo P

05/04/2023 21:48:37
Quote Anchor link
je zou achter de bestandsnaam (achter .html) nog een spatie kunnen plaatsen.

En na de (laatste) regel geen "enter".
Maar ik zou het eerst proberen met de gebruikelijke \n als regeleinde.
 
Daniel van Seggelen

Daniel van Seggelen

09/04/2023 10:39:32
Quote Anchor link
bedankt, de oplossing voor mij wat het door in PHP te doen met een exec commano in een loop. werkt prima.
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.