Instagram crawler

Overzicht

Sponsored by: Vacatures door Monsterboard

Front-end developer

Functie Jij komt te werken in een team van 5 developers. het product is continue in beweging. Nieuwe en bestaande klanten vragen om vaak nieuwe features. Hierin ben jij zeer belangrijk om te zorgen dat de functionaliteiten goed opgezet worden op technisch vlak. Designs krijg je aangeleverd van een externe partij zodat jij je primair kan focussen op de techniek! Je hebt daarbij alle vrijheid om je eigen creativiteit toe te passen en mee te denken over de gebruikte technieken. Het gezamenlijke doel is een product dat functioneel zeer gebruiksvriendelijk is en het bedrijfsproces van de gebruikers versneld en kwalitatief

Bekijk vacature »

Junior Java Developer

Dit ga je doen Full stack web- en appdevelopment; Vertalen van de functionele wensen naar de technische specificaties; Sturing geven aan/klank board zijn voor de software teams; Trainen van de software teams; Sparren met klanten; Meedenken over architectuur. Hier ga je werken De organisatie is een bureau welke websites en mobiele applicaties bouwt voor verschillende toonaangevende organisaties. Hierbij richten zij zich voornamelijk op de sectoren leisure, overheid en zorg. De sfeer intern kenmerkt zich door informaliteit, gezelligheid en ambitie. Ze werken dag in dag uit samen om mooie producten op te leveren voor hun klanten. Op dit moment zijn er

Bekijk vacature »

Developer Full Stack

Functie omschrijving Developer gezocht! Ben jij een enthousiaste developer die graag wil bijdragen aan ontwikkelingen binnen een mooie organisatie? Solliciteer dan snel. Wij zijn op zoek naar een Full Stack Developer uit de regio Nijkerk die gaat bijdragen aan het door ontwikkelen, onderhouden en optimaliseren van een SaaS applicatie. Je moet beschikken over beheersing van zowel de Nederlandse als Engelse taal aangezien je samen met de klant gaat werken. Bedrijfsprofiel Je komt te werken binnen een echt familiebedrijf dat al sinds 1925 actief is binnen de FMCG branche. Het bedrijf heeft 40 medewerkers en er heerst een platte communicatiestructuur waarbij

Bekijk vacature »

Fullstack Developer

Functieomschrijving Heb je kort geleden jouw HBO diploma ICT development behaald? Of zit je nog aan het begin van je carrière en heb je affiniteit met C#.NET? Voor een erkende werkgever in de omgeving van Oosterhout zijn wij op zoek naar een fullstack developer. Als C#.NET developer werk je samen met een vooruitstrevend team aan het ontwikkelen van maatwerk software voor klanten. Je hebt affiniteit met SQL, maar nog belangrijker is dat je kennis en ervaring hebt met C#.NET. Jouw werkzaamheden zien er als volgt uit: Het ontwikkelen van onze high-availability en high-performance backend; Je begint de dag rond 8:30

Bekijk vacature »

Backend Developer PHP Laravel SaaS

Dit ga je doen Het ontwikkelen van nieuwe features die bijdragen aan de groei van de klanten van de organisatie; Je denkt mee over nieuwe innovaties, features en verbeteringen in de applicatiearchitectuur; Je draagt bij aan de continue ontwikkeling van jouw team doordat je elke dag streeft naar het verbeteren van jouw eigen prestaties; Je neemt actief deel aan Scrum meetings en de Backend Guild. Hier ga je werken Voor een snel groeiend bedrijf, in de regio Nieuw Vennep, zijn wij opzoek naar een ervaren Backend Developer. De organisatie is actief in de e-commercebranche en ontzorgt haar klanten middels een

Bekijk vacature »

.Net Front-end Ontwikkelaar

Wij zoeken een .Net Front-end Ontwikkelaar! Omschrijving Kun jij snel schakelen en ben je stressbestendig? Dan zoeken wij jou! Als .Net Front-end Ontwikkelaar help je mee aan de webapplicatie die over de hele wereld door allerlei bedrijven wordt gebruikt. Je werkt daarnaast mee aan nieuwe en verbeterde functionaliteiten en helpt met het oplossen van bugs. Over de opdrachtgever Je komt te werken in een ambitieus team dat zich blijft ontwikkelen. Dit is alle informatie die we nu kunnen delen over de werkplek. Als jij de .Net Front-end Ontwikkelaar bent voor deze job, vertellen we je snel nóg meer. Eisen Heb

Bekijk vacature »

Full stack .NET developer Microsoft 365

Wat ga je doen als Full stack .NET developer Microsoft 365? Je stelt je op als sparringpartner voor het team en PO over toekomstige functionaliteiten, architectuur en mogelijke nieuwe producten. Je bent mede-verantwoordelijk voor het vertalen en omzetten van een user story in een passend technisch design. Je implementeert functionaliteiten op basis van een technisch design en user story. Je bent mede-verantwoordelijk voor het beheer van Azure DevOps, waaronder het beheer van GIT, Build Pipelines, Release Pipelines en geautomatiseerde testen. Hier herken jij jezelf in Hbo werk- en denkniveau of hoger aangevuld met relevante certificeringen en/of cursussen; Minimaal 3 jaar

Bekijk vacature »

Oracle APEX developer

Wat je gaat doen: Als Oracle APEX ontwikkelaar bij DPA werk je samen met collega’s aan de meest interessante opdrachten. Je zult je ervaring met SQL, PL/SQL, JavaScript, HTML en CSS inzetten om wensen van opdrachtgevers te vertalen naar technische oplossingen. Je werk is heel afwisselend, omdat DPA zich niet beperkt tot een specifieke branche. Zo ben je de ene keer bezig binnen de zorgsector, de andere keer is dit bij de overheid. Wat we vragen: Klinkt goed? Voor deze functie breng je het volgende mee: Je hebt een hbo- of universitaire opleiding afgerond Je hebt 2 tot 5 jaar

Bekijk vacature »

.Net ontwikkelaar - Het schoolsysteem verbeteren!

Bedrijfsomschrijving Onze klant is een prettige en kleinschalige organisatie waar hard gewerkt wordt om het onderwijs te verbeteren. Daarom werken ze aan complexe om administratieve, financiële en facilitaire processen te versnellen en te verbeteren. Dit doen ze vanuit een platte organisatie voor klanten die door geheel Nederland verspreid zitten, hier horen vanzelfsprekend een aantal aansprekende HBO scholen en universiteiten toe. Functieomschrijving Je komt terecht in een organisatie waar op dit moment 2 scrumteams werken. Jij zal als .Net developer binnen 1 van deze scrumteams functioneren, iedereen binnen dit team heeft zijn/haar eigen expertise waardoor er met verschillende invalshoeken aan een

Bekijk vacature »

Front-end developer Supply Chain Angular, ReactJS,

Functie Het development team bestaat momenteel uit 9 fullstack (Python en .NET) developers. Binnen het team ga jij je toespitsen op het creëren van de optimale toegankelijkheid en user experience. Om dit voor elkaar te krijgen zul je ontwerpen, programmeren, testen en implementeren. Het hele proces dus! Maar ook bijvoorbeeld meedenken over strategie en design. Hierin krijg je veel vrijheid om de functie naar eigen inzicht in te vullen en te pionieren. Alle data die wordt gebruikt is zichtbaar in een webapplicatie, geschreven in Angular en React. Momenteel zijn ze bezig om de dashboards anders vorm te geven en de

Bekijk vacature »

Senior Front-End Developer

As a Senior Front-end Developer you maintain the balance between creativity and functionality for our webshop, and you coach your fellow developers. How do I become a Senior Front-End Developer at Coolblue? As a Front-end Developer you work on the user-friendliness of our webshop for millions of customers. You enjoy working with the UX Designer to pick up stories. You get energy from coming up with creative solutions and are happy to present this within the team. You are also proud of your work and welcome all feedback. Would you also like to become a Senior Front-End Developer at Coolblue?

Bekijk vacature »

C# .NET Backend Developer HBO Javascript

Samengevat: Deze werkgever is een professionele speler op gebied van IT en E-Commerce. Wil jij werken voor een e-commerce platform? Heb je ervaring met C#, Javascript en Scrum? Vaste baan: C# .NET Developer Backend E-Commerce 3.400 - 4.500 Backend Developer Wij ontwikkelen software voor E-Commerce toepassingen. Ons eigen Content Management systeem biedt een integrale oplossing met diverse ERP software. Onze systemen zijn vaak complex en omvangrijk en draaien bij grote organisaties. Maar ook kleine ondernemingen hebben steeds vaker behoefte aan een vlekkeloos werkende E-Commerce oplossing. Zij bieden een uitdagende werkomgeving met gezellige collega's. Je krijgt veel vrijheid en er is

Bekijk vacature »

Ambitieuze medior developer

Wat je gaat doen: Heb jij al een paar jaar ervaring als developer maar wil jij naar the next level? In ons NextLevelDev Programma helpen wij jou om de volgende stap te zetten: een mooi programma aan trainingen op het gebied van Java, hippe frameworks, Agile/Scrum, OCP-certificering en optioneel: andere JVM-talen als Kotlin en Scala; Cloud (AWS, Azure, GCP) Soc Of beter nog, wat wil jij doen? Binnen DPA GEOS zijn we dan ook op zoek naar enthousiaste Java developers om ons development team te versterken. Als Java developer werk je in Agile/Scrum teams bij onze klanten en daarbij kun

Bekijk vacature »

Grafisch vormgever

Standplaats: Maasland Aantal uren: 32 – 40 uur per week Opleidingsniveau: HBO werk- en denkniveau Ben jij een ambitieuze grafisch vormgever met een passie voor creativiteit en oog voor detail? Vind jij het daarnaast leuk om ook marketingactiviteiten op te pakken? Dan zijn wij op zoek naar jou! Bedrijfsinformatie Westacc Group BV is het zusterbedrijf van HABA en specialiseert zich in (maatwerk) oplossingen voor (elektro) techniek en verlichting in de kampeerbranche. Zij produceren en assembleren onderdelen voor caravans, campers en boten. Voor een groot aantal caravan- en campermerken leveren wij producten als zekeringkasten, invoerdozen, acculaders, schakelmateriaal en verlichting. De producten

Bekijk vacature »

Front-end Developer - React - Data Driven

Bedrijfsomschrijving Onze klant is een snelgroeiende organisatie die een data-driven inspectieapp op de markt hebben gebracht die nu al een aantal jaar door verschillende organisaties wereldwijd gebruikt wordt. Er zijn zo'n 6 mensen werkzaam bij dit bedrijf en ze zijn nu vooral op zoek naar een sterke front-end developer die wil gaan werken aan nieuwbouw applicaties en de uitbouw van de huidige applicaties. De reden dat ze zoeken is omdat er veel werk op komst is en ze hier de juiste capaciteit voor willen hebben. Er heerst hier een hele prettige sfeer waarin respect en eerlijke communicatie belangrijk is. Ook

Bekijk vacature »

Pagina: 1 2 volgende »

Milan Milan

Milan Milan

27/01/2015 19:12:08
Anchor link
Dag allemaal,

Het gaat om www.instazip.me.

De bedoeling van de website is dat het een opgegeven instagram-account crawled en van alle (gevonden) Instagram-foto's een zip bestand maakt, dat gedownload kan worden.

Zouden jullie deze website kunnen bekijken en feedback kunnen geven of eventuele verbeteringen opnoemen?

Met vriendelijke groet,

Milan
 
PHP hulp

PHP hulp

05/11/2024 12:02:18
 
- wes  -

- wes -

28/01/2015 11:41:23
Anchor link
nooit opties stacken. resolutie (wat overigens a resolution is) en aantal aparte velden onder elkaar van maken, sowieso meer ruimte ertussen.

Scrape je dit echt van instagram of gebruik je een API?
 
Milan Milan

Milan Milan

28/01/2015 12:15:56
Anchor link
Bedankt voor je reactie,

Van de Instagram API wordt geen gebruik gemaakt. De foto's worden gescraped (via een zelf ontwikkelde scraper) van Instagram zelf.

Ik wil de ruimte zoveel mogelijk beperken omdat ik op een later moment er beeldadvertenties op wil plaatsen.

Wat bedoel je met stacken?

Met vriendelijke groet,

Milan
 
Victor -

Victor -

28/01/2015 13:02:18
Anchor link
Hoe kan ik bijvoorbeeld de volgende 100 afbeeldingen downloaden?
Ik denk dat wes bedoelt dat je pas de kwaliteit kan selecteren als je het aantal fotos hebt geselecteerd.

Check ook even je spelling:
Quote:
Your file will be expire in two days.


Ook dit is een rare zin :
Quote:
You can either download the ZIP-file by clicking the button 'Download' bellow. or?????


Ook vind ik nergens een terug knop als ik de plaatjes eenmaal kan downloaden
 
Milan Milan

Milan Milan

28/01/2015 14:35:04
Anchor link
Dag Victor,

Zouden jullie allebei de opties graag onder elkaar zien?

Aan het Engels moet inderdaad nog gewerkt worden. Backlink naar de hoofdpagina is ook een goede tip. Misschien via het klikken van het logo?

Limiet is nu 100 afbeeldingen, maar dat wordt binnenkort naar Unlimited gezet. De reden dat het nog tot maximaal 100 afbeeldingen kan, is omdat ik nog een beperkt aantal schijfruimte heb. Binnenkort worden de zip-files opgeslagen op Amazon S3.


Bedankt voor de reacties.

Met vriendelijke groet,

Milan
 
- wes  -

- wes -

29/01/2015 09:04:23
Anchor link
Scrapen wordt behoorlijk snel gedetecteerd door sites als instagram, kan zijn dat je hier een harde blokkade op gaat krijgen ooit. Hou daar rekening mee. Instagram heeft gewoon een API voor dit soort dingen.
 
Milan Milan

Milan Milan

05/02/2015 10:43:29
Anchor link
Dag allemaal,

Zouden jullie nog één kritische blik kunnen geven op mijn website.

Alle aanpassingen die hierboven genoemd zijn, zijn verricht.

Elke mening is welkom.

Scrapen gebeurt trouwens niet via de website van Instagram.

Mvg,

Milan
Gewijzigd op 05/02/2015 10:44:02 door Milan Milan
 
Henk de Vriep

Henk de Vriep

05/02/2015 11:07:32
Anchor link
Als het kan zou ik snel overgaan op de API. Ik weet niet precies hoe je je crawler/scraper gebouwd hebt maar als er iets in de structuur van de site veranderd kan je hele script useless worden.

Daarnaast was eerder al vernoemd dat scrapen al gauw opgemerkt gaat worden door het patroon zeker door grotere bedrijven.
 
Milan Milan

Milan Milan

05/02/2015 11:37:06
Anchor link
Hoi Henk,

Het probleem van de Instagram API is het volgende:

You cannot use the Instagram API to crawl or store users' media without their express consent.

Nu je van elk instagram profiel de foto's kunt downloaden en opgeslagen wordt (nu op de Amazon S3 server) kunnen ze me de toegang ontzeggen tot de API, omdat ik dan niet volgens de regels werk.

Nu het scrapen via een andere website gebeurt die wel de API gebruikt, maar de foto's niet download. Kan Instagram zelf mijn IP niet zien, maar alleen dat van de website waar ik het vandaan haal.

Kortom volgens mij wordt het traceren moeilijk, maar kan het mis hebben.

Nu ik inderdaad wel afhankelijk ben van een één website probeer ik nog een script te maken voor.een andere website, dus mocht 1 website het niet meer doen dan heb ik nog een backup

Zijn er nog andere reacties m.b.t. de layout?

Mvg,

Milan
 
Victor -

Victor -

05/02/2015 21:43:46
Anchor link
Quote:
You cannot use the Instagram API to crawl or store users' media without their express consent.


Als dit er staat mag je dit niet legaal gebruiken, stoppen dus!
 
Milan Milan

Milan Milan

05/02/2015 21:53:38
Anchor link
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend.

Met vriendelijke groet,

Milan

Toevoeging op 05/02/2015 21:54:07:

Milan Milan op 05/02/2015 21:53:38:
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend. En zie daarbij dus geen aanleiding om te stoppen.

Met vriendelijke groet,

Milan
 
Victor -

Victor -

05/02/2015 23:27:43
Anchor link
Okee. Je moet even logisch met me meedenken. Er is een bedrijf als Instagram, die bied jou een api aan omdat zij niet willen dat mensen lukraak dingen van hun site gaan aftrekken. Het is dus de bedoeling dat je die api gebruikt. Nu staat er bij de api dat je niet zomaar alle foto's mag downloaden zonder toestemming van de rechtmatige eigenaar. Zit jij dan goed als je via een andere site foto's van Instagram gaat downloaden? Nee is in dit geval het juiste antwoord.

Uit de terms of use:

General Conditionslid 10:
Quote:
We prohibit crawling, scraping, caching or otherwise accessing any content on the Service via automated means, including but not limited to, user profiles and photos (except as may be the result of standard search engine protocols or technologies used by a search engine with Instagram's express consent).
Gewijzigd op 05/02/2015 23:29:34 door Victor -
 
Ozzie PHP

Ozzie PHP

06/02/2015 00:04:33
Anchor link
@Milan Milan

Zoals Victor hierboven dus zegt ... wat jij doet is illegaal. Ik zou óf de API gaan gebruiken, of zsm de site uit de lucht halen. Dit soort bedrijven kunnen zware middelen inzetten om het jou moeilijk te maken. Ik zou het risico niet nemen.
 
Milan Milan

Milan Milan

06/02/2015 08:15:58
Anchor link
Ja die regel is aan mijn aandacht ontglipt :)

Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 08:30:48
Anchor link
Sommatie met juridische consequenties.
 
Ozzie PHP

Ozzie PHP

06/02/2015 13:19:14
Anchor link
>> Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?

Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen. Echt, ik zou het risico niet nemen. Tegen zulke grote bedrijven ben jij juridisch gezien als particulier nooit opgewassen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:03:53
Anchor link
> Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen.

Vier nullen, om precies te zijn: $ 150.000.

Of maar $ 4.000, maar dan wel per foto.
 
Milan Milan

Milan Milan

06/02/2015 14:41:20
Anchor link
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan



Toevoeging op 06/02/2015 14:45:14:

Btw nog 1 dingetje...

Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 14:52:49
Anchor link
Milan Milan op 06/02/2015 14:41:20:
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan

Ik heb wel eens vaker gelezen dat grote bedrijven dergelijke auteursinbreukmakende scripts bij github kunnen laten verwijderen. Ik weet niet tot hoeverre Instagram (is FaceBook niet de eigenaar?) juridisch zijn recht hierop kan uitoefenen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:54:16
Anchor link
>> Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?

Dan is het nog steeds een probleem: een van de Instagram-gebruikers kan je als auteursrechthebbende een proces aandoen.

Er is een berucht Amerikaanse advocatenkantoor dat daarin is gespecialiseerd. Ik zal niet uitleggen hoe ze dat doen, om niemand op ideeën te brengen, maar jouw gebruik van auteursrechtelijk beschermd materiaal is aantrekkelijk voor partijen die op die manier hun brood verdienen.

Het is wel okay als je de app verbouwt: als je de Instagram-API gebruikt en Instagram-gebruikers daarmee kunt laten inloggen (waarbij zij jou toestemming verlenen), dan kan het waarschijnlijk wel door de beugel. Je geeft mensen dan immers toegang tot hun eigen foto's via een systeem dat Instagram daarvoor beschikbaar stelt.
Gewijzigd op 06/02/2015 15:03:21 door Ward van der Put
 
Milan Milan

Milan Milan

06/02/2015 15:14:48
Anchor link
Dit wordt een interessante kwestie jongens :)

Klopt dat Facebook de eigenaar is, maar de voorwaarden horen bij Instagram.

Is het volgende dan niet de oplossing?

Wanneer Instagram-gebruikers niet willen dat ze via mijn website gecrawld worden dat ze dan hun instagram-account geven met opgaaf van een geldige reden (zoals privacybezwaren) dat ik het account dan niet meer laat crawlen via mijn website?

Het gaat trouwens wel om accounts die publiekelijk toegankelijk zijn.

En Ward de laatste alinea. Wat je daar zegt bestaat dus al: instaport.me.

Maar dat is dus alleen voor je eigen account. Bij mij gaat het om iedereens account, maar nogmaals dan moet die nog wel publiekelijk toegankelijk zijn.
 

Pagina: 1 2 volgende »

 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.