Web Webcrawler (gezocht)

[LouGarou]

Bij deze zoek ik een gebruiksvriendelijke webcrawler, eentje die bvb RSS-feeds kan doorzoeken op keywords om mij de nodige URL's (geautomatiseerd) terug te geven.

Zoals bvb elke dag alle artikels uit een lijst van websites (die ik zelf kan invullen) op keyword 'corona' weergeven (en eventueel exporteren naar Excel).

 

[Tronux]

Ik heb https://github.com/symfony/panther al eens gebruikt en het werkt goed.

 

[LouGarou]

Ik heb https://github.com/symfony/panther al eens gebruikt en het werkt goed.

Toevallig een executable klaar liggen?

 

[sharp512]

beautifulsoup4 is ook gemakkelijk https://pypi.org/project/beautifulsoup4/

 

[Tronux]

Toevallig een executable klaar liggen?

Het is een library om te gebruiken in een PHP script.
Via Composer te downloaden en te gebruiken in je PHP script.

Zie https://github.com/symfony/panther#basic-usage

Je kan je PHP file runnen via CLI (via je PHP binary) eventueel met parameters, in je script kan je de parameters ophalen a.d.h.v. de global $argv.