cooler Artikel. Genauso geht das. Nur meistens das Problem, dass es keine offizielle Schnittstelle gibt oder es zum Beispiel die Baumärkte nicht wollen. Also merkt man auch ganz schnell, dass man zum Beispiel mit irgendeinen GitHub Action einfach keine Daten zurückbekommt und wahrscheinlich die IP geblacklistet ist.

Ich habe die Lösung für Österreich noch umgesetzt und auch hier gibt es natürlich einige Probleme. Es sieht nicht so aus, dass es einfach mal ganz schnell heruntergecodet ist. Es braucht neben der Entwicklung natürlich auch ständige Wartung, Serverkosten etc.

das Thema „Proxies“ ist beim Scraping auch sehr relevant. Für diejenigen, die sich ernsthaft damit beschäftigen wollen. Insbesondere die Instandhaltung ist nicht zu unterschätzen – Websites und APIs ändern sich ständig. Das Problem begleitet uns dauernd.

Mein Hintergrund: Ich entwickle mit bestell.bar einen kostenlosen Service, der über Verfügbarkeiten von sämtlichen Produkten, die Lieferschwierigkeiten ausgesetzt sind, benachrichtigt. Ich beschäftige mich mit dem Thema seit der PS5 Knappheit 2020, wo wir bereits hunderttausende User mit Konsolen versorgt haben.

Kalte Grüße aus einer Portasplit-gekühlten Wohnung
Fabian

Versuch mal bitte:

sudo apt-get update && sudo apt-get install linux-image-generic