Über DataShark, Web-Crawler und Web-Scraper Utilities

Dies ist der allgemeine Diskussionsbereich, wo es um technische Machbarkeiten, die Realisierung von Extraktionsabläufen oder allgemeine technische Themen in Bezug auf den DataShark.Designer geht.
Antworten
mscheitza
Site Admin
Beiträge: 17
Registriert: Fr Apr 21, 2017 3:17 pm

Über DataShark, Web-Crawler und Web-Scraper Utilities

Beitrag von mscheitza » Mo Aug 07, 2017 12:09 pm

Herzlich Willkommen im Bereich der technischen Umsetzung.

Hier erhalten Sie allgemeine Information über DataShark und Web-Crawler, sowie Web-Scraper im allgemeinen.

Definition Web-Crawler:
Ein Webcrawler ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt. Weitere Anwendungen sind das Sammeln von Web-Feeds, E-Mail-Adressen oder von anderen Informationen. (Quelle: https://de.wikipedia.org/wiki/Webcrawler)

Damit ist der Web-Crawler eine Art Oberbegriff, worunter sich sämtliche Utilties, die in irgendeiner Art und Weise Daten von Internetseiten,
ob textbasiert oder binär, abrufen, auswerten und/oder speichern unterordnen lassen.

Definition Website Scraping/Web Scraper:
Web Scraping bezeichnet die Extraktion oder Erfassung von Daten von Websites. Web-Scraping-Software kann direkt über das Hypertext Transfer Protocol (HTTP) oder über einen Webbrowser auf das World Wide Web zugreifen. (z.B. als Plugin) Während das Web-Scraping manuell von einem Software-Benutzer durchgeführt werden kann, bezieht sich der Begriff typischerweise auf automatisierte Prozesse, die mit einem Bot- oder Web-Crawler implementiert werden. Es ist eine Form des Kopierens, in der spezifische Daten gesammelt und aus dem Web kopiert werden, typischerweise in eine zentrale lokale Datenbank für spätere Abfrage oder Analyse. (Quelle: https://en.wikipedia.org/wiki/Web_scraping)

DataShark lässt sich als Software sowohl dem Web-Scraping, als auch dem Web-Crawling zuordnen, weil beide technischen Verfahren mit diesem Werkzeug umsetzbar sind: Es können Daten für die spätere Abfrage oder Analyse extrahiert aber auch kontinuierlich erfasst und zur direkten Auswertung in einer Datenbank erfasst werden.

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast