Thema:
Re:Alle posts exportieren? flat
Autor: mat
Datum:07.03.19 08:25
Antwort auf:Re:Alle posts exportieren? von Gramatik

>Selbst wenn nicht, das kannste alles per script scrapen (Python oder was auch immer)... fragt sich nur ob du den Aufwand betreiben willst sowas zu erstellen.

Ich hab tatsächlich alle Nachrichten inkl. Betreff - aber halt ohne ihren Inhalt - vorliegen (zumindest bis zu einem bestimmten Datum vor ungefähr einem Jahr). Für einen aktuellen Datensatz müsste man das Programm nochmal ca. zwei Stunden scrapen lassen. Wollte da eigentlich mal Big Data im Sinne von "Spiegel Mining" (siehe Youtube oder lieber [https://media.ccc.de]) draufwerfen und gucken, was passiert.
Das scrapen aller Threads hat schon ungefähr acht Stunden gedauert, weil der Server nix mehr ausliefert, wenn man zu oft Anfragen stellt. Die Nachrichten-Inhalte auch noch zu scrapen würde aktuell noch einige Tage oder Wochen dauern.
Jedenfalls könnte man Kilians Frage mit den vorliegenden Daten schon beantworten. Ich hab nur keine Zeit dafür. Wenn jemand will: der Datensatz ist etwas über 600MB groß. PM me.


< antworten >