Bittorrent

Professioneller Amoklauf

Hunter S. Thompson, der geniale Gonzo-Erfinder, soll einmal sein Vorgehen als "professionellen Amoklauf" bezeichnet haben. Ich hatte damals das Gefühl, einen solchen vor mit zu haben, als ich versuchte, einen Überblick über das gesammelte Material zu bekommen, was sich so auf Stefans Festplatten angesammelt hatte und nun tröpfchenweise durch meine kleine DSL-Leitung herüber kam. 
5500 Videodateien, 1500 Audiofiles, und die einzige Möglichkeit, ein File vom anderen zu unterscheiden, war der Dateiname: DLD_013-005_02.avi, scene'20031014 18.47.44, oder DRUG2LAN_halle.wav. Keine Inhaltsliste, keine Auflistung verwendeter Dateien, keine Möglichkeit, die HD-Aufnahmen zu verstehen, weil der Set-Ton nicht in der Videodatei, sondern getrennt auf Audiobändern aufgezeichnet war, und keinerlei Zuordnung zwischen beiden bestand. Ein Drehbuch (bzw. die Idee eines Drehbuchs), woraus die Hälfte weggelassen und eine Hälfte hinzugedichtet worden war, was aber nie jemand dokumentiert hatte...
Wie Stefan und seine Kumpels es überhaupt geschafft hatten, daraus einen Film mit Anfang und Ende zu machen, das war wahre Gonzo-Kunst!
Was für mich noch erschwerend hinzu kam: Ich wusste monatelang nicht, was ich überhaupt bekommen würde. Zuerst war es nur ein von Stefan geschnittener Filmversuch - daraus hätte man höchstens eine verwirrende Videoinstallation schneiden können, aber keine Filmversion mit anderem Timing. 
Ich wollte aber unbedingt, wenn ich mich schon an eine Umarbeitung setzte, viele Szenen im Schnitt anders gestalten, um den Film für mich stimmiger zu bekommen.

Ein paar Monate vorher hatte ich an Stefan geschrieben: "Ich denke, außer euch weiß keiner der bisherigen zuschauer, worum es eigentlich genau geht. Und das liegt hauptsächlich daran, dass der erzählfluss an entscheidenden stellen zu sehr unterbrochen wird ... man muss den Zuschauer mehr an die Hand nehmen, Dinge, die für Euch klar sind, idiotensicher machen ... es muss nichts nachgedreht, wohl aber ein paar Sachen umgestellt werden."
Das wollte ich jetzt tun, Szenen umstellen, Anschlüsse anders setzen, das Timing anders gestalten, und danach den Sound komplett neu formen. 
Was für mich nie in Frage kam: Einen komplett neuen Film machen, der etwas anderes erzählt. 

Ich hatte mich zu dem Zeitpunkt schon 2 Jahre mit dem Stoff beschäftigt und wusste immer noch nicht so richtig, wovon der Film eigentlich handelte. Natürlich hatte ich beim Komponieren der Filmmusik, die zu dem Zeitpunkt eigentlich fertig war, immer wieder versucht, gefühlsmäßig die Stimmung einzelner Szenen aufzunehmen und dann in die Musik zu legen, von Verstehen konnte aber keine Rede sein.
Ich wollte aber dahinter kommen, wollte tief graben, weil ich da eben auch viel vermutete, hinter ganz vielen Andeutungen, rätselhaften Sprüchen, eigenartigen Filmfiguren... Und so wurde der Schnitt auch zu einer Art Selbsterfahrung, einem Forschen und Entdecken, einem Aha-Erlebnis.
Zwei Dinge brauchte es, um weiter zu kommen: Unendlich viel Durchhaltevermögen - und Stefan Kluge.

Ohne tage-und wochenlanges Suchen in über 100 Stunden nichtkatalogisiertem Drehmaterial hätte ich nichts zum Schneiden gehabt. Allein durch Herumschnippeln an einer von Stefan erhaltenen Filmversion hätte ich viele Verbesserungsideen nicht umsetzen können. Es sollte aber eine enorme Frustrationstoleranz erfordern, immer wieder Videodateien anzuklicken, sekundenlang zu warten, bis sie geöffnet sind, sie anzuschauen... und zu verwerfen. Und weiter zu wetten: In welcher Datei könnte denn jetzt beispielsweise eine bestimmte Einstellung des ominösen roten Cadillacs stecken? Eher weiter oben oder weiter unten in den 1700 HD-Dateien?
Gerade am Anfang war das definitiv schlimmer als bei Sisyphos, bei dem rollte wenigstens noch ein Stein. Das einzige, was sich bei mir bewegte, war der Schwindel im Kopf. 
 Doch gerade, als ich nach tagelangem Durcheinander und völliger Verwirrtheit aufgeben wollte, bekam ich dann eben rechtzeitig einen knappen Tip von Stefan: DLD_020-003a_02.avi
Und ich erlebte erst das Gefühl der Überraschung "Ja, genau, wirklich, das ist es" und dann der Bewunderung "Wie kann man so ein Material so traumwandlerisch überblicken?" So ein Gespür im totalen Chaos war wirklich professioneller Amoklauf.

Das Gefühl von Verzweiflung, Ohnmacht und dann urplötzlicher Erleuchtung sollte ich noch öfters erleben, sogar noch jetzt, beim nachträglichen und endgültigen Ordnen des Rohmaterials, gibt es noch solche Momente. Ich glaube, man kann sich diesem Material nur auf 2 Arten nähern: Entweder mit völliger Selbstverachtung oder mit traumwandlerischer Unbekümmertheit. Mir blieb leider nur ersteres, da ich alles bin, nur nicht unbekümmert. Vielleicht, und damit wären wir wieder beim Film, fehlten mir für die sofortige Erleuchtung aber auch die  psychoaktiven Substanzen, die Stefan und seine Kumpels in Südamerika ja  gefunden hatten. 
Und weiter - jetzt wird es spekulativ - vielleicht sind ja auch Stefans Schwierigkeiten, alles fertig zu bekommen, auf ein Versiegen der Drogen-Quelle zurückzuführen?

Bei mir ging es jedenfalls nach katastrophalem Beginn schrittweise immer besser voran. Irgendwann sah ich Licht. Durch mein Nachfragen und immer wieder Erklären durch Stefan verstand (oder zumindest ahnte) ich nach und nach, was einzelne Szenen im Film an Funktion und Sinn hatten und entdeckte auch Wege, diese Sicht durch Kürzungen, Umstellungen und Ergänzungen etwas deutlicher zu machen. Im Nachhinein würde ich sagen, ich hätte mehr umstellen/ergänzen müssen, um meine jetziges Verständnis von Stefans Film, um wirklich alle Ideen klar zu transportieren. Aber: Das hätte ich nicht überblickt, und dann wäre ich nicht fertig geworden. 
Erst jetzt, mit 4 Jahren Abstand und mehr als 100-maligem Anschauen des Films, sehe ich so klar, dass es vom Wissen her möglich wäre. Nur: Jetzt habe ich die Zeit nicht mehr.

Was ist jetzt neu an meiner Fassung? 
Nichts. 
Und das ist vielleicht gut so, denn so ist auch noch 100 % Gonzo drin. Und 100 % Stefan Kluge.
Und was hat das Umstellen gebracht?  Wird jetzt der Zuschauer "an die Hand genommen", ist der Film "wirklich idiotensicher" (=eigener Anspruch)?
Nö.
Wenn ich mir das Ergebnis jetzt mit anderen Leuten zusammen anschaue, wirkt es unverständlich, komplex, chaotisch, rätselhaft. Und rauschhaft.
Ist halt 100 % Gonzo drin. 
Und Nomen ("Droge") ist in diesem Fall wirklich Omen.

Quellen-Download der Droge

Wie ich schon schrieb, ist archive.org eine Diva. Zickig, launisch, und sie verspricht viel, ist aber dann meistens unpässlich. Wochenlang habe ich sie umsonst umworben, aber jetzt hatte sie doch mal einen guten Moment: Zumindest gepackte 7z-Archive ließen sich in einer tagelangen Upload-Orgie über den HTML5-Webuploader  unter archive.org/upload uploaden, so dass der Upload jetzt wirklich geglückt ist! (Die vielen "Uploads" kommen daher, weil ich immer wieder auf "resume upload" klicken musste.) Das heißt, man kann jetzt alle Quelldateien auch ohne Torrent downloaden:

https://archive.org/details/Die_Letzte_Droge_sources_compressed

Zu beachten ist, dass hier wirklich große Archive (bis zu 22 GB) heruntergeladen und dann erst mal entpackt werden müssen, bevor man das Material testen kann. Auch ist unsere schöne Ordnerstruktur nicht mehr da. Diesen Zahn konnte ich archive.org nicht ziehen. Aber irgendeinen Vorteil muss unser eigener Torrent ja auch haben :) Ihr könnt jetzt also testen, was bei Euch besser funktioniert.

Quellen-Torrent der Droge

Wenn man eine große Datenmenge veröffentlichen will, egal ob open-source Material oder die gesammelten Logdaten der NSA, bekommt man schnell ein Problem: Alles über 15 GB kostet Geld, außerdem sehen es die Cloud-Anbieter nicht ganz so gern, wenn man der ganzen Welt Zugriff auf diesen eigentlich privaten Datenspeicher gibt. Jetzt könnte man natürlich Speicherplatz bei diversen Anbietern kaufen, aber als Ex-Ossi bin ich da zu sparsam dafür, und außerdem würde es dem Gedanken der freien Verbreitung von Kultur zuwider laufen, dafür  Geld zu bezahlen.

Jetzt also die Frage: Wohin mit  120 GB Material ?

 Nach diversen Recherchen taten sich 2 Möglichkeiten auf:bundles.bittorrent.com und archive.org

Das erste ist der kreative Zweig der Firma, die bittorrent erfunden hat und jetzt dafür werben möchte, dass Bittorrent nicht nur Pirate Bay ist, sondern eben auch kostenlose Verbreitung legaler kreativer Inhalte. Super Idee, wir passen gut rein, also los!

Registrieren, cooles Design sehen, sich freuen, auf Upload klicken, diverse Möglichkeiten zur Auswahl sehen, und dann Rätselraten: Will und kann ich erst den ganzen Haufen auf Facebook, google drive, dropbox, amazon, onedrive, instagram, gmail..... hochladen, um ihn wieder dann weiter zu bittorrent bundles zu schicken? Nö, die ganzen Cloudanbieter würden 120 GB eh kostenlos nicht nehmen und  fallen also weg.

Ah... da steht ftp. Ausprobieren, ftp-server zu Hause aktivieren, Zugangsdaten bei bittorrent bundles einrichten und dann: Ach! Die wollen tatsächlich, dass der Browser während eines externen ftp-uploads anbleibt. Sehr lustig! Und soll ich jetzt vielleicht auch noch jede Stunde einen Totmannknopf drücken? Dies Frage stellt sich allerdings nicht, denn nach einer Stunde bricht der Upload des ersten 5 GB-Testmaterials eh ab. OK, so gehts also auch nicht. Letzte Möglichkeit, auch wenn sie bittorrent bundles wohl am liebsten ausschließen möchte: „ODER Wählen Sie eine Datei zum Hochladen aus". Mach ich trotzdem mal. Man kann ja nie wissen.

Obwohl... ich HÄTTE es wissen können: Abbruch. Nach einer Stunde.

Das war wohl nichts. War eigentlich auch ganz gut so, denn außerdem hatte bittorent bundles keine Ordner im torrent unterstützt. Wenn ich also nicht knapp 7000 Dateien  ungeordnet hinknallen wollte, was niemand überblicken würde, hätte ich also das komprimierte Quellmaterial nochmals in rar-oder 7z-Archive stecken müssen. Und für mich ist nichts frustrierender, als eine riesige Datenmenge eventuell über Tage und Wochen komplett herunterladen zu müssen, um sie dann zu entpacken und zu merken: Alles Schrott. Und das wollte ich auch keinem anderen zumuten.

Blieb also noch archive.org. Eine gemeinnützige Seite, die jedermann die Möglichkeit geben möchte, alles erdenkliche zum freien Download zu veröffentlichen. Das Projekt speichert seit den Anfängen des Internets alle Webseiten weltweit (zumindest die, die es nicht untersagen), bietet historische Videospiele zum Download, man kann freie Software, Musik und natürlich Videos ohne Kosten veröffentlichen. Eine grandiose Sache. Wir sind dabei!

Ich möchte jetzt etwas abkürzen, denn die Probleme hier dauerten im Gegensatz zu bittorrent bundles (5 Stunden) 1 Woche. Und der Artikel hier ist wahrscheinlich so schon unlesbar...

In Stichworten:

Positiv:

Ordner sind möglich. Es gibt Emailsupport, der einem Möglichkeiten zeigt, die auf der Webseite nicht sichtbar sind. (Danke, Jeff). Weitere Uploadmöglichkeiten neben Upload durch browser: Ja, gibt es (Perl-und Python -Skripte).

Nachträglich Dateien austauschen, Beschreibung ändern, Kommentare schreiben - alles möglich.

Ausfallsicherheit, Schutz vor DDOS, Verteilung weltweit: Hört sich gut an.

Negativ:

Ordnerupload nur über skript (perl/python). Ich kann kein Perl/Python! (Lese mich aber trotzdem darin ein.)

Script geht so: alle 7000 Dateinamen in eine Textdatei eintragen, ebenso Metadaten + Zugangsdaten. Per Hand. O. K. (Alle Dateinamen in eine Textdatei schreiben nach Netzrecherche gelernt - also weiter...)

Ordnerupload geht immer noch nicht, das script will nicht...

Jeff ist überlastet (scheinbar nur ein Betreuer für die ganze Seite),  versteht mein Problem mit Perl nicht.

Upload jeder 5.Datei bricht ab! Kein Upload von Dateien über 2 GB bisher gelungen! Automatisches Umbenennen von Dateien mit Sonderzeichen/Leerzeichen! (=Überschreiben von ähnlichen Dateien ohne Sonderzeichen)

Verschieben/ Löschen von Dateien im Webinterface geht nur einzeln! (Macht das mal, wenn ihr 600 Dateien testweise hochgeladen habt...)

Downloadspeed nur max 2 MB/s mit weiteren Speedeinbrüchen!

 

Fazit: Ich habe mich wirklich bemüht. Das es archive.org gibt, ist großartig. Aber mit uns wird das wohl nichts... Zumindest nicht mit den DLD-Quellen.

2.Fazit: Altes Netbook zu Hause nehmen. Externe Festplatte ran. Torrent von zu Hause freigeben.

Letzte Bitte an alle, die bis hierher gelesen haben: Überlegt Euch gut, ob Ihr die 120 GB Rohdaten haben wollt. Könnte ein paar Tage/Wochen dauern. Und wenn ihr mich richtig ärgern wollt, dann klicken am besten 1000 Leute gleichzeitig auf den Quellen-torrent. Dann hab ich kein Internet mehr :(

 

Quellen-Hosting VEB-Style

Quellen-Hosting VEB-Style

Komprimierung der Quelldaten der Droge

Vorsicht! Der folgende Text ist teilweise ziemlich technisch. Er handelt von Codecs, Komprimierung und Datenraten!

Bei wikipedia steht unter http://de.wikipedia.org/wiki/Open-Source-Film
"5. Es sollte möglich sein, den Film mit Hilfe der Quellen zu remontieren oder zu reproduzieren."

Im Zuge der Veröffentlichung meines Remixes wollte ich daher gern die Veröffentlichung aller Quellen in die Hand nehmen. Ich fand es wichtig, dass jeder Interessent einigermaßen unkompliziert an die Rohdaten heran kommt. 
Während meiner langen Beschäftigung mit dem Film habe ich von Stefan diverses Material erhalten. Ich erinnere mich noch an lustige Wochen des Downloads auf meiner damaligen 1 Mbit/s-Leitung und eine Festplatten-Veschickung aus der Schweiz, wo wir noch die Sorge hatten, dass vielleicht der Zoll die neue Festplatte einbehält.
So hat sich nun über die Zeit hier ca. 1 Terabyte an Daten angesammelt, sowohl Audio als auch Video. Ca. 5300 Original-Videodateien vom Dreh im bekannten avi-Container, in der bestmöglichen Auflösung von 2005 (1280x720), komprimiert mit dem hochqualitativen Schnittcodec Cineform (cfhd). Und Audio halt meist unkomprimierte wav-Dateien.

Was macht man jetzt? 1 Terabyte komplett irgendwo hochladen?

Wikipedia schränkt da ein:
"4. Die Quellen müssen mit Free/Open-Source-Software uneingeschränkt ansehbar und editierbar sein. Ist dies nicht der Fall, so muss gewährleistet sein, dass sie mit Free/Open-Source-Software in solch ein Format konvertiert werden können. Das Gleiche muss auch auf den Film selbst zutreffen."

Cineform ist aber proprietär, auch wenn man jetzt kostenlos den Decoder beim neuen Besitzer GoPro downloaden kann. 
Außerdem schränkt die reine Datenmenge dieses Codecs die kostenlose Verbreitung ein, weil immer noch nicht jeder Interessent 1 Terabyte in absehbarer Zeit downloaden kann und wir im Gegenzug auch keine praktikable Möglichkeit gefunden haben, eine solche Menge kostenlos irgendwo hochzuladen.

Also suchte und experimentierte ich etwas herum, nahm den derzeit weit verbreitetsten und extrem effizienten Codec h.264, der zwar verlustbehaftet komprimiert, also das Bildmaterial in gewisser Weise verschlechtert, aber die Dateigrößen um den Faktor 5-30 mal gegenüber Cineform verkleinert, je nach Datenrate.
(Anmerkung: Ich weiß natürlich, es gibt webm und theora als wirklich freie Codecs, aber die komprimieren nach Tests von Fachexperten schlechter und brauchen länger beim Encodieren.)

Es galt also, eine Datenrate zu finden, welche die Dateien wesentlich kleiner macht, bei der man aber eine theoretische Verschlechterung nicht mehr wahrnehmen kann. Das Testen begann.
Ich setzte die Datenrate mal höher, mal tiefer, verglich Original und Kopie und landete bei einer ziemlich hohen, aber eben nicht absurd hohen Datenrate von 5,5 MB/s, wo ich keinen Unterschied mehr erkennen konnte. Das wäre dann eine Verkleinerung ca. um den Faktor 10. 
O.k. Das sollte es sein. Und verpackt wird das Ganze mit Hilfe der freien Software Staxrip in den Open-Source-Container mkv (Den kennen einige vielleicht vom letzten illegalen Filmdownload). Der enthaltene Encoder x.264 leistet dabei gut Dienste und ist durchaus z.B. dem kommerziellen Mainconcept-Encoder ebenbürtig.

Für die wav-Dateien fand ich den open-source-codec flac, der sogar lossless, ohne jeden Verlust komprimiert, und gerade bei Dateien von Mehrkanalspuren, die wir hier häufig haben, Anteile ohne Klang-Inhalt auf 0 herunter rechnet. Und zum Beispiel die bekannte freie Software Audacity kann gleich ganze Ordner mit wavs in flacs umwandeln.
Sehr gut. Das Komprimieren konnte beginnen.

Es wurden in Beschlag genommen der Laptop meiner Frau, der Rechner der Schwiegermutter sowie 2 eigene Rechner, die 3 Tage lang ununterbrochen ächzten und stöhnten. Das wäre natürlich mit einem neuen Core-i7 wesentlich schneller gegangen, geschweige denn mit Cluster-Rechensystemen wie bei Filmfirmen.
Aber, man nimmt halt, was man zu Hause hat, und wenn es 4 Jahre alte Dualkern-Rechner sind. Und falls mir irgendwann mal 5 oder 10 Terrabyte zum umkodieren über den Weg laufen, denke ich über neue Rechner nach. Versprochen.

Das Ergebnis: Aus 1 Terabyte wurden 120 Gigabyte. Ohne Qualitätseinbuße.
Wie diese immer noch beachtliche Menge jetzt veröffentlicht werden kann, davon handeln weitere Blog-Einträge.

Was ich beim nächsten Mal noch beachten sollte: Nicht mit Grippe und Brummschädel an die Sache herangehen. Dann lösche ich vielleicht nicht wieder aus Versehen den kompletten Ausgabeordner und muss noch mal alles rechnen :(