50 Comments

Mittwoch, 16.11.2016

Guten Tag. Ich bin ein Platzhalter, an dem bis heute niemand nichts ergänzt hat.

50 comments

  2. veniat®

    Da hier ja neulich schon mehr Bahnhof geäußert wurde als in Stuttgart fertig gebaut ist und der heutige Blogeintrag es hergibt, vielleicht kurz die Ergänzung auf die Frage (war glaube ich higgibaby), was es mit API, JSON, Header, Scraping und Co. zu tun hat.
    Das von dogfood erwähnte Scraping ist im Prinzip eine Form des Auslesens von Informationen (eigentlich ausschließlich textlich) einer Webseite. Die Methode verwendet man immer dann, wenn es keine alternative Form gibt, die das Beziehen ermöglicht. Dabei wird grob gesagt der Quelltext einer einzelnen Webseite (als das, was man in Browsern unter “Quelltext anzeigen” findet”) abgegriffen und weiterverarbeitet. Das nennt man dann Parsing. Hierbei werden die relevanten von den irrelevanten Informationen mit Hilfe einer programmierten Routine getrennt. Das sind die von dogfood genannten Skripte. Technisch gesehen gibt es unzählige Möglichkeiten, wie man vorgeht, d.h. die Wahl der Programmiersprache, die Art wie man den Quelltext ausliest, speichert und dann bearbeitet ist sehr weit und frei wählbar. Daher vielleicht ein einfaches Beispiel, ich nehme willkürlich und wertfrei Sport1:
    Unter http://tv.sport1.de/programm/wochenprogramm/index.php?d=20161116” wird einem mehr oder weniger geeignet das TV-Programm von Sport 1, Sport1+ und Sport1 US angezeigt. Hierbei stößt man aber direkt und offensichtlich auf Probleme, wenn man wie dogfood ein Tagesprogramm erstellen möchte. Eines davon ist, dass das Programm nicht als Ganztagesansicht, sondern gevierteilt auf Nacht, Vormittag, Nachmittag und Abend aufgeteilt ist. Die URLs verändert sich entsprechend durch ein &z=v für Vormittag, etc. Ein Skript müsste also nun nacheinander die vier Seiten durchlaufen und alles zu einem gesamten “Stammdatensatz” zusammenfügen. Dabei muss natürlich das Script entsprechend geschrieben werden, damit alles so eingelesen wird, damit es weiterverarbeitet werden kann. Häufig kommt an dieser Stelle nun die Recht einfach gehaltene Scriptsprache Python zu Zuge, da diese a) ein relatives Leichtgewicht ist im Vergleich zu weit mächtigeren objektorientierten Sprachen wie Java oder C++ (das würde zu weit führen es zu erklären) und b) es sehr gute libraries gibt, die einem die Aufgabe erleichtern. Stichwort bei Python ist hier die library “BeautifulSoup”. Diese ermöglicht es, direkt beim Abgreifen zu selektieren, also beispielsweise alles Unnötige auf der Sport1-Seite wie das Menü oben (Livestream-Übersicht, Licte-Sport1, usw.) rauszulassen. Ein kurzer Blick in den Quelltext von Sport1 verrät z.B., dass die Programmübersicht immer im div-container (Container sind Teil einer Webseite; so etwas Elemente, die Bereiche markieren) “contentFullCol” stehen. Einem Pythonscript mit der library beautifulSoup würden man also sinnvollerweise genau diesen Namen als “Suchbereich” übergeben und bekäme nur den Inhalt dieses Containers. Das hilft bereits gewaltig. Die weitere Anpassung ist genau das, was es kompliziert macht und was dogfood mit dem manuellen Nachfassen teilweise selbst bereinigen muss. Eben immer dann, wenn Inhalt innerhalb von “contentFullCol” murks, also dreckig ist. Am Ende spuckt das Pythonscript dann einen String, eine Sammlung von Strings in einem Array oder vergleichbares aus, aktuell also sowas wie:
    >> Startzeit: 10:15
    >>Sportart: College Basketball
    >> Paaring: Kentucky Wildcats – Michigan State Spartans
    >> Wettbewerb: Champions Classic in New
    >>Dauer: Sendezeit: 10:15-11:50 Uhr
    Daraus kann man dann vergleichsweise trivial die Konsolenausgabe erzeugen kann, die dogfood dann in sein Listing kopiert. Man sieht an diesem beliebigen Beispiel auch bereits sehr schön, was genau er mit dreckig meint. Der Praktikant hat hier nämlich nicht aufgepasst und die Sport1-Routine hat stumpf New York abgeschnitten. Das Champions Classic findet also in “NEW” statt, weil die maximale Zeichenanzahl offenbar erreicht war. Das “York” war also nicht mehr drin.
    Das ist also grob und vereinfacht formuliert das, was hinter Scraping und Scripten steckt. Schön ist das alles nicht, da man einerseits natürlich diese Scripte erstmal schreiben muss und andererseits diese ständig anpassen muss, wenn es u.a. einen Relaunch wie beim ZDF gibt. Das erklärt auch dogfoods Aussage, warum er das ZDF erstmal ignoriert. Das nervt dann gewaltig, völlig nachvollziehbar. Bleiben noch die Begriffe API, JSON und HEADER. Abgekürzt formuliert macht eine API genau das, was die Scripte manuell machen: Sie stellt gebündelt und vor allem STANDARDISIERT die Informationen zur Verfügung. Die Anbindung an diese API funktioniert über eine Adressierung, die sehr häufig über das Format XML oder eben (ähnlich und javabasiert) JSON passiert. Die Anfragen erfolgen dann, indem beispielsweise ein PHP-Script die API “anruft”. Dies passiert, indem die geeigneten Informationen für diese Anfrage (der Request) übermittelt werden. Dies passiert im Header der PHP-Datei, unter anderem kann dort ein Auth-Key mitgegeben werden. Das ist nichts anderes als ein Login, mit der sich das Script bei der API vom Dienstleister anmeldet. Dogfood war neulich genervt davon, dass nur eine veraltete und schlecht gesicherte Form der Authentifizierung bei einer von ihm benutzen APIs gegeben war. Als Webdesigner und Programmierer ist das natürlich seine eigene Spielwiese (!sic) wodurch es ihn nur noch mehr aufregt. Zwei solcher APIs für fast jede relevante Fußballiga findet man übrigens hier: http://xmlsoccer.com/ (kostenpflichtig) und http://api.football-data.org/index (kostenfrei, nach freiem Login bekommt man einen Auth-Key, um häufiger Anfragen stellen zu dürfen). Letztere habe ich z.B. verwendet, um während der EM, Sachen auf einem eigenen Ergebnismonitor darzustellen.
    Ich hoffe das hat zusätzlich zur Aufklärung geholfen und ich denke es zeigt vor allem eins, was wir längst wissen: Was der Mann da in Hamburg leistet ist der Wahnsinn und kann nicht hoch genug bewertet werden. Und klar ist auch, warum der “Schulsport” so präsent ist: Da gibt es eine ziemlich gute API und die ermöglicht es ihm, auf Tage mit einem Aufruf die Daten zu ziehen, wahrscheinlich ohne große manuelle Überarbeitung. Alleine das willkürliche Sport1-Beispiel zeigt, dass das anscheinend… die Ausnahme ist.

    [edit 23:16 HTML-Fehler korrigiert (Fettdruck), sternburg /edit]

  3. veniat®

    Und ich habe mich gerade als SPort1-Praktikant beworben, weil ich das bold-Tag zweimal nicht richtig schließen konnte…..

  5. Heiner

    Das dürfte es wohl gewesen sein für Klinsi. 4:0 gegen Costa Rica verloren, WM-Teilnahme in Gefahr.

  9. Dröhn

    Manche hier haben keine Geburtsurkunde sondern ein Entschuldigungsschreiben vom Kondomhersteller…..

  10. Murgl

    Also bis jetzt war ich froh solche Sätze

    Scripten und gleichzeitig zu doof für HTML? Das ist so traurig.
    .
    Manche hier haben keine Geburtsurkunde sondern ein Entschuldigungsschreiben vom Kondomhersteller…..

    hier nicht zu lesen. Nun tauchen sie auf und ja ich weis das war alles ironisch gemeint aber ein User liest das schon wieder falsch und schreibt auch einen gepfefferten Satz so wie Sebastian zurück.

    Können wir das hier wieder bitte unterlassen, es war immer eine so positive Posting-Kultur hier, Danke

  12. Dröhn

    @Murgle,

    da ein “Halt die Fresse du Spacken!” hier nicht sanktioniert wurde gehe ich von keinem Problem aus…….

  13. Sebastian

    Ich sag mal so: ich bin nicht veniat aber wenn man sieht wie sich veniat abmüht, dogfoods Arbeit zu erklären, damit sie besser zu schätzen wissen (vor allem im Lichte des Spendenaufrufs gestern für andere Leute die auch viel Herzblut investieren), veniat den eigenen Fehler bemerkt und Uwe dann meint er müsste ähnliches Herzblut und guten Willen WIEDER EINMAL mit einem Spruch “belohnen”, dann regt MICH das auf, auch wenn ich nicht veniat bin.

    Ich hab selber das Bedürfnis auf jeden Käse meinen Senf hinzu zu geben, aber Sätze die eindeutig beleidigend sind (“zu dumm”) ohne irgendwelche Ironie-Smileys gehen mir einfach zu weit. Es ist echt so dass wir mittlerweile wie kurz bevor dogfood seine Kommentare zugemacht hat alle für Leute wie Uwe die Grundannahmne haben, dass ja alles lustig gemeint ist.

    Aber egal wie haha das alles ist – ich empfinde es nicht so. Wenn jemand ohne Grinsen sagt “Du bist zu doof” dann macht mich das sauer.

    Dieses ständige herablassende Nachsetzen ist zum kotzen.

  14. rheinländer

    Rakuten ist der neue Hauptsponsor des FC Barcelona und zahlt dafür 55m USD pro Jahr. Die Summe wird vom FC Barcelona bestätigt. Die Mitgliederversammlung muss dem Vertrag noch zustimmen. Willkommen im pazifischen Jahrhundert

  15. Dröhn

    Ich finde Smileys doof…….

    Und den Absatz den du da aufgesetzt hast einfach mal auf dich selber wirken lassen, Basti…..

  17. Roadrunner

    Ich als meist stiller Mitleser bin da bei murgl und Sebastian. Ich finde dass “banter” hier auf jeden Fall dazu gehört aber in letzter Zeit vielleicht etwas zu viel und heftig?
    Aber um Gottes Willen nicht ganz damit aufhören

  18. Kombüse

    #rakutendeal

    Hmm finde den Deal für einen Hauptsponsor bei einem weltweit bekannten Sportunternehmen (FC Barcelona) irgendwie zu niedrig. Dachte, 50-60 Mio Euro Jährlich ist in der heutigen Zeit nicht mehr der Rede wert?! Wie viel verdienen die anderen Vereine denn so?

  19. Conejero

    Das ist “nur” der Trikotsponsor.
    Es wird auch gemunkelt, dass nach dem Umbau des Camp Nou die Namensrechte des Stadions für einen hohen sechsstelligen Millionenbetrag schon quasi vergeben seien.

  21. Heiner

    @Kombüse

    Die Bayern kriegen von der Telekom nur 35 MIo. International ist, glaube ich, ManU führend mit 75 Mio. Real kriegt nur 25-30 Mio., da läuft der Vertrag mit Emirates aber 2018 aus.

  24. tony

    An dem Tag an dem hier keine schlechten Witze mehr erlaubt sind können wir auch gleich komplett zumachen …
    Wer bleibt dann noch übrig ausser mir?

  25. Higgibaby

    @Tony: da schlechte Witze nicht mein Ding sind, bleibst du nicht allein hier :)

  26. Thorben

    Stammdatenqualitöt ist total überbewertet, dass erlebe ich momentan jeden Tag…

  29. sternburg

    Hat Rakuten überhaupt ein Geschäft in Europa (oder dies vor) oder zielt das echt ausschließlich auf japanische Kundschaft, die in Japan Spiele des FCB schaut?

    @veniat: Ich habe ausnahmsweise mal Deinen Eintrag repariert, weil Du Dir so viel Mühe gemacht hast (danke) und der Fettdruck die Lesbarkeit deutlich erleichtert.

  32. sternburg

    [obligatorischer Seufzer ob der Frage, warum ich mir eigentlich so viel Mühe mit dem Meta-Eintrag gemacht habe]

    Ich möchte mich eigentlich in die heutige Diskussion nicht einmischen, weil es aus meiner Sicht nicht um eindeutige Grenzüberschreitungen, sondern um eine reine Geschmacksfrage bei der Art des Umgang geht: Wie viel Unverschämtheit ist bei blöden Witzen erträglich? Ab wann wird es unangenehm? Und muss das wirklich immer und bei jeder Gelegenheit sein?

    Ich habe dazu eine persönliche Meinung und da mein eigenes Schaffen fast ausschließlich aus blöden Witzen besteht, ist meine Toleranz schon aus egoistischen Gründen sehr, sehr weit gefasst.

    Das mag nicht jedem so gehen. Und wem das nicht so geht, wer das also als unangenehm empfindet, der möge das bitte auch äußern. Ich weiß aus eigener Erfahrung (ein jüngeres Beispiel steht dem geneigten Leser vielleicht noch vor Augen) wie blind man als Späßekenmacher für die Gefühle des Adressaten sein kann. Wenn wir uns dann alle gemeinsam darauf einigen, das vielleicht ein wenig zurück zu schrauben, dann fände ich das zwar persönlich schade, aber dann ist das halt so. Aus Gründen der späteren Nachvollziehbarkeit wären solche Grundsatzdiskussionen aber vielleicht bei Meta wirklich besser aufgehoben.

    Worum ich aber alle ganz stark bitten möchte: Vergesst doch bitte das Sender-Empfänger-Prinzip nicht. Es ist nicht nur wichtig, wer etwas wie sagt, sondern auch an wen. Ich möchte eigentlich nicht für veniat sprechen (vielleicht kannst Du Dich ja selber noch äußern), aber ich bin mir fast absolut sicher: Veniat wird die Bemerkung von Uwe als genau das aufgefasst haben, was sie war. Nämlich ein kleiner, dummer Witz. Eine spitze Bemerkung, mit der er keineswegs veniat ernsthaft beleidigen oder seine Mühe kleinreden wollte. Ich kann mir nicht vorstellen, dass veniat ernsthaft getroffen war.

    Ich wäre es jedenfalls nicht gewesen. Und dazu brauche ich auch keinen Smiley.

    Ich habe das übrigens damals sogar mal als Grundregel formuliert: Bitte legt die Bemerkungen anderer immer wohlwollend aus. Wenn es zwei Möglichkeiten gibt, sie zu verstehen, dann entscheidet Euch für die angenehmere, bis Ihr vom Gegenteil überzeugt seid. Genau das ist es, was ich unter einer positiven Kommentarkultur verstehe.

  35. Heiner

    Rakuten ist auch Besitzer von Wuaki.tv, einem VOD-Anbieter, der Marktführer in Spanien sein soll. Gibt also scho auch ein Geschäft in Europa.

  36. sternburg

    @Dröhn: “da ein “Halt die Fresse du Spacken!” hier nicht sanktioniert wurde”

    Ehrlich gesagt wunderte ich mich schon, dass Du Dich deswegen nicht gemeldet hast.

    Um das mal klar zu stellen: Du hast natürlich völlig recht, das war eine eindeutige Grenzüberschreitung von Sebastian(?). Ich hab das auch gesehen. Und genauso empfunden.

    Ich habe nur deswegen nichts gesagt, weil der Thread zur US-Wahl nach meinem Gefühl völlig aus dem normalen Betrieb herausfällt (und mit Sicherheit auch von niemandem, der nicht “dabei” war, nachgelesen wird) und trotz des maximal polarisierenden Themas grundsätzlich unfassbar zivilisiert ablief.

    Ich hatte das erst später gesehen und festgestellt, dass nicht passiert war. Es gab zwei heftigere Äußerungen als Wortwechsel, aber nichts ist in Flammen aufgegangen und die Lawine war längst zivilisiert weiter gerollt. Mein Eindruck war: Hier werde ich nicht gebraucht. Anscheinend hält das hier selbst sowas mittlerweile aus. Insbesondere fand ich gut, dass Du selber nicht in Flammen aufgegangen bist.

    Ich will aber auch nicht verschweigen, dass ich völlig übermüdet und verloren war, als ich das gesehen habe. Ich habe mir das dann etwas damit schön geredet, dass trotz der starken Wortwahl immerhin ein ungefährer Sachbezug bestand. Jedenfalls wollte ich aus diesen Gründen dieses Fass einfach nicht auch noch aufmachen.

    Um ganz ehrlich zu sein: Ich habe das ein paar Stunden etwas frischer tatsächlich dann anders gesehen. Dann aber erschien es mir erst Recht albern, das rauszupicken wieder hochzuspülen.

    Langer Rede kurzer Sinn: Nein, das ist jetzt nicht der neue Maßstab und ich behalte mir auch vor, gleiche Äußerungen zukünftig anders zu behandeln. Dann werde ich mir Inkonsistenz vorwerfen lassen müssen, aber damit muss ich dann leben.

  37. Dröhn

    Da ich dich, Sternburg, im gleichen politischen Millieu wie die Kunstfigur Sebastian verorte habe ich sowieso mit keinerlei Sanktion ihm gegenüber gerechnet. Eher schon gegen mich da politischer Gegner scheinbar. Eine Krähe hackt der anderen und so weiter….

    Und ein “Halt die Fresse du Spacken!” mit “starker Wortwahl” und “ungefährem Sachbezug” in Zusammenhang zu bringen ist, ähm…… klasse, aber in Trump/Clinton Zeiten scheinbar normal….

  38. Thor

    @Dröhn:
    Ist es wirklich so missverständlich?

    “Um das mal klar zu stellen: Du hast natürlich völlig recht, das war eine eindeutige Grenzüberschreitung von Sebastian(?). Ich hab das auch gesehen. Und genauso empfunden.”
    “Ich habe mir das dann etwas damit schön geredet, dass trotz der starken Wortwahl immerhin ein ungefährer Sachbezug bestand.”

    Selbst wenn Anwalt sternburg in seinem Schriftsatz noch viel Relativierungsgedöns drin hat um dem Mandanten Sternburg nicht zu vergraulen ist seine Aussage doch recht eindeutig: er sieht es heute auch als Fehler das nicht sanktioniert zu haben.

    In Trump/Clinton Zeiten ist es scheinbar normal, nur das hören oder sehen zu wollen, was einem ins eigene Weltbild passt.

  40. Uwe

    Freunde, scheinbar meint nicht anscheinend, das verfälscht Euren Meinungsaustausch.

    Dröhn, sternburg und Sebastian sind weit weg von auf einer Seite zu sein, wenn man mal den gemeinsamen Nenner Bielefeld außen vor lässt. Bitte versuche auf Eingruppierung zu verzichten und gehe jeden persönlich an. Falls du dazu Nachhilfe benötigst, springe ich dir gerne bei.

    Veniat, bitte melde dich. Jörg Wontorra sucht dich schon.

  41. MarioP

    @ dröhn

    Wie hätte denn eine Sanktionierung aussehen sollen? Ist es nicht besser, so etwas stehen zu lassen, da solche Aussagen doch mehr über den Schreiber als über den Angesprochenen aussagen?

    @ sternburg

    Selbstverständlich habe ich die “Wahlnacht” nachgelesen und mich köstlich amüsiert….

  42. sternburg

    @Dröhn: Dann nochmal im Klartext: Es war ein Fehler. Es war mein Fehler. Es tut mir leid.

    Ich finde aber immer noch gut, dass ich da tatsächlich nicht gebraucht wurde. Und ja, um auch das mal klar zu äußern: Da bin ich auf Seite von MarioP. Völlig egal, wem ich inhaltlich näher stehen mag.

  44. MarioP

    Tatsächlich mehr aus Schadenfreude. Wieder einmal wussten vorher viele ganz genau was eine Wahl bringt. Um hinterher zu erklären, warum es dann anders gekommen ist.

    Jetzt freue ich mich auf die Verrenkungen, die unsere Politiker machen müssen, wenn sie mit dem demokratisch gewählten Präsidenten unseres wichtigsten Bündnispartners zusammentreffen. #Steinmeier trifft Haßprediger

  45. veniat®

    Kurz als Rückmeldung, weil ich darum gebeten wurde. In der Tat habe ich den Beitrag von Uwe als das wahrgenommen was er wohl sein sollte und was seine Beiträge häufig sind: Herzlich provozierend aber immer mit einen offenkundigen Augenzwinkern. Ich kann damit nicht nur umgehend, sondern habe mit meinem Kurzkommentar nach dem langen ja erst direkt den Ball in in den Fünfer gebracht. Uwe musste nur noch versenken und den macht er natürlich mit verbundenen Augen. Dennoch Danke an Sebastian für das “Parteiergreifen”. Mich nerven hier latent immer mal wieder eher andere Dinge, was ich aber aus zwei Gründen sehr gut ertragen kann.
    1. Ich nerve wohl selbst mal mehr und mal weniger bewusst andere hier, sodass es ein Unding wäre sich exzessiv über andere zu beschweren.
    2. Es ist hier immer noch so kultiviert ohne jede Form von Disquskäse, Captcha und Zwangregistrierung im Vergleich zu anderen Foren und Portalen. Und dazu sehr niveauvoll wenn man will. Und wenn man nicht will, dann darf man auch mal statt Tolstoi auch einfach nur Ngoooooooal kommunizieren.

    Ps.: Falls wirklich interessiert was mich nervt: Persönliche Beleidigingen. Das ist was anderes als augenzwinkernd provozieren, bewusst polemisch Anti sein oder dunne Typos auf Fleksy schieben. Beleidigen, das kann ich nicht gut ab und ich finde das hat hier keiner nötig.

  46. rheinländer

    ja, Schadenfreude ist natürlich ein Argument. Ich erwarte allerdings, dass in den nächsten vier Jahren die Schadenfreude deutlich zulasten der Trump- (und Brexit) Befürworter verteilt sein wird. Auch wenn der Marsch der Rückwärts-gewandten weiter geht.

    Haßprediger ist zu hart für Trump, er glaubt ja an nichts. Rassist und Kleptokrat passt schon eher.

  47. Sebastian

    Och nur so am Rande: ich hätte das auch gern sanktioniert gesehen weil ich damit erreichen wollte dass hier Grenzen gezogen werden. Ich empfinde gegenüber Dröhn nämlich so überhaupt nicht und habe überhöht um seinem Bedürfnis nach politischer Unkorrektheit nachzukommen. Wobei es natürlich zu kurz gegriffen war da ich mich nicht dazu bringen könnte WIRKLICH politisch unkorrekt zu sein. Also irgendwas mit Rassismus oder so. Dazu kann ich mich selbst aus Übertreibung nicht bringen…

    Wie auch immer Dröhn hat im Moment das Bedürfnis, sich an mir abzuarbeiten. Ich könnte da zurück holzen, hab es aber gelassen und werde das auch weiterhin tun. Von daher kann ich nachvollziehen dass veniat das was Uwe schreibt nicht mehr juckt.

  49. Sebastian

    Dröhn testet seit ein paar Wochen aus wie weit er gehen kann. Ich habe übertrieben um zu sehen ob Du meinen Text löscht und WOLLTE dass Du ihn löscht damit Dröhn sieht wo die Grenze ist.

    Ich hoffe das war jetzt einfach genug.

  50. Dröhn

    Gewohnt hyperintellektuell hier, kein Wunder dass es auch weiterhin mit den Basketballquoten nicht hinhaut……..

Nach oben ↑

Leave a Reply

Your email address will not be published. Required fields are marked *

Erlaubtes HTML in den Kommentaren:
Link: Beschreibung <a href="URL mit http:// vorne dran">Beschreibung</a>
Fett <b>Fettgeschrieben</b>
Kursiv <i>Kursiv</i>
Durchgestrichen <strike>Durchgestrichen</strike> oder <del>Durchgestrichen</del>
Spoiler: [spoiler title="Überschrift"] Gespoilerter Text [/spoiler]
Zitat mit hübschen Anführungsstrichen
<blockquote>Zitat mit hübschen Anführungsstrichen</blockquote>
< und > ausgeschrieben &lt; (less than) &gt; (greater than)