Search (2 results, page 1 of 1)

0.006893334 = product of:
  0.048253335 = sum of:
    0.034870304 = weight(_text_:web in 4884) [ClassicSimilarity], result of:
      0.034870304 = score(doc=4884,freq=2.0), product of:
        0.09670874 = queryWeight, product of:
          3.2635105 = idf(docFreq=4597, maxDocs=44218)
          0.029633347 = queryNorm
        0.36057037 = fieldWeight in 4884, product of:
          1.4142135 = tf(freq=2.0), with freq of:
            2.0 = termFreq=2.0
          3.2635105 = idf(docFreq=4597, maxDocs=44218)
          0.078125 = fieldNorm(doc=4884)
    0.013383033 = product of:
      0.040149096 = sum of:
        0.040149096 = weight(_text_:22 in 4884) [ClassicSimilarity], result of:
          0.040149096 = score(doc=4884,freq=2.0), product of:
            0.103770934 = queryWeight, product of:
              3.5018296 = idf(docFreq=3622, maxDocs=44218)
              0.029633347 = queryNorm
            0.38690117 = fieldWeight in 4884, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              3.5018296 = idf(docFreq=3622, maxDocs=44218)
              0.078125 = fieldNorm(doc=4884)
      0.33333334 = coord(1/3)
  0.14285715 = coord(2/14)

Date

9. 7.2000 14:06:22

0.006877672 = product of:
  0.0481437 = sum of:
    0.044107836 = weight(_text_:web in 4835) [ClassicSimilarity], result of:
      0.044107836 = score(doc=4835,freq=20.0), product of:
        0.09670874 = queryWeight, product of:
          3.2635105 = idf(docFreq=4597, maxDocs=44218)
          0.029633347 = queryNorm
        0.45608947 = fieldWeight in 4835, product of:
          4.472136 = tf(freq=20.0), with freq of:
            20.0 = termFreq=20.0
          3.2635105 = idf(docFreq=4597, maxDocs=44218)
          0.03125 = fieldNorm(doc=4835)
    0.0040358636 = weight(_text_:information in 4835) [ClassicSimilarity], result of:
      0.0040358636 = score(doc=4835,freq=2.0), product of:
        0.052020688 = queryWeight, product of:
          1.7554779 = idf(docFreq=20772, maxDocs=44218)
          0.029633347 = queryNorm
        0.0775819 = fieldWeight in 4835, product of:
          1.4142135 = tf(freq=2.0), with freq of:
            2.0 = termFreq=2.0
          1.7554779 = idf(docFreq=20772, maxDocs=44218)
          0.03125 = fieldNorm(doc=4835)
  0.14285715 = coord(2/14)

Abstract

Das Web bietet eine enorme Vielfalt an Wissen, Unterhaltung und Information. Mit einfachen Mitteln können Sie diese Inhalte abgreifen und für Ihre eigenen Zwecke nutzen. Wir sagen, wie's funktioniert.

Content

Ein neuer Name für Methoden, die das Web seit Jahren kennt und die sich zunehmend verbreiten: Scraping. Im Prinzip geht es beim "Abkratzen" von Web-Seiten darum, dynamische Daten von einer Site abzuholen und in einer Anwendung oder einer eigenen Seite neu aufzubereiten. Anders als beim Abgreifen statischer Inhalte mit Tools wie Curl oder Wget liegt der Fokus hier auf dynamisch wechselnden Inhalten. Dabei bildet das intelligente Zusammenmischen von bereits bestehenden Web-Daten (Google, Flickr, Youtube, Amazon) auf neuen Sites ("Mashups") den professionellen Aspekt von Scraping. Das Motiv ist altbekannt: Fremde Inhalte nutzen Unser Beitrag skizziert einige Beispiele, wie auch normale Anwender von Scraping-Methoden profitieren können. Denn das Bestreben, Web-Inhalte anders zu mischen, als es der ursprüngliche Autor vorsah, ist nicht neu: Kaum hatte Netscape Frames erfunden, gab es Web-Autoren, die fremde Web-Seiten in die eigene Navigation einbauten. Als Gegenmaßnahme führten deren Autoren zuweilen Schaltflächen oder Links ein, mit dem man sich "aus einem Frame befreien" konnte, also die Seite in einem eigenen Fenster öffnen. Der Inhalt erscheint dann also wieder auf der Originalseite. Andere Einsatzgebiete bestanden etwa darin, Suchformulare in die eigene Homepage einzubinden. Das sehen die Betreiber der zugehörigen Such maschinen wiederum recht gerne und stellen den zugehörigen Code meist unkompliziert in den Hilfe-Seiten bereit.
Bei diesen Beispielen handelt es sich um eine Vorform von Scraping: Ahnlich wie heim Kommandozeilenprogramm Wget, das ganze Websites rekursiv auf die Platte ziehen kann, sind diese Methoden auf Link-Verfolgung durch komplette URLs angewiesen. Und diese Technik hat ihre Grenzen: Dynamisch generierten Inhalt finden Sie weder im Google-Cache noch können Sie diesen erzeugen, wenn Sie eine Web-Seite per URL in einen Ihrer Frames einbinden. Beim Scraping geht es darum, dynamische Inhalte zu verwenden, die Sie nicht direkt per URL erreichen können, sondern die erst per Script nach dem Ausfüllen von Formularen erzeugt werden. So enthält etwa der "Embed"-Code eines Youtube-Videos dessen komplette URL. Diese alleine würde immer auf die Youtube-Seite führen - erst durch Scraping erreichen Sie, nur den Player einzubinden.

Series

Internet & Sicherheit: Inhalte aus dem Web nutzen