Dresler, S.; Grosse, A.G.; Rösner, A.: Realisierung und Optimierung der Informationsbeschaffung von Internet-Suchmaschinen am Beispiel von www.crawler.de (1997)
0.02
0.015890013 = product of:
0.031780027 = sum of:
0.031780027 = product of:
0.06356005 = sum of:
0.06356005 = weight(_text_:wissen in 716) [ClassicSimilarity], result of:
0.06356005 = score(doc=716,freq=2.0), product of:
0.2223099 = queryWeight, product of:
4.3128977 = idf(docFreq=1609, maxDocs=44218)
0.05154537 = queryNorm
0.28590742 = fieldWeight in 716, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
4.3128977 = idf(docFreq=1609, maxDocs=44218)
0.046875 = fieldNorm(doc=716)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Die Datenmenge im WWW, welche in Form von Internet-Seiten über URLs zugänglich ist, wächst derzeit stark an. Um aus dieser Menge effizient eine Liste von URLs zu einem Thema oder Stichwort zu extrahieren, sind leistungsfähige Internet-Suchmaschinen mit einem möglichst umfassenden und aktuellen Datenbestand notwendig. Diese sind jedoch sowohl in ihren Eigenschaften wie Verarbeitungskapazität und Netzanbindung beschränkt als auch durch administrative Hindernisse wie das Robots Exclusion Agreement. Es ist daher notwendig, neuartige Algorithmen zur Sammlung von Internet-Seiten zu verwenden, welche empirisch gewonnenes Wissen über die Seitenstruktur berücksichtigen. Dieser Bericht präsentiert den aktuellen Stand der Optimierung des Datenbeschaffungsteils der bekannten deutschen Suchmaschine www.crawler.de durch die Integration von Mechanismen, welche die Aktualisierungsrate und die Verzeichnistiefe von Internet-Links berücksichtigen
