Search (35 results, page 1 of 2)

  • × author_ss:"Lewandowski, D."
  1. Lewandowski, D.: Query understanding (2011) 0.05
    0.052756835 = product of:
      0.10551367 = sum of:
        0.10551367 = sum of:
          0.049044564 = weight(_text_:web in 344) [ClassicSimilarity], result of:
            0.049044564 = score(doc=344,freq=2.0), product of:
              0.17002425 = queryWeight, product of:
                3.2635105 = idf(docFreq=4597, maxDocs=44218)
                0.052098576 = queryNorm
              0.2884563 = fieldWeight in 344, product of:
                1.4142135 = tf(freq=2.0), with freq of:
                  2.0 = termFreq=2.0
                3.2635105 = idf(docFreq=4597, maxDocs=44218)
                0.0625 = fieldNorm(doc=344)
          0.056469105 = weight(_text_:22 in 344) [ClassicSimilarity], result of:
            0.056469105 = score(doc=344,freq=2.0), product of:
              0.18244034 = queryWeight, product of:
                3.5018296 = idf(docFreq=3622, maxDocs=44218)
                0.052098576 = queryNorm
              0.30952093 = fieldWeight in 344, product of:
                1.4142135 = tf(freq=2.0), with freq of:
                  2.0 = termFreq=2.0
                3.5018296 = idf(docFreq=3622, maxDocs=44218)
                0.0625 = fieldNorm(doc=344)
      0.5 = coord(1/2)
    
    Date
    18. 9.2018 18:22:18
    Source
    Handbuch Internet-Suchmaschinen, 2: Neue Entwicklungen in der Web-Suche. Hrsg.: D. Lewandowski
  2. Lewandowski, D.; Mayr, P.: Exploring the academic invisible Web (2006) 0.02
    0.024233207 = product of:
      0.048466414 = sum of:
        0.048466414 = product of:
          0.09693283 = sum of:
            0.09693283 = weight(_text_:web in 3752) [ClassicSimilarity], result of:
              0.09693283 = score(doc=3752,freq=20.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.5701118 = fieldWeight in 3752, product of:
                  4.472136 = tf(freq=20.0), with freq of:
                    20.0 = termFreq=20.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=3752)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Purpose: To provide a critical review of Bergman's 2001 study on the Deep Web. In addition, we bring a new concept into the discussion, the Academic Invisible Web (AIW). We define the Academic Invisible Web as consisting of all databases and collections relevant to academia but not searchable by the general-purpose internet search engines. Indexing this part of the Invisible Web is central to scien-tific search engines. We provide an overview of approaches followed thus far. Design/methodology/approach: Discussion of measures and calculations, estima-tion based on informetric laws. Literature review on approaches for uncovering information from the Invisible Web. Findings: Bergman's size estimate of the Invisible Web is highly questionable. We demonstrate some major errors in the conceptual design of the Bergman paper. A new (raw) size estimate is given. Research limitations/implications: The precision of our estimate is limited due to a small sample size and lack of reliable data. Practical implications: We can show that no single library alone will be able to index the Academic Invisible Web. We suggest collaboration to accomplish this task. Originality/value: Provides library managers and those interested in developing academic search engines with data on the size and attributes of the Academic In-visible Web.
    Content
    Bezug zu: Bergman, M.K.: The Deep Web: surfacing hidden value. In: Journal of Electronic Publishing. 7(2001) no.1, S.xxx-xxx. [Vgl. unter: http://www.press.umich.edu/jep/07-01/bergman.html].
  3. Lewandowski, D.; Mayr, P.: Exploring the academic invisible Web (2006) 0.02
    0.022989638 = product of:
      0.045979276 = sum of:
        0.045979276 = product of:
          0.09195855 = sum of:
            0.09195855 = weight(_text_:web in 2580) [ClassicSimilarity], result of:
              0.09195855 = score(doc=2580,freq=18.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.5408555 = fieldWeight in 2580, product of:
                  4.2426405 = tf(freq=18.0), with freq of:
                    18.0 = termFreq=18.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=2580)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Purpose: To provide a critical review of Bergman's 2001 study on the deep web. In addition, we bring a new concept into the discussion, the academic invisible web (AIW). We define the academic invisible web as consisting of all databases and collections relevant to academia but not searchable by the general-purpose internet search engines. Indexing this part of the invisible web is central to scientific search engines. We provide an overview of approaches followed thus far. Design/methodology/approach: Discussion of measures and calculations, estimation based on informetric laws. Literature review on approaches for uncovering information from the invisible web. Findings: Bergman's size estimate of the invisible web is highly questionable. We demonstrate some major errors in the conceptual design of the Bergman paper. A new (raw) size estimate is given. Research limitations/implications: The precision of our estimate is limited due to a small sample size and lack of reliable data. Practical implications: We can show that no single library alone will be able to index the academic invisible web. We suggest collaboration to accomplish this task. Originality/value: Provides library managers and those interested in developing academic search engines with data on the size and attributes of the academic invisible web.
  4. Lewandowski, D.: Wie können sich Bibliotheken gegenüber Wissenschaftssuchmaschinen positionieren? (2007) 0.02
    0.017339872 = product of:
      0.034679744 = sum of:
        0.034679744 = product of:
          0.06935949 = sum of:
            0.06935949 = weight(_text_:web in 5112) [ClassicSimilarity], result of:
              0.06935949 = score(doc=5112,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.4079388 = fieldWeight in 5112, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0625 = fieldNorm(doc=5112)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Dieser Aufsatz beschreibt die Probleme bei der Erschließung des wissenschaftlichen Web (Academic Invisible Web), zeigt Beispiele kommerzieller Wissenschaftssuchmaschinen unter der Leitfrage, was Bibliotheken von diesen lernen können und stellt schließlich Vor- und Nachteile der Wissenschaftssuchmaschinen denen der bisherigen Bibliotheksangebote gegenüber. Daraus werden Empfehlungen abgeleitet, wie sich Bibliotheken mit umfassenden Suchlösungen gegenüber den Wissenschaftssuchmaschinen positionieren können.
  5. Lewandowski, D.: "Find what I mean not what I say" : Neuere Ansätze zur Qualifizierung von Suchmaschinen-Ergebnissen (2001) 0.02
    0.017339872 = product of:
      0.034679744 = sum of:
        0.034679744 = product of:
          0.06935949 = sum of:
            0.06935949 = weight(_text_:web in 5932) [ClassicSimilarity], result of:
              0.06935949 = score(doc=5932,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.4079388 = fieldWeight in 5932, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0625 = fieldNorm(doc=5932)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Seit dem es das Web gibt, seit dem gibt es Suchmaschinen und ebenso Klagen über quantitativ und qualitativ unzureichende Suchergebnisse, schlechte Rankingverfahren und so weiter. Auch die Entwicklung von Meta-Suchmaschinen hat daran nicht viel geändert. Und alle Ansätze, die darauf setzten, dass die Seitenersteller oder die Nutzer selbst sich im Umgang mit dem Web qualifizieren, sind bislang gescheitert. Dennoch gibt es neue und Erfolg versprechende Verbesserungen, die sich die Suchenden zunutze machen können
  6. Lewandowski, D.: Web Information Retrieval (2005) 0.02
    0.016219966 = product of:
      0.032439932 = sum of:
        0.032439932 = product of:
          0.064879864 = sum of:
            0.064879864 = weight(_text_:web in 4028) [ClassicSimilarity], result of:
              0.064879864 = score(doc=4028,freq=14.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.38159183 = fieldWeight in 4028, product of:
                  3.7416575 = tf(freq=14.0), with freq of:
                    14.0 = termFreq=14.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.03125 = fieldNorm(doc=4028)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    WebInformationRetrieval hat sich als gesonderter Forschungsbereich herausgebildet. Neben den im klassischen Information Retrieval behandelten Fragen ergeben sich durch die Eigenheiten des Web neue und zusätzliche Forschungsfragen. Die Unterschiede zwischen Information Retrieval und Web Information Retrieval werden diskutiert. Derzweite Teil des Aufsatzes gibt einen Überblick über die Forschungsliteratur der letzten zwei Jahre. Dieser Aufsatz gibt einen Überblick über den Stand der Forschung im Bereich Web Information Retrieval. Im ersten Teil werden die besonderen Probleme, die sich in diesem Bereich ergeben, anhand einer Gegenüberstellung mit dem "klassischen" Information Retrieval erläutert. Der weitere Text diskutiert die wichtigste in den letzten Jahren erschienene Literatur zum Thema, wobei ein Schwerpunkt auf die - so vorhanden-deutschsprachige Literatur gelegt wird. Der Schwerpunkt liegt auf Literatur aus den Jahren 2003 und 2004. Zum einen zeigt sich in dem betrachteten Forschungsfeld eine schnelle Entwicklung, so dass viele ältere Untersuchungen nur noch einen historischen bzw. methodischen Wert haben; andererseits existieren umfassende ältere Reviewartikel (s. v.a. Rasmussen 2003). Schon bei der Durchsicht der Literatur wird allerdings deutlich, dass zu einigen Themenfeldern keine oder nur wenig deutschsprachige Literatur vorhanden ist. Leider ist dies aber nicht nur darauf zurückzuführen, dass die Autoren aus den deutschsprachigen Ländern ihre Ergebnisse in englischer Sprache publizieren. Vielmehr wird deutlich, dass in diesen Ländern nur wenig Forschung im Suchmaschinen-Bereich stattfindet. Insbesondere zu sprachspezifischen Problemen von Web-Suchmaschinen fehlen Untersuchungen. Ein weiteres Problem der Forschung im Suchmaschinen-Bereich liegt in der Tatsache begründet, dass diese zu einem großen Teil innerhalb von Unternehmen stattfindet, welche sich scheuen, die Ergebnisse in großem Umfang zu publizieren, da sie fürchten, die Konkurrenz könnte von solchen Veröffentlichungen profitieren. So finden sich etwa auch Vergleichszahlen über einzelne Suchmaschinen oft nur innerhalb von Vorträgen oder Präsentationen von Firmenvertretern (z.B. Singhal 2004; Dean 2004). Das Hauptaugenmerk dieses Artikels liegt auf der Frage, inwieweit Suchmaschinen in der Lage sind, die im Web vorhanden Inhalte zu indexieren, mit welchen Methoden sie dies tun und ob bzw. wie sie ihre Ziele erreichen. Ausgenommen bleiben damit explizit Fragen der Effizienz bei der Erschließung des Web und der Skalierbarkeit von Suchmaschinen. Anders formuliert: Diese Übersicht orientiert sich an klassisch informationswissenschaftlichen Fragen und spart die eher im Bereich der Informatik diskutierten Fragen weitgehend aus.
  7. Lewandowski, D.: Mit welchen Kennzahlen lässt sich die Qualität von Suchmaschinen messen? (2007) 0.02
    0.015927691 = product of:
      0.031855382 = sum of:
        0.031855382 = product of:
          0.063710764 = sum of:
            0.063710764 = weight(_text_:web in 378) [ClassicSimilarity], result of:
              0.063710764 = score(doc=378,freq=6.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.37471575 = fieldWeight in 378, product of:
                  2.4494898 = tf(freq=6.0), with freq of:
                    6.0 = termFreq=6.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.046875 = fieldNorm(doc=378)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Suchmaschinen bilden den bedeutendsten Zugang zu den im World Wide Web verfügbaren Informationen und haben andere Zugänge zu diesem Informationsbestand (wie etwa Internetverzeichnisse) weitgehend verdrängt. Der Suchmaschinenmarkt ist stark konzentriert; nur wenige Anbieter mit eigener Technologie bieten selbst Endnutzerlösungen an und lizenzieren ihre Technologie an die bekannten Web-Portale wie AOL oder T-Online. Die im vorliegenden Kapitel dargestellten Kennzahlen zur Messung der Qualität von Suchmaschinen basieren einerseits auf Erkenntnissen über den State of the Art der Suchmaschinentechnologie, andererseits stehen sie im Kontext eines umfassenderen Modells der Qualitätsmessung für Web-Suchmaschinen. Die besondere Bedeutung von Erkenntnissen über die Qualität der bestehenden Suchmaschinen ergibt sich einerseits aus ihrer Bedeutung für die Weiterentwicklung der Suchmaschinentechnologie. Qualitätsuntersuchungen geben Hinweise auf die Schwachstellen der Suchmaschinen im Allgemeinen und die ihrer Ranking-Algorithmen im Besonderen. Letztere sind als zentral für die Ergebnisqualität anzusehen und bilden den >Kern< der technologischen Leistungsfähigkeit einer jeden Suchmaschine.
  8. Lewandowski, D.: Neue Suchmaschinen, neue Datenbestände, Desktop-Suche, Shortcuts (2005) 0.02
    0.015326426 = product of:
      0.030652853 = sum of:
        0.030652853 = product of:
          0.061305705 = sum of:
            0.061305705 = weight(_text_:web in 3432) [ClassicSimilarity], result of:
              0.061305705 = score(doc=3432,freq=2.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.36057037 = fieldWeight in 3432, product of:
                  1.4142135 = tf(freq=2.0), with freq of:
                    2.0 = termFreq=2.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.078125 = fieldNorm(doc=3432)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Das Jahr 2004 brachte eigene Suchmaschinen der zwei großen Portalanbieter Yahoo und Microsoft Network, neue und spezialisierte Datenbestände wie Google Scholar sowie die ersten Desktop-Suchtools der Web-Suchmaschinen. Die Entwicklungen im November und Dezember des Jahres weisen weiter in diese Richtung.
  9. Lewandowski, D.: Web Information Retrieval : Technologien zur Informationssuche im Internet (2005) 0.02
    0.015326426 = product of:
      0.030652853 = sum of:
        0.030652853 = product of:
          0.061305705 = sum of:
            0.061305705 = weight(_text_:web in 3635) [ClassicSimilarity], result of:
              0.061305705 = score(doc=3635,freq=50.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.36057037 = fieldWeight in 3635, product of:
                  7.071068 = tf(freq=50.0), with freq of:
                    50.0 = termFreq=50.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.015625 = fieldNorm(doc=3635)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Verfahren des Information Retrieval haben in den letzten Jahren eine enorme Bedeutung erlangt. Während diese Verfahren jahrzehntelang nur Einsatz in spezialisierten Datenbanken fanden, haben sie durch das Aufkommen von Suchmaschinen im World Wide Web mittlerweile eine zentrale Bedeutung in der Informationsversorgung eingenommen. Verfahren des Web Information Retrieval entscheiden darüber, welche Informationen von Nutzern gefunden werden; man spricht auch von einer "Gatekeeper"-Funktion der Suchmaschinen. Diese sind zum bedeutendsten Rechercheinstrument sowohl im privaten, beruflichen als auch wissenschaftlichen Bereich avanciert. Google, die berühmteste der "Information-Retrieval-Firmen", ist fast täglich in den Schlagzeilen zu finden. Immer neue Innovationen (nicht nur dieses Anbieters) zeigen die Web-Suche als dynamisches Feld. Vor allem wird durch die zahlreichen Neuerungen der letzten Jahre, teilweise erst der letzten Monate, deutlich, dass die Suche im Web trotz ihrer mittlerweile fast zehnjährigen Geschichte erst am Anfang steht. Dass dem Web Information Retrieval eine hohe Bedeutung zugemessen wird, zeigt sich auch im wachsenden Interesse kommerzieller Unternehmen an diesem Thema. Ein Blick auf die Sponsorenliste der letztjährigen Konferenz der ACM Special Interest Group on Information Retrieval mag dies verdeutlichen: Neben den wichtigen Suchmaschinen-Anbietern Google, Microsoft, Yahoo und Ask Jeeves finden sich auch Großunternehmen wie IBM, Canon und Sharp. Auch in der gesellschaftlichen Diskussion sind die Suchmaschinen angekommen: Es findet gegenwärtig eine Diskussion um die "Google-Gesellschaft" statt, wobei gefragt wird, inwieweit ein einzelner Anbieter bzw. wenige Anbieter darüber entscheiden sollten, welche Informationen beim Nutzer angelangen. In dieser Hinsicht befassen sich inzwischen auch politische Parteien mit dem Thema. So publizierte etwa die Gründe Bundestagsfraktion ein Diskussionspapier unter dem Titel "Suchmaschinen: Tore zum Netz", in welchem unter anderem die Rolle der Suchmaschinen beim Zugang zu Informationen und Probleme des Datenschutzes bei der Suchmaschinennutzung angesprochen werden.
    Die vorliegende Arbeit setzt auf einer eher technischen Ebene an und bietet die Grundlagen für das Verständnis der Funktionsweise und der Defizite von Web-Suchmaschinen. Während zum klassischen Information Retrieval eine breite Auswahl an Literatur vorliegt, gibt es bisher kein Werk, welches eine umfassende Darstellung des Web Information Retrieval mit seinen Unterscheidungen und Besonderheiten gegenüber dem "klassischen" Information Retrieval bietet. Monographien zum Thema Suchmaschinen behandeln vor allem deren Suchfunktionen oder konzentrieren sich allein auf algorithmische Aspekte des Web Information Retrieval. Die Forschungslitertaur liegt zum überwältigenden Teil nur in englischer Sprache vor; die Forschung selbst findet zu einem großen Teil in den USA statt. Aus diesem Grund werden Spezifika anderer Sprachen als des Englischen sowie Besonderheiten auf nationaler oder gar kontinentaler Ebene vernachlässigt. Die Konsequenzen, die sich aus den Besonderheiten des Web Information Re¬trieval ergeben, wurden bisher nur unzureichend erkannt. Suchmaschinen orientieren sich noch stark am klassischen Information Retrieval, wenn auch teils eigene Rankingkriterien gefunden wurden, vor allem die Ergänzung der klassischen Faktoren durch eine Art der Qualitätsbewertung der indexierten Dokumente. Die Arbeit soll aufzeigen, welche Schritte nötig sind, um Web Information Retrieval vor allem auch in Hinblick auf die Charakteristika der Suchmaschinen-Nutzer effektiv zu gestalten. Die Verfahren des klassischen Information Retrieval versagen hier, da sie einerseits von einer gepflegten Dokumentenkollektion, andererseits von einem geschulten Nutzer ausgehen. Suchmaschinen haben mit Problemen des sog. Index-Spamming zu kämpfen: Hierbei werden (oft in kommerziellem Interesse) inhaltlich wertlose Dokumente erstellt, die in den Trefferlisten der Suchmaschinen auf den vorderen Rängen angezeigt werden sollen, um Nutzer auf eine bestimmte Webseite zu lenken. Zwar existieren Verfahren, die ein solches Spamming verhindern sollen, allerdings können auch diese das Problem lediglich eindämmen, nicht aber verhindern. Das Problem ließe sich wenigstens zum Teil durch die Nutzer lösen, wenn diese gezielte Suchanfragen stellen würden, die solche irrelevanten Treffer ausschließen würden. Allerdings zeigt die Nutzerforschung einheitlich, dass das Wissen der Nutzer über die von ihnen verwendeten Suchmaschinen ausgesprochen gering ist; dies gilt sowohl für ihre Kenntnisse der Funktionsweise der Suchmaschinen als auch die Kenntnis der Suchfunktionen.
    Die Arbeit konzentriert sich neben der Darstellung des Forschungsstands im Bereich des Web Information Retrieval auf einen nutzerzentrierten Ansatz des Aufbaus von Suchmaschinen, der sich aus dem Retrieval in klassischen Datenbanken herleitet. Als zentral für eine erfolgreiche Recherche wird dabei die Möglichkeit der gezielten Beschränkung der Recherche durch den Nutzer gesehen; die wichtigsten Faktoren sind hierbei die Einschränkung nach Aktualität, Qualität und die verbesserte Dokumentauswahl aufgrund einer erweiterten Dokumentrepräsentation. Alle drei Möglichkeiten sind in bisher verfügbaren Suchmaschinen nicht zufrieden stellend implementiert. Ein Problem bei der Bearbeitung des Themas ergab sich aus der Tatsache, dass die Forschung im Bereich Web Information Retrieval zu einem großen Teil bei den Anbietern selbst stattfindet, die darauf bedacht sind, ihre Erkenntnisse nicht zu veröffentlichen und damit der Konkurrenz zu überlassen. Viele Forschungsergebnisse können daher nur anhand der fertiggestellten Anwendungen rekonstruiert werden; hilfreich waren in manchen Fällen auch die von den Suchmaschinenbetreibern angemeldeten Patente, die für die vorliegende Arbeit ausgewertet wurden. Insgesamt zeigt sich, dass eine neue Form des Information Retrieval entstanden ist. Ziele des klassischen Information Retrieval wie die Vollständigkeit der Treffermenge verlieren ob der schieren Masse der zurückgegebenen Treffer an Bedeutung; dafür werden Faktoren der Qualitätsbewertung der Dokumente immer wichtiger. Das Web Information Retrieval setzt auf dem klassischen Information Retrieval auf und erweitert dieses wo nötig. Das Ziel bleibt aber weitgehend das gleiche: Dem Nutzer die für die Befriedigung seines Informationsbedürfnisses besten Ergebnisse zu liefern. Neben der Informationswissenschaft findet die Information-Retrieval-Forschung hauptsächlich in der Informatik statt. Der informationswissenschaftlichen Forschung kommt die Aufgabe zu, den stark technik-zentrierten Ansatz der Informatik um einen "Blick fürs Ganze" zu erweitern und insbesondere die Bedürfnisse der Nutzer in ihren Ansatz einzubinden. Aufgrund der enormen Bedeutung des Web Information Retrieval, welches in den klassischen informationswissenschaftlichen Bereich fällt, ergibt sich für die Informationswissenschaft auch die Chance, sich in diesem Thema gegenüber anderen Disziplinen zu profilieren. Zum Aufbau der Arbeit Die Arbeit lässt sich grob in zwei Hauptteile gliedern: Der erste Teil (Kap. 2-10) beschreibt den Bereich Web Information Retrieval mit allen seinen Besonderheiten in Abgrenzung zum klassischen Information Retrieval; der zweite Teil (Kap. 11-13) stellt anhand der Ergebnisse des ersten Teils einen nutzerzentrierten Ansatz der Rechercheverfeinerung in mehreren Schritten vor.
    Content
    Inhalt: 1 Einleitung 2 Forschungsumfeld 2.1 Suchmaschinen-Markt 2.2 Formen der Suche im WWW 2.3 Aufbau algorithmischer Suchmaschinen 2.4 Abfragesprachen 2.5 Arten von Suchanfragen 2.6 Nutzerstudien 2.7 Forschungsbereiche 3 Die Größe des Web und seine Abdeckung durch Suchmaschinen 3.1 Die Größe des indexierbaren Web 3.2 Die Struktur des Web 3.3 Crawling 3.4 Aktualität der Suchmaschinen 3.5 Das Invisible Web 4 Strukturinformationen 4.1 Strukturierungsgrad von Dokumenten 4.2 Strukturinformationen in den im Web gängigen Dokumenten 4.3 Trennung von Navigation, Layout und Inhalt 4.4 Repräsentation der Dokumente in den Datenbanken der Suchmaschinen 5 Klassische Verfahren des Information Retrieval und ihre Anwendung bei WWW-Suchmaschinen 5.1 Unterschiede zwischen klassischem Information Retrieval und Web Information Retrieval 5.2 Kontrolliertes Vokabular 5.3 Kriterien für die Aufnahme in den Datenbestand 5.4 Modelle des Information Retrieval 6 Ranking 6.1 Rankingfaktoren 6.2 Messbarkeit von Relevanz 6.3 Grundsätzliche Probleme des Relevance Ranking in Suchmaschinen
    7 Informationsstatistische und informationslinguistische Verfahren 7.1 Textstatistische Verfahren 7.2 Nutzungsstatistische Verfahren 7.3 Informationslinguistische Verfahren 8 Linktopologische Rankingverfahren 8.1 Grundlagen linktopologischer Rankingverfahren: Science Citation Indexing 8.2 PageRank 8.3 Kleinbergs HITS 8.4 Hilltop 8.5 Evaluierung linktopologischer Verfahren 8.6 Problembereiche linktopologischer Rankingverfahren 8.7 Fazit linktopologische Verfahren 9 Retrievaltests 9.1 Aufbau und Nutzen von Retrievaltests 9.2 Aufbau und Ergebnisse ausgewählter Retrievaltests 9.3 Kritik an Retrievaltests 10 Verfahren der intuitiven Benutzerführung 10.1 Relevance Feedback 10.2 Vorschläge zur Erweiterung und Einschränkung der Suchanfrage 10.3 Klassifikation und Thesaurus 10.4 Clusterbildung 11 Aktualität 11.1 Bedeutung der Beschränkung nach der Aktualität der Dokumente 11.2 Funktionsfähigkeit der Datumsbeschränkung in Suchmaschinen 11.3 Möglichkeiten der Ermittlung von Datumsangaben in Web-Dokumenten 11.4 Aktualitätsfaktoren im Ranking 11.5 Spezialisierte Suchmaschinen für Nachrichten 11.6 Auswahl der gewünschten Aktualität durch den Nutzer 12 Qualität 12.1 Bedeutung der Beschränkung nach der Qualität der Dokumente 12.2 Qualitätsbeschränkungen bei der Recherche in Datenbank-Hosts 12.3 Identifizierung von Top-Quellen im WWW 12.4 Manuelle Einbindung von Top-Quellen 12.5 Automatisierte Einbindung von Invisible-Web-Quellen 12.6 Einbindung von Web-Verzeichnissen in Suchmaschinen 13 Verbesserung der Dokumentrepräsentation 13.1 Beschränkung auf den Inhaltsteil der Dokumente 13.2 Erweiterungen der Dokumentrepräsentation 13.3 Ersatz für die Nicht-Verwendbarkeit generischer Top-Level-Domains 13.4 Aufbereitung der Suchergebnisse in den Trefferlisten 14 Fazit und Ausblick 15 Literaturverzeichnis
  10. Lewandowski, D.: Perspektiven eines Open Web Index (2016) 0.02
    0.015172388 = product of:
      0.030344777 = sum of:
        0.030344777 = product of:
          0.060689554 = sum of:
            0.060689554 = weight(_text_:web in 2935) [ClassicSimilarity], result of:
              0.060689554 = score(doc=2935,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.35694647 = fieldWeight in 2935, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0546875 = fieldNorm(doc=2935)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Der Suchmaschinenmarkt wird seit vielen Jahren von nur einer einzigen Suchmaschine, Google, dominiert. Es wurde mittlerweile erkannt, dass diese Situation nicht wünschenswert ist. Wir sprechen nun über mögliche Lösungen. Der Artikel diskutiert unterschiedliche Lösungsansätze und fokussiert dabei auf die Idee einen Offenen Web-Index (OWI), der als öffentliche Infrastruktur verfügbar gemacht werden soll. Die Grundidee ist die Trennung von Datenbestand (Index) und darauf aufsetzenden Diensten, welche in großer Zahl in privater Initiative betrieben werden können. Es geht also darum, die Basis für Vielfalt zu schaffen.
  11. Lewandowski, D.: Alles nur noch Google? : Entwicklungen im Bereich der WWW-Suchmaschinen (2002) 0.01
    0.014117276 = product of:
      0.028234553 = sum of:
        0.028234553 = product of:
          0.056469105 = sum of:
            0.056469105 = weight(_text_:22 in 997) [ClassicSimilarity], result of:
              0.056469105 = score(doc=997,freq=2.0), product of:
                0.18244034 = queryWeight, product of:
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.052098576 = queryNorm
                0.30952093 = fieldWeight in 997, product of:
                  1.4142135 = tf(freq=2.0), with freq of:
                    2.0 = termFreq=2.0
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.0625 = fieldNorm(doc=997)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Date
    29. 9.2002 18:49:22
  12. Lewandowski, D.: Abfragesprachen und erweiterte Funktionen von WWW-Suchmaschinen (2004) 0.01
    0.014117276 = product of:
      0.028234553 = sum of:
        0.028234553 = product of:
          0.056469105 = sum of:
            0.056469105 = weight(_text_:22 in 2314) [ClassicSimilarity], result of:
              0.056469105 = score(doc=2314,freq=2.0), product of:
                0.18244034 = queryWeight, product of:
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.052098576 = queryNorm
                0.30952093 = fieldWeight in 2314, product of:
                  1.4142135 = tf(freq=2.0), with freq of:
                    2.0 = termFreq=2.0
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.0625 = fieldNorm(doc=2314)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Date
    28.11.2004 13:11:22
  13. Schaer, P.; Mayr, P.; Sünkler, S.; Lewandowski, D.: How relevant is the long tail? : a relevance assessment study on million short (2016) 0.01
    0.013273074 = product of:
      0.026546149 = sum of:
        0.026546149 = product of:
          0.053092297 = sum of:
            0.053092297 = weight(_text_:web in 3144) [ClassicSimilarity], result of:
              0.053092297 = score(doc=3144,freq=6.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.3122631 = fieldWeight in 3144, product of:
                  2.4494898 = tf(freq=6.0), with freq of:
                    6.0 = termFreq=6.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=3144)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Users of web search engines are known to mostly focus on the top ranked results of the search engine result page. While many studies support this well known information seeking pattern only few studies concentrate on the question what users are missing by neglecting lower ranked results. To learn more about the relevance distributions in the so-called long tail we conducted a relevance assessment study with the Million Short long-tail web search engine. While we see a clear difference in the content between the head and the tail of the search engine result list we see no statistical significant differences in the binary relevance judgments and weak significant differences when using graded relevance. The tail contains different but still valuable results. We argue that the long tail can be a rich source for the diversification of web search engine result lists but it needs more evaluation to clearly describe the differences.
  14. Lewandowski, D.; Sünkler, S.: ¬Das Relevance Assessment Tool : eine modulare Software zur Unterstützung bei der Durchführung vielfältiger Studien mit Suchmaschinen (2019) 0.01
    0.013004904 = product of:
      0.026009807 = sum of:
        0.026009807 = product of:
          0.052019615 = sum of:
            0.052019615 = weight(_text_:web in 5026) [ClassicSimilarity], result of:
              0.052019615 = score(doc=5026,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.3059541 = fieldWeight in 5026, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.046875 = fieldNorm(doc=5026)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    In diesem Artikel stellen wir eine Software vor, mit der sich Studien zu Such- und Informationssystemen realisieren lassen. Das Relevance Assessment Tool (RAT) soll umfangreiche Untersuchungen mit Daten von kommerziellen Suchmaschinen unterstützen. Die Software ist modular und webbasiert. Es lassen sich damit automatisiert Daten von Suchmaschinen erfassen. Dazu können Studien mit Fragen und Skalen flexibel gestaltet und die Informationsobjekte anhand der Fragen durch Juroren bewertet werden. Durch die Modularität lassen sich die einzelnen Komponenten für eine Vielzahl von Studien nutzen, die sich auf Web-Inhalte beziehen. So kann die Software auch für qualitative Inhaltsanalysen eingesetzt werden oder durch das automatisierte Scraping eine große Datenbasis an Web-Dokumenten liefern, die sich quantitativ in empirischen Studien analysieren lassen.
  15. Lewandowski, D.: Suchmaschinen (2023) 0.01
    0.013004904 = product of:
      0.026009807 = sum of:
        0.026009807 = product of:
          0.052019615 = sum of:
            0.052019615 = weight(_text_:web in 793) [ClassicSimilarity], result of:
              0.052019615 = score(doc=793,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.3059541 = fieldWeight in 793, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.046875 = fieldNorm(doc=793)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Eine Suchmaschine (auch: Web-Suchmaschine, Universalsuchmaschine) ist ein Computersystem, das Inhalte aus dem World Wide Web (WWW) mittels Crawling erfasst und über eine Benutzerschnittstelle durchsuchbar macht, wobei die Ergebnisse in einer nach systemseitig angenommener Relevanz geordneten Darstellung aufgeführt werden. Dies bedeutet, dass Suchmaschinen im Gegensatz zu anderen Informationssystemen nicht auf einem klar abgegrenzten Datenbestand aufbauen, sondern diesen aus den verstreut vorliegenden Dokumenten des WWW zusammenstellen. Dieser Datenbestand wird über eine Benutzerschnittstelle zugänglich gemacht, die so gestaltet ist, dass die Suchmaschine von Laien problemlos genutzt werden kann. Die zu einer Suchanfrage ausgegebenen Treffer werden so sortiert, dass den Nutzenden die aus Systemsicht relevantesten Dokumente zuerst angezeigt werden. Dabei handelt es sich um komplexe Bewertungsverfahren, denen zahlreiche Annahmen über die Relevanz von Dokumenten in Bezug auf Suchanfragen zugrunde liegen.
  16. Lewandowski, D.: Evaluierung von Suchmaschinen (2011) 0.01
    0.012261141 = product of:
      0.024522282 = sum of:
        0.024522282 = product of:
          0.049044564 = sum of:
            0.049044564 = weight(_text_:web in 349) [ClassicSimilarity], result of:
              0.049044564 = score(doc=349,freq=2.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.2884563 = fieldWeight in 349, product of:
                  1.4142135 = tf(freq=2.0), with freq of:
                    2.0 = termFreq=2.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0625 = fieldNorm(doc=349)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Source
    Handbuch Internet-Suchmaschinen, 2: Neue Entwicklungen in der Web-Suche. Hrsg.: D. Lewandowski
  17. Lewandowski, D.: Suchmaschinen - ein Thema für die Informationswissenschaft (2005) 0.01
    0.012164975 = product of:
      0.02432995 = sum of:
        0.02432995 = product of:
          0.0486599 = sum of:
            0.0486599 = weight(_text_:web in 3183) [ClassicSimilarity], result of:
              0.0486599 = score(doc=3183,freq=14.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.28619388 = fieldWeight in 3183, product of:
                  3.7416575 = tf(freq=14.0), with freq of:
                    14.0 = termFreq=14.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0234375 = fieldNorm(doc=3183)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Content
    "Web-Suchmaschinen gibt es seit mittlerweile etwa zehn Jahren. Mit ihnen ist die Informationsrecherche, welche lange Zeit eine Sache für (uns) Experten war, bei Otto Normalverbraucher angekommen. Suchmaschinen haben sich an die Bedürfnisse dieser Nutzerschaft angepasst, was von Expertenseite zu vielerlei Klagen über ihre "Primitivität` geführt hat. Als Chance kann hier aber die Erkenntnis gesehen werden, dass die Nutzer einfache Interfaces und ein gutes Ranking der Suchergebnisse benötigen - auch in fachlichen Anwendungen. Der Durchbruch des Information Retrieval und seiner Bedeutung zeigt sich aber nicht nur durch die breite Nutzerschaft. Das Kernstück von erfolgreichen Suchmaschinen-Unternehmen wie Google und Yahoo! bilden Information-Retrieval-Verfahren - von besonderem Interesse sind dabei stets die von den Firmen geheim gehaltenen Ranking-Algorithmen. Die Forschung im IR-Bereich findet inzwischen zahlreiche namhafte Sponsoren - bei der letzten Jahrestagung der Special Interest Group an Information Retrieval (SIGIR) waren unter anderem Microsoft, IBM und Google mit im Boot. Suchmaschinen-Forschung findet in Deutschland in zahlreichen Hochschulen und Unternehmen statt, dabei ist sie allerdings verstreut und wenig koordiniert. Die zahlreichen auf das Call for Papers für dieses Themenheft der IWP eingegangenen Beiträge zeigen erfreulicherweise ein großes Potenzial für die informationswissenschaftliche Forschung in diesem Bereich. Der erste Beitrag befasst sich mit den Eigenheiten des Web und arbeitet die Unterschiede zwischen klassischem Information Retrieval und Web Information Retrieval heraus. Damit werden die Grundlagen für die Diskussion über Suchmaschinen gelegt. Der zweite Teil des Beitrags gibt einen Überblick der aktuellen Forschungsliteratur mit informationswissenschaftlichem Schwerpunkt und hat zum Ziel, weitere Forschung anzuregen. Thomas Mandl beschreibt in der Darstellung seines AOUAINT-Projekts die unterschiedlichen Ansätze, (Web-)Dokumente nach ihrer Oualität zu beurteilen. Solche Verfahren werden bereits von den bisher bestehenden Suchmaschinen eingesetzt; man denke etwa an das Kernstück von Google, das so genannte PageRank-Verfahren. Allerdings beschränken sich die bisherigen Verfahren nur auf einzelne Aspekte von Qualität. AOUAINT erweitert die Qualitätsbewertung um weitere Faktoren und kann so das Retrieval verbessern.
    Neben den "harten Faktoren" der Oualität der Suchergebnisse spielt auch die Gestaltung von Suchinterfaces eine wichtige Rolle für die Akzeptanz bzw. Nicht-Akzeptanz von Suchwerkzeugen. Die Untersuchung von Jens Fauldrath und Arne Kunisch vergleicht die Interfaces der wichtigsten in Deutschland vertretenen Suchmaschinen und Portale und gibt Empfehlungen für deren Gestaltung und Funktionsumfang. Neue Wege in der Gestaltung von Ergebnismengen beschreibt der Beitrag von Fridolin Wild. Anhand des Vergleichs von bestehenden Visualisierungslösungen werden best practices für die Ergebnispräsentation herausgearbeitet. Für die Zukunft rechnet Wild mit einem zunehmenden Einsatz solcher Systeme, da er in ihnen die Möglichkeit sieht, nicht nur die Benutzeroberflächen zu verändern, sondern auch das Retrivalverfahren an sich zu verbessern. Die Internationalität des Web hat es mit sich gebracht, dass Suchmaschinen in der Regel für den weltweiten Markt entwickelt werden. Wie sie mit einzelnen Sprachen umgehen, ist bisher weitgehend un geklärt. Eine Untersuchung über den Umgang von Suchmaschinen mit den Eigenheiten der deutschen Sprache legen Esther Guggenheim und Judith Bar-Ilan vor. Sie kommen zu dem Schluss, dass die populären Suchmaschinen zunehmend besser mit deutschsprachigen Anfragen umgehen können, sehen allerdings weitere Verbesserungsmöglichkeiten. Dem noch relativ neuen Forschungsgebiet der Webometrie ist der Beitrag von Philipp Mayr und Fabio Tosques zuzuordnen. Webometrie wendet die aus der Bibliometrie bzw. Informetrie bekannten Verfahren auf den Web-Korpus an. Im vorliegenden Beitrag wird das Application Programming Interface (API) von Google auf seine Tauglichkeit für webometrische Untersuchungen getestet. Die Autoren kommen zu dem Schluss, dass kleinere Einschränkungen und Probleme nicht die zahlreichen Möglichkeiten, die das API bietet, mindern. Ein Beispiel für den Einsatz von Suchmaschinen-Technologie in der Praxis beschreibt schließlich der letzte Beitrag des Hefts. Friedrich Summann und Sebastian Wolf stellen eine Suchmaschine für wissenschaftliche Inhalte vor, die die Oualität von Fachdatenbanken mit der Benutzerfreundlichkeit von Web-Suchmaschinen verbinden soll. Im Aufsatz werden die eingesetzten Technologien und die möglichen Einsatzgebiete beschrieben. Der Gastherausgeber wünscht sich von diesem Themenheft, dass es Anregungen für weitere Forschungs- und Anwendungsprojekte geben möge, sei dies an Hochschulen oder in Unternehmen."
  18. Lewandowski, D.: ¬The retrieval effectiveness of web search engines : considering results descriptions (2008) 0.01
    0.01083742 = product of:
      0.02167484 = sum of:
        0.02167484 = product of:
          0.04334968 = sum of:
            0.04334968 = weight(_text_:web in 2345) [ClassicSimilarity], result of:
              0.04334968 = score(doc=2345,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.25496176 = fieldWeight in 2345, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=2345)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Purpose - The purpose of this paper is to compare five major web search engines (Google, Yahoo, MSN, Ask.com, and Seekport) for their retrieval effectiveness, taking into account not only the results, but also the results descriptions. Design/methodology/approach - The study uses real-life queries. Results are made anonymous and are randomized. Results are judged by the persons posing the original queries. Findings - The two major search engines, Google and Yahoo, perform best, and there are no significant differences between them. Google delivers significantly more relevant result descriptions than any other search engine. This could be one reason for users perceiving this engine as superior. Research limitations/implications - The study is based on a user model where the user takes into account a certain amount of results rather systematically. This may not be the case in real life. Practical implications - The paper implies that search engines should focus on relevant descriptions. Searchers are advised to use other search engines in addition to Google. Originality/value - This is the first major study comparing results and descriptions systematically and proposes new retrieval measures to take into account results descriptions.
  19. Lewandowski, D.; Drechsler, J.; Mach, S. von: Deriving query intents from web search engine queries (2012) 0.01
    0.01083742 = product of:
      0.02167484 = sum of:
        0.02167484 = product of:
          0.04334968 = sum of:
            0.04334968 = weight(_text_:web in 385) [ClassicSimilarity], result of:
              0.04334968 = score(doc=385,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.25496176 = fieldWeight in 385, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=385)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    The purpose of this article is to test the reliability of query intents derived from queries, either by the user who entered the query or by another juror. We report the findings of three studies. First, we conducted a large-scale classification study (~50,000 queries) using a crowdsourcing approach. Next, we used clickthrough data from a search engine log and validated the judgments given by the jurors from the crowdsourcing study. Finally, we conducted an online survey on a commercial search engine's portal. Because we used the same queries for all three studies, we also were able to compare the results and the effectiveness of the different approaches. We found that neither the crowdsourcing approach, using jurors who classified queries originating from other users, nor the questionnaire approach, using searchers who were asked about their own query that they just entered into a Web search engine, led to satisfying results. This leads us to conclude that there was little understanding of the classification tasks, even though both groups of jurors were given detailed instructions. Although we used manual classification, our research also has important implications for automatic classification. We must question the success of approaches using automatic classification and comparing its performance to a baseline from human jurors.
  20. Behnert, C.; Lewandowski, D.: ¬A framework for designing retrieval effectiveness studies of library information systems using human relevance assessments (2017) 0.01
    0.01083742 = product of:
      0.02167484 = sum of:
        0.02167484 = product of:
          0.04334968 = sum of:
            0.04334968 = weight(_text_:web in 3700) [ClassicSimilarity], result of:
              0.04334968 = score(doc=3700,freq=4.0), product of:
                0.17002425 = queryWeight, product of:
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.052098576 = queryNorm
                0.25496176 = fieldWeight in 3700, product of:
                  2.0 = tf(freq=4.0), with freq of:
                    4.0 = termFreq=4.0
                  3.2635105 = idf(docFreq=4597, maxDocs=44218)
                  0.0390625 = fieldNorm(doc=3700)
          0.5 = coord(1/2)
      0.5 = coord(1/2)
    
    Abstract
    Purpose This paper demonstrates how to apply traditional information retrieval evaluation methods based on standards from the Text REtrieval Conference (TREC) and web search evaluation to all types of modern library information systems including online public access catalogs, discovery systems, and digital libraries that provide web search features to gather information from heterogeneous sources. Design/methodology/approach We apply conventional procedures from information retrieval evaluation to the library information system context considering the specific characteristics of modern library materials. Findings We introduce a framework consisting of five parts: (1) search queries, (2) search results, (3) assessors, (4) testing, and (5) data analysis. We show how to deal with comparability problems resulting from diverse document types, e.g., electronic articles vs. printed monographs and what issues need to be considered for retrieval tests in the library context. Practical implications The framework can be used as a guideline for conducting retrieval effectiveness studies in the library context. Originality/value Although a considerable amount of research has been done on information retrieval evaluation, and standards for conducting retrieval effectiveness studies do exist, to our knowledge this is the first attempt to provide a systematic framework for evaluating the retrieval effectiveness of twenty-first-century library information systems. We demonstrate which issues must be considered and what decisions must be made by researchers prior to a retrieval test.