-
Geist, K.: Qualität und Relevanz von bildungsbezogenen Suchergebnissen bei der Suche im Web (2012)
0.03
0.031034613 = product of:
0.062069226 = sum of:
0.062069226 = product of:
0.12413845 = sum of:
0.12413845 = weight(_text_:dokumente in 570) [ClassicSimilarity], result of:
0.12413845 = score(doc=570,freq=4.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.47746342 = fieldWeight in 570, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.046875 = fieldNorm(doc=570)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Websuchmaschinen haben sich sowohl im privaten als auch im professionellen Bereich zu den bedeutsamsten Recherchewerkzeugen der Gegenwart entwickelt. Sie durchsuchen die Weiten des Internets, um verfügbare Dokumente zu erfassen und dem Benutzer auf Anfrage präsentieren zu können. Mit den gefundenen Dokumenten beabsichtigen sie vielfältige Informationsbedürfnisse zu befriedigen. Ihr Erfolg basiert zu einem großen Teil auf der Fähigkeit, relevante Dokumente zu spezifischen Suchanfragen zu liefern. Um verschiedene Systeme miteinander vergleichen zu können, werden daher häufig Relevanzevaluationen durchgeführt. Dieser Artikel beschreibt in Auszügen die Ergebnisse eines Retrievaltests, der Qualität und Relevanz informationsorientierter Suchanfragen zum Thema Bildung untersucht. Studentische Nutzer beurteilten dabei die Suchergebnisse von Google hinsichtlich ihrer Relevanz, Vertrauenswürdigkeit, Verständlichkeit und Aktualität. Die Untersuchung wurde im Rahmen meiner Magisterarbeit durchgeführt, die mit dem VFI-Förderungspreis 2011 ausgezeichnet wurde, und war eingebunden in ein Forschungsprojekt an der Universität Hildesheim zu bildungsbezogener Informationssuche im Internet (BISIBS). Ich bedanke mich herzlich bei allen, die an der Entstehung dieser Arbeit beteiligt waren und bei der Preis-Kommission für die Auszeichnung.
-
Bauer, G.; Schneider, C.: PADOK-II : Untersuchungen zur Volltextproblematik und zur interpretativen Analyse der Retrievalprotokolle (1990)
0.03
0.029259713 = product of:
0.058519427 = sum of:
0.058519427 = product of:
0.11703885 = sum of:
0.11703885 = weight(_text_:dokumente in 4164) [ClassicSimilarity], result of:
0.11703885 = score(doc=4164,freq=2.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.45015684 = fieldWeight in 4164, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.0625 = fieldNorm(doc=4164)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Dieser Beitrag baut auf dem Bericht über das methodische Konzept, über die Durchführung und die Ergebnisse der PADOK-II-Retrievaltests auf (Krause/Wormser-Hacker). Hier werden die Ergebnisse von Zusatztests zum Einfluß des Umfangs der zugrundeliegenden Dokumente (Volltext vs. Titel+Abstract) beschrieben, die eine deutliche Beeinträchtigung der Recall-Werte bei reduziertem Dokumentenumfang zeigen. Zur interpretativen Analyse der Retrievalprotokolle werden vor allem die methodische Einbindung, Ansatzpunkte der Analyse und erste Ergebnisse vorgestelt.
-
Mandl, T.: Web- und Multimedia-Dokumente : Neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen (2003)
0.03
0.029259713 = product of:
0.058519427 = sum of:
0.058519427 = product of:
0.11703885 = sum of:
0.11703885 = weight(_text_:dokumente in 1734) [ClassicSimilarity], result of:
0.11703885 = score(doc=1734,freq=2.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.45015684 = fieldWeight in 1734, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.0625 = fieldNorm(doc=1734)
0.5 = coord(1/2)
0.5 = coord(1/2)
-
Fuhr, N.; Niewelt, B.: ¬Ein Retrievaltest mit automatisch indexierten Dokumenten (1984)
0.02
0.024208086 = product of:
0.04841617 = sum of:
0.04841617 = product of:
0.09683234 = sum of:
0.09683234 = weight(_text_:22 in 262) [ClassicSimilarity], result of:
0.09683234 = score(doc=262,freq=2.0), product of:
0.17876907 = queryWeight, product of:
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.05105019 = queryNorm
0.5416616 = fieldWeight in 262, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.109375 = fieldNorm(doc=262)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Date
- 20.10.2000 12:22:23
-
Petras, V.; Womser-Hacker, C.: Evaluation im Information Retrieval (2023)
0.02
0.021944785 = product of:
0.04388957 = sum of:
0.04388957 = product of:
0.08777914 = sum of:
0.08777914 = weight(_text_:dokumente in 808) [ClassicSimilarity], result of:
0.08777914 = score(doc=808,freq=2.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.33761764 = fieldWeight in 808, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.046875 = fieldNorm(doc=808)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Das Ziel einer Evaluation ist die Überprüfung, ob bzw. in welchem Ausmaß ein Informationssystem die an das System gestellten Anforderungen erfüllt. Informationssysteme können aus verschiedenen Perspektiven evaluiert werden. Für eine ganzheitliche Evaluation (als Synonym wird auch Evaluierung benutzt), die unterschiedliche Qualitätsaspekte betrachtet (z. B. wie gut ein System relevante Dokumente rankt, wie schnell ein System die Suche durchführt, wie die Ergebnispräsentation gestaltet ist oder wie Suchende durch das System geführt werden) und die Erfüllung mehrerer Anforderungen überprüft, empfiehlt es sich, sowohl eine perspektivische als auch methodische Triangulation (d. h. der Einsatz von mehreren Ansätzen zur Qualitätsüberprüfung) vorzunehmen. Im Information Retrieval (IR) konzentriert sich die Evaluation auf die Qualitätseinschätzung der Suchfunktion eines Information-Retrieval-Systems (IRS), wobei oft zwischen systemzentrierter und nutzerzentrierter Evaluation unterschieden wird. Dieses Kapitel setzt den Fokus auf die systemzentrierte Evaluation, während andere Kapitel dieses Handbuchs andere Evaluationsansätze diskutieren (s. Kapitel C 4 Interaktives Information Retrieval, C 7 Cross-Language Information Retrieval und D 1 Information Behavior).
-
Lohmann, H.: KASCADE: Dokumentanreicherung und automatische Inhaltserschließung : Projektbericht und Ergebnisse des Retrievaltests (2000)
0.02
0.018103525 = product of:
0.03620705 = sum of:
0.03620705 = product of:
0.0724141 = sum of:
0.0724141 = weight(_text_:dokumente in 494) [ClassicSimilarity], result of:
0.0724141 = score(doc=494,freq=4.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.27852035 = fieldWeight in 494, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.02734375 = fieldNorm(doc=494)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Verbesserungen des Gewichtungsverfahrens sollten schließlich unterstützt werden durch Maßnahmen zur Optimierung der Retrievalumgebung, etwa durch - den Einsatz von Hypertextwerkzeugen; - die Integration der THEAS-Komponente, mit der die automatische Mehrwortgruppengewinnung mit Hilfe eines Mehrwortgruppen-Parsers möglich ist; dies könnte im Rahmen der Dialogführung mit dem Nutzer eingesetzt werden, wenn dieser Teilkomponenten solcher Mehrwortgruppen im Retrieval verwendet. Mit THEAS wäre daneben der Einstieg in das Retrieval über das Register mit kanonischen Formen möglich; - die Integration von Wörterbuchfunktionen zur Benutzerunterstützung. Eine Weiterentwicklung des SELIX-Verfahrens könnte daneben in diese Richtungen erfolgen: - Bildung von Dokument-Clustern. Dabei werden Dokumente in einem Dokumenten-Raum einander in dem Maße zugeordnet, in dem ihre selektierten Grundformen übereinstimmen. - Errichtung von statistisch basierten semantischen Netzen, in denen Grundformen einander in einem Begriffs-Raum in dem Maße zugeordnet werden, in dem sie "gemeinsam" in Dokumenten auftreten.
Da sich mit jedem Dokument, das zu dem im Gewichtungsverfahren befindlichen Gesamtbestand hinzukommt, die Werte aller bereits gewichteten Deskriptoren ändern können, müsste die Berechnung der Häufigkeitsverteilung jeder Grundform im Prinzip nach jeder Änderung im Dokumentbestand neu berechnet werden. Eine Online-Aktualisierung des Bestandes erscheint daher wenig sinnvoll. In der Praxis könnte eine Neuberechnung in bestimmten zeitlichen Abständen mit einem Abzug des OPAC-Bestandes unabhängig vom eigentlichen Betrieb des OPAC erfolgen, was auch insofern genügen würde, als die zugrunde liegenden Maße auf relativen Häufigkeiten basieren. Dadurch würde nur ein geringer Verzug in der Bereitstellung der aktuellen Gewichte eintreten. Außerdem würde der Zeitfaktor eine nur untergeordnete Rolle spielen, da ein offline ablaufender Gewichtungslauf erst bis zum nächsten Aktualisierungszeitpunkt abgeschlossen sein müsste. Denkbar wäre zusätzlich, für die Zeit zwischen zwei Aktualisierungen des OPACs für die in den Neuzugängen enthaltenen Begriffe Standardgewichte einzusetzen, soweit diese Begriffe bereits in dem Bestand auftreten. Bei entsprechender Optimierung und Rationalisierung der SELIX-Verfahrensabläufe, Nutzung der Gewichte auf der Retrievalseite für ein Ranking der auszugebenden Dokumente und Integration der THEAS-Komponente kann das Verfahren zu einem wirkungsvollen Instrument zur Verbesserung der Retrievaleffektivität weiterentwickelt werden.
-
Womser-Hacker, C.: Theorie des Information Retrieval III : Evaluierung (2004)
0.01
0.014629857 = product of:
0.029259713 = sum of:
0.029259713 = product of:
0.058519427 = sum of:
0.058519427 = weight(_text_:dokumente in 2919) [ClassicSimilarity], result of:
0.058519427 = score(doc=2919,freq=2.0), product of:
0.25999573 = queryWeight, product of:
5.092943 = idf(docFreq=737, maxDocs=44218)
0.05105019 = queryNorm
0.22507842 = fieldWeight in 2919, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.092943 = idf(docFreq=737, maxDocs=44218)
0.03125 = fieldNorm(doc=2919)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Information-Retrieval-Systeme wurden bereits sehr früh aus einer bewertenden Perspektive betrachtet. Jede neu entwickelte Komponente sollte effektivitätssteigernd für das gesamte System wirken und musste ihre Funktionalität unter Beweis stellen oder den Vergleich zu existierenden Verfahren antreten (z.B. automatische Indexierung vs. manuelle Erschließung von Informationsobjekten). 1963 fanden die Cranfield-II-Experimente statt und begründeten die Evaluierungsprinzipien im Information Retrieval. Somit haben auch Bewertungsverfahren, -ansätze und -methoden bereits eine lange Tradition. Die von Sparck Jones eingebrachte Feststellung, dass die genauen Gründe für das Verhalten von Information-Retrieval-Systemen oft im Dunklen lägen, führte zu der Forderung nach einer exakten und expliziten Evaluierungsmethodologie und experimentellen Überprüfbarkeit. Als generelle Herangehensweise hat sich ein indirektes Verfahren zur Bewertung von InformationRetrieval-Systemen etabliert, bei welchem das System an sich als black box gesehen und nur der Retrievaloutput als Grundlage für die Bewertung herangezogen wird. In den Experimenten stand die Systemperspektive im Vordergrund, um zu einer bewertenden Aussage zu gelangen. Es wurde gemessen, wie gut die Systeme in der Lage sind, die an sie gestellten Anforderungen zu erfüllen, relevante Dokumente zu liefern und nicht-relevante zurückzuhalten. Durch die zunehmende Komplexität der Systeme sowie die immer stärkere Einbeziehung von Benutzern, die nicht über die Kompetenz und Professionalität von Informationsfachleuten verfügen, wurde es immer schwieriger, Einzeleigenschaften vom Gesamtsystem zu isolieren und experimentell zu bewerten. Erst im Zeitalter der Suchmaschinen ist man zu der Ansicht gelangt, dass den Benutzern der Systeme eine entscheidende Rolle bei der Bewertung zukommt. Die Verfahren der Qualitätsbewertung müssen - wie dieses Beispiel zeigt - ständig weiterentwickelt werden. Die Benutzermerkmale können heterogen sein und sich einer genauen Kenntnis entziehen, was eine vollständige Formalisierung bzw. Quantifizierung erschwert. Neueren Datums sind Studien, die sich auf interaktive Information-Retrieval-Systeme oder auf die Qualitätsbestimmung bestimmter Teilkomponenten spezialisiert haben wie z.B. die Erschließungsoder Visualisierungskomponente, die Gestaltung der Benutzungsschnittstelle aus softwareergonomischer Sicht oder auch die Multilingua-Fähigkeit.
-
Dresel, R.; Hörnig, D.; Kaluza, H.; Peter, A.; Roßmann, A.; Sieber, W.: Evaluation deutscher Web-Suchwerkzeuge : Ein vergleichender Retrievaltest (2001)
0.01
0.013833192 = product of:
0.027666384 = sum of:
0.027666384 = product of:
0.05533277 = sum of:
0.05533277 = weight(_text_:22 in 261) [ClassicSimilarity], result of:
0.05533277 = score(doc=261,freq=2.0), product of:
0.17876907 = queryWeight, product of:
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.05105019 = queryNorm
0.30952093 = fieldWeight in 261, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.0625 = fieldNorm(doc=261)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Abstract
- Die deutschen Suchmaschinen, Abacho, Acoon, Fireball und Lycos sowie die Web-Kataloge Web.de und Yahoo! werden einem Qualitätstest nach relativem Recall, Precision und Availability unterzogen. Die Methoden der Retrievaltests werden vorgestellt. Im Durchschnitt werden bei einem Cut-Off-Wert von 25 ein Recall von rund 22%, eine Precision von knapp 19% und eine Verfügbarkeit von 24% erreicht
-
Reichert, S.; Mayr, P.: Untersuchung von Relevanzeigenschaften in einem kontrollierten Eyetracking-Experiment (2012)
0.01
0.010374893 = product of:
0.020749787 = sum of:
0.020749787 = product of:
0.041499574 = sum of:
0.041499574 = weight(_text_:22 in 328) [ClassicSimilarity], result of:
0.041499574 = score(doc=328,freq=2.0), product of:
0.17876907 = queryWeight, product of:
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.05105019 = queryNorm
0.23214069 = fieldWeight in 328, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.046875 = fieldNorm(doc=328)
0.5 = coord(1/2)
0.5 = coord(1/2)
- Date
- 22. 7.2012 19:25:54
