-
Dresel, R.; Hörnig, D.; Kaluza, H.; Peter, A.; Roßmann, A.; Sieber, W.: Evaluation deutscher Web-Suchwerkzeuge : Ein vergleichender Retrievaltest (2001)
0.05
0.05079997 = product of:
0.10159994 = sum of:
0.060400415 = weight(_text_:von in 261) [ClassicSimilarity], result of:
0.060400415 = score(doc=261,freq=8.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.47163114 = fieldWeight in 261, product of:
2.828427 = tf(freq=8.0), with freq of:
8.0 = termFreq=8.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=261)
0.041199524 = product of:
0.061799284 = sum of:
0.009770338 = weight(_text_:a in 261) [ClassicSimilarity], result of:
0.009770338 = score(doc=261,freq=6.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.17652355 = fieldWeight in 261, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=261)
0.052028947 = weight(_text_:22 in 261) [ClassicSimilarity], result of:
0.052028947 = score(doc=261,freq=2.0), product of:
0.16809508 = queryWeight, product of:
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.04800207 = queryNorm
0.30952093 = fieldWeight in 261, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.0625 = fieldNorm(doc=261)
0.6666667 = coord(2/3)
0.5 = coord(2/4)
- Abstract
- Die deutschen Suchmaschinen, Abacho, Acoon, Fireball und Lycos sowie die Web-Kataloge Web.de und Yahoo! werden einem Qualitätstest nach relativem Recall, Precision und Availability unterzogen. Die Methoden der Retrievaltests werden vorgestellt. Im Durchschnitt werden bei einem Cut-Off-Wert von 25 ein Recall von rund 22%, eine Precision von knapp 19% und eine Verfügbarkeit von 24% erreicht
- Type
- a
-
Petras, V.; Womser-Hacker, C.: Evaluation im Information Retrieval (2023)
0.04
0.042951543 = product of:
0.085903086 = sum of:
0.022650154 = weight(_text_:von in 808) [ClassicSimilarity], result of:
0.022650154 = score(doc=808,freq=2.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.17686167 = fieldWeight in 808, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.046875 = fieldNorm(doc=808)
0.06325293 = product of:
0.094879396 = sum of:
0.004230681 = weight(_text_:a in 808) [ClassicSimilarity], result of:
0.004230681 = score(doc=808,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.07643694 = fieldWeight in 808, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.046875 = fieldNorm(doc=808)
0.09064872 = weight(_text_:z in 808) [ClassicSimilarity], result of:
0.09064872 = score(doc=808,freq=2.0), product of:
0.2562021 = queryWeight, product of:
5.337313 = idf(docFreq=577, maxDocs=44218)
0.04800207 = queryNorm
0.35381722 = fieldWeight in 808, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.337313 = idf(docFreq=577, maxDocs=44218)
0.046875 = fieldNorm(doc=808)
0.6666667 = coord(2/3)
0.5 = coord(2/4)
- Abstract
- Das Ziel einer Evaluation ist die Überprüfung, ob bzw. in welchem Ausmaß ein Informationssystem die an das System gestellten Anforderungen erfüllt. Informationssysteme können aus verschiedenen Perspektiven evaluiert werden. Für eine ganzheitliche Evaluation (als Synonym wird auch Evaluierung benutzt), die unterschiedliche Qualitätsaspekte betrachtet (z. B. wie gut ein System relevante Dokumente rankt, wie schnell ein System die Suche durchführt, wie die Ergebnispräsentation gestaltet ist oder wie Suchende durch das System geführt werden) und die Erfüllung mehrerer Anforderungen überprüft, empfiehlt es sich, sowohl eine perspektivische als auch methodische Triangulation (d. h. der Einsatz von mehreren Ansätzen zur Qualitätsüberprüfung) vorzunehmen. Im Information Retrieval (IR) konzentriert sich die Evaluation auf die Qualitätseinschätzung der Suchfunktion eines Information-Retrieval-Systems (IRS), wobei oft zwischen systemzentrierter und nutzerzentrierter Evaluation unterschieden wird. Dieses Kapitel setzt den Fokus auf die systemzentrierte Evaluation, während andere Kapitel dieses Handbuchs andere Evaluationsansätze diskutieren (s. Kapitel C 4 Interaktives Information Retrieval, C 7 Cross-Language Information Retrieval und D 1 Information Behavior).
- Type
- a
-
Reichert, S.; Mayr, P.: Untersuchung von Relevanzeigenschaften in einem kontrollierten Eyetracking-Experiment (2012)
0.04
0.03706762 = product of:
0.07413524 = sum of:
0.04530031 = weight(_text_:von in 328) [ClassicSimilarity], result of:
0.04530031 = score(doc=328,freq=8.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.35372335 = fieldWeight in 328, product of:
2.828427 = tf(freq=8.0), with freq of:
8.0 = termFreq=8.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.046875 = fieldNorm(doc=328)
0.028834928 = product of:
0.04325239 = sum of:
0.004230681 = weight(_text_:a in 328) [ClassicSimilarity], result of:
0.004230681 = score(doc=328,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.07643694 = fieldWeight in 328, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.046875 = fieldNorm(doc=328)
0.039021708 = weight(_text_:22 in 328) [ClassicSimilarity], result of:
0.039021708 = score(doc=328,freq=2.0), product of:
0.16809508 = queryWeight, product of:
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.04800207 = queryNorm
0.23214069 = fieldWeight in 328, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.5018296 = idf(docFreq=3622, maxDocs=44218)
0.046875 = fieldNorm(doc=328)
0.6666667 = coord(2/3)
0.5 = coord(2/4)
- Abstract
- In diesem Artikel wird ein Eyetracking-Experiment beschrieben, bei dem untersucht wurde, wann und auf Basis welcher Informationen Relevanzentscheidungen bei der themenbezogenen Dokumentenbewertung fallen und welche Faktoren auf die Relevanzentscheidung einwirken. Nach einer kurzen Einführung werden relevante Studien aufgeführt, in denen Eyetracking als Untersuchungsmethode für Interaktionsverhalten mit Ergebnislisten (Information Seeking Behavior) verwendet wurde. Nutzerverhalten wird hierbei vor allem durch unterschiedliche Aufgaben-Typen, dargestellte Informationen und durch das Ranking eines Ergebnisses beeinflusst. Durch EyetrackingUntersuchungen lassen sich Nutzer außerdem in verschiedene Klassen von Bewertungs- und Lesetypen einordnen. Diese Informationen können als implizites Feedback genutzt werden, um so die Suche zu personalisieren und um die Relevanz von Suchergebnissen ohne aktives Zutun des Users zu erhöhen. In einem explorativen Eyetracking-Experiment mit 12 Studenten der Hochschule Darmstadt werden anhand der Länge der Gesamtbewertung, Anzahl der Fixationen, Anzahl der besuchten Metadatenelemente und Länge des Scanpfades zwei typische Bewertungstypen identifiziert. Das Metadatenfeld Abstract wird im Experiment zuverlässig als wichtigste Dokumenteigenschaft für die Zuordnung von Relevanz ermittelt.
- Date
- 22. 7.2012 19:25:54
- Type
- a
-
Krause, J.; Womser-Hacker, C.: PADOK-II : Retrievaltests zur Bewertung von Volltextindexierungsvarianten für das deutsche Patentinformationssystem (1990)
0.03
0.03470501 = product of:
0.06941002 = sum of:
0.067529716 = weight(_text_:von in 2653) [ClassicSimilarity], result of:
0.067529716 = score(doc=2653,freq=10.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.52729964 = fieldWeight in 2653, product of:
3.1622777 = tf(freq=10.0), with freq of:
10.0 = termFreq=10.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=2653)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 2653) [ClassicSimilarity], result of:
0.005640907 = score(doc=2653,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 2653, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=2653)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Vorgestellt werden die Ergebnisse extensiver Retrievaltests von zwei Varianten von Inhalteserschließungen (Freitext und PASSAT) für das deutsche Patentinformationssystem auf der Basis von Volltexten. Die Tests führte die Fachgruppe Linguistische Informationswissenschaft der Universität Regensburg von 1986-1989 in Zusammenarbeit mit dem Deutschen Patentamt, dem Fachinformationszentrum Karlsruhe und meheren industrieellen Partnern durch. Der Schwerpunkt des Berichts liegt auf dem allgemeinen Ansatz der Bewertung der Ziele des Projekts und auf der Darstellung der statistischen Evaluierungsergebnisse.
- Type
- a
-
Mandl, T.: Web- und Multimedia-Dokumente : Neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen (2003)
0.03
0.03470501 = product of:
0.06941002 = sum of:
0.067529716 = weight(_text_:von in 1734) [ClassicSimilarity], result of:
0.067529716 = score(doc=1734,freq=10.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.52729964 = fieldWeight in 1734, product of:
3.1622777 = tf(freq=10.0), with freq of:
10.0 = termFreq=10.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=1734)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 1734) [ClassicSimilarity], result of:
0.005640907 = score(doc=1734,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 1734, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=1734)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Die Menge an Daten im Internet steigt weiter rapide an. Damit wächst auch der Bedarf an qualitativ hochwertigen Information Retrieval Diensten zur Orientierung und problemorientierten Suche. Die Entscheidung für die Benutzung oder Beschaffung von Information Retrieval Software erfordert aussagekräftige Evaluierungsergebnisse. Dieser Beitrag stellt neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen vor und zeigt den Trend zu Spezialisierung und Diversifizierung von Evaluierungsstudien, die den Realitätsgrad derErgebnisse erhöhen. DerSchwerpunkt liegt auf dem Retrieval von Fachtexten, Internet-Seiten und Multimedia-Objekten.
- Type
- a
-
Cowie, J.; Guan, Z.: CRL English routing system for TREC-5 (1997)
0.03
0.031626467 = product of:
0.12650587 = sum of:
0.12650587 = product of:
0.18975879 = sum of:
0.008461362 = weight(_text_:a in 3106) [ClassicSimilarity], result of:
0.008461362 = score(doc=3106,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.15287387 = fieldWeight in 3106, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.09375 = fieldNorm(doc=3106)
0.18129744 = weight(_text_:z in 3106) [ClassicSimilarity], result of:
0.18129744 = score(doc=3106,freq=2.0), product of:
0.2562021 = queryWeight, product of:
5.337313 = idf(docFreq=577, maxDocs=44218)
0.04800207 = queryNorm
0.70763445 = fieldWeight in 3106, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
5.337313 = idf(docFreq=577, maxDocs=44218)
0.09375 = fieldNorm(doc=3106)
0.6666667 = coord(2/3)
0.25 = coord(1/4)
- Type
- a
-
Hierl, S.: Bezugsrahmen für die Evaluation von Information Retrieval Systemen mit Visualisierungskomponenten (2007)
0.03
0.03114036 = product of:
0.06228072 = sum of:
0.060400415 = weight(_text_:von in 3040) [ClassicSimilarity], result of:
0.060400415 = score(doc=3040,freq=8.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.47163114 = fieldWeight in 3040, product of:
2.828427 = tf(freq=8.0), with freq of:
8.0 = termFreq=8.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=3040)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 3040) [ClassicSimilarity], result of:
0.005640907 = score(doc=3040,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 3040, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=3040)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Folgender Beitrag beschäftigt sich mit der Konzeption und Durchführung von nachhaltigen Evaluationen von Information Retrieval Systemen mit Visualisierungskomponenten. Bisherige Evaluationsansätze differieren sowohl in der Methodenauswahl als auch Untersuchungsanlage, wie eine State-of-the-Art-Analyse aufzeigt. Im Anschluss werden die größten Herausforderungen, die sich bei Evaluationen dieser Art ergeben mit Vorschlägen zu potenziellen Lösungsansätzen diskutiert. Auf der Grundlage eines morphologischen Rahmens wird ein Bezugsrahmen für die Evaluation von Information Retrieval Systemen mit Visualisierungskomponenten vorgeschlagen, das einen integrierten Ansatz zur Kombination geeigneter Methoden aus dem Bereich der Usability-Evaluation und der Retrievaleffektivitäts-Evaluation verfolgt.
- Type
- a
-
Yiqun, W.; Zhonghui, Z.; Li, Z.: Experimental study of machine factors and cognitive abilities of users (1998)
0.03
0.029428294 = product of:
0.117713176 = sum of:
0.117713176 = product of:
0.17656976 = sum of:
0.005640907 = weight(_text_:a in 5225) [ClassicSimilarity], result of:
0.005640907 = score(doc=5225,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 5225, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=5225)
0.17092885 = weight(_text_:z in 5225) [ClassicSimilarity], result of:
0.17092885 = score(doc=5225,freq=4.0), product of:
0.2562021 = queryWeight, product of:
5.337313 = idf(docFreq=577, maxDocs=44218)
0.04800207 = queryNorm
0.66716415 = fieldWeight in 5225, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
5.337313 = idf(docFreq=577, maxDocs=44218)
0.0625 = fieldNorm(doc=5225)
0.6666667 = coord(2/3)
0.25 = coord(1/4)
- Type
- a
-
Womser-Hacker, C.: Evaluierung im Information Retrieval (2013)
0.03
0.027868655 = product of:
0.05573731 = sum of:
0.05338693 = weight(_text_:von in 728) [ClassicSimilarity], result of:
0.05338693 = score(doc=728,freq=4.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.416867 = fieldWeight in 728, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.078125 = fieldNorm(doc=728)
0.002350378 = product of:
0.007051134 = sum of:
0.007051134 = weight(_text_:a in 728) [ClassicSimilarity], result of:
0.007051134 = score(doc=728,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.12739488 = fieldWeight in 728, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.078125 = fieldNorm(doc=728)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Source
- Grundlagen der praktischen Information und Dokumentation. Handbuch zur Einführung in die Informationswissenschaft und -praxis. 6., völlig neu gefaßte Ausgabe. Hrsg. von R. Kuhlen, W. Semar u. D. Strauch. Begründet von Klaus Laisiepen, Ernst Lutterbeck, Karl-Heinrich Meyer-Uhlenried
- Type
- a
-
Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001)
0.03
0.026028758 = product of:
0.052057516 = sum of:
0.05064729 = weight(_text_:von in 6386) [ClassicSimilarity], result of:
0.05064729 = score(doc=6386,freq=10.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.39547473 = fieldWeight in 6386, product of:
3.1622777 = tf(freq=10.0), with freq of:
10.0 = termFreq=10.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.046875 = fieldNorm(doc=6386)
0.001410227 = product of:
0.004230681 = sum of:
0.004230681 = weight(_text_:a in 6386) [ClassicSimilarity], result of:
0.004230681 = score(doc=6386,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.07643694 = fieldWeight in 6386, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.046875 = fieldNorm(doc=6386)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Retrieval Tests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das auf Grund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
- Type
- a
-
Kluck, M.; Mandl, T.; Womser-Hacker, C.: Cross-Language Evaluation Forum (CLEF) : Europäische Initiative zur Bewertung sprachübergreifender Retrievalverfahren (2002)
0.02
0.02370751 = product of:
0.04741502 = sum of:
0.04576976 = weight(_text_:von in 266) [ClassicSimilarity], result of:
0.04576976 = score(doc=266,freq=6.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.357389 = fieldWeight in 266, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0546875 = fieldNorm(doc=266)
0.0016452647 = product of:
0.004935794 = sum of:
0.004935794 = weight(_text_:a in 266) [ClassicSimilarity], result of:
0.004935794 = score(doc=266,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.089176424 = fieldWeight in 266, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0546875 = fieldNorm(doc=266)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Seit einigen Jahren hat sich in Europa eine Initiative zur Bewertung von Information Retrieval in mehrsprachigen Kontexten etabliert. Das Cross Language Evaluation forum (CLEF) wird von der EU gefördert und kooperiert mit Evaluierungsprojekten in den USA (TREC) und in Japan (NTCIR). Dieser Artikel stellt das CLEF in den Rahmen der anderen internationalen Initiativen. Neue Entwicklungen sowohl bei den Information Retrieval Systemen als auch bei den Evaluierungsmethoden werden aufgezeit. Die hohe Anzahl von Teilnehmern aus Forschungsinstitutionen und der Industrie beweist die steigende Bedeutung des sprachübergreifenden Retrievals
- Type
- a
-
Fugmann, R.: ¬Das Faule Ei des Kolumbus im Aslib-Cranfield Vergleich von Informationssystemen : Die erneute Betrachtung eines einflussreichen Experiments (2004)
0.02
0.02370751 = product of:
0.04741502 = sum of:
0.04576976 = weight(_text_:von in 2364) [ClassicSimilarity], result of:
0.04576976 = score(doc=2364,freq=6.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.357389 = fieldWeight in 2364, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0546875 = fieldNorm(doc=2364)
0.0016452647 = product of:
0.004935794 = sum of:
0.004935794 = weight(_text_:a in 2364) [ClassicSimilarity], result of:
0.004935794 = score(doc=2364,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.089176424 = fieldWeight in 2364, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0546875 = fieldNorm(doc=2364)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Der Beitrag gibt einen kritischen Rückblick auf die Experimente des ASLIB-CranfieldProjekts, mit dem die Leistungsfähigkeit verschiedenere Methoden der Inhaltserschließung verglichen wurden. Bemängelt wird die fehlende Unterscheidung zwischen Erinnerungsrecherche und Entdeckungsrecherche sowie die Wirklichkeitsferne der Versuchsbedingungen im ASLIB-Cranfield Projekt insbesondere Abwertung der Indexierung, Wirklichkeitsferne der Suchziele, die Empfehlung zum oberflächlichen Indexieren, die vermeintliche "gesetzmäßige Umkehrrelation" zwischen Ballast und Verlust sowie die Geringschätzung von Informationsverlust. Der Autor plädiert dafür, bei der Weiterentwicklung von Methoden der Inhaltserschließung die Erfahrungen aus der Vergangenheit nicht außer Acht zu lassen.
- Type
- a
-
Becks, D.; Mandl, T.; Womser-Hacker, C.: Spezielle Anforderungen bei der Evaluierung von Patent-Retrieval-Systemen (2010)
0.02
0.02370751 = product of:
0.04741502 = sum of:
0.04576976 = weight(_text_:von in 4667) [ClassicSimilarity], result of:
0.04576976 = score(doc=4667,freq=6.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.357389 = fieldWeight in 4667, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0546875 = fieldNorm(doc=4667)
0.0016452647 = product of:
0.004935794 = sum of:
0.004935794 = weight(_text_:a in 4667) [ClassicSimilarity], result of:
0.004935794 = score(doc=4667,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.089176424 = fieldWeight in 4667, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0546875 = fieldNorm(doc=4667)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Innerhalb der informationswissenschaftlich geprägten Fachinformation nimmt die Patentdomäne eine gewisse Sonderstellung ein, da sie über eine Reihe von Besonderheiten verfügt, die es notwendig machen, die klassischen Methoden der Bewertung zu überarbeiten bzw. zu adaptieren. Dies belegen unter anderem die Ergebnisse des Intellectual Property Track, der seit 2009 im Rahmen der Evaluierungskampagne CLEF stattfindet. Der vorliegende Artikel beschreibt die innerhalb des zuvor genannten Track erzielten Ergebnisse. Darüber hinaus werden die Konsequenzen für die Evaluierung von Patent-Retrieval-Systemen herausgearbeitet.
- Type
- a
-
Grummann, M.: Sind Verfahren zur maschinellen Indexierung für Literaturbestände Öffentlicher Bibliotheken geeignet? : Retrievaltests von indexierten ekz-Daten mit der Software IDX (2000)
0.02
0.022294924 = product of:
0.044589847 = sum of:
0.042709544 = weight(_text_:von in 1879) [ClassicSimilarity], result of:
0.042709544 = score(doc=1879,freq=4.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.3334936 = fieldWeight in 1879, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=1879)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 1879) [ClassicSimilarity], result of:
0.005640907 = score(doc=1879,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 1879, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=1879)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Maschinelles Indexieren vereinheitlicht und vermehrt das Suchvokabular eines Bibliothekskatalogs durch verschiedene Methoden (u.a. Ermittlung der Grundform, Kompositazerlegung, Wortableitungen). Ein Retrievaltest mit einem für öffentliche Bibliotheken typischen Sachbuchbestand zeigt, dass dieses Verfahren die Ergebnisse von OPAC-Recherchen verbessert - trotz 'blumiger' Titelformulierungen. Im Vergleich zu herkömmlichen Erschließungsmethoden (Stich- und Schlagwörter) werden mehr relevante Titel gefunden, ohne gleichzeitig den 'Ballast' zu erhöhen. Das maschinelle Indexieren kann die Verschlagwortung jedoch nicht ersetzen, sondern nur ergänzen
- Type
- a
-
Grasso, L.L.; Wahlig, H.: Google und seine Suchparameter : Eine Top 20-Precision Analyse anhand repräsentativ ausgewählter Anfragen (2005)
0.02
0.022294924 = product of:
0.044589847 = sum of:
0.042709544 = weight(_text_:von in 3275) [ClassicSimilarity], result of:
0.042709544 = score(doc=3275,freq=4.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.3334936 = fieldWeight in 3275, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=3275)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 3275) [ClassicSimilarity], result of:
0.005640907 = score(doc=3275,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 3275, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=3275)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Im Aufsatz werden zunächst führende Precision-Analysen zusammengefasst und kritisch bewertet. Darauf aufbauend werden Methodik und Ergebnisse dieser auf Google beschränkten Untersuchung vorgestellt. Im Mittelpunkt der Untersuchung werden die von Google angebotenen Retrievaloperatoren einer Qualitätsmessung unterzogen. Als methodisches Mittel dazu dient eine Top20-Precision-Analyse von acht Suchanfragen verschiedener vorab definierter Nutzertypen.
- Type
- a
-
Kluck, M.; Winter, M.: Topic-Entwicklung und Relevanzbewertung bei GIRT : ein Werkstattbericht (2006)
0.02
0.022294924 = product of:
0.044589847 = sum of:
0.042709544 = weight(_text_:von in 5967) [ClassicSimilarity], result of:
0.042709544 = score(doc=5967,freq=4.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.3334936 = fieldWeight in 5967, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0625 = fieldNorm(doc=5967)
0.0018803024 = product of:
0.005640907 = sum of:
0.005640907 = weight(_text_:a in 5967) [ClassicSimilarity], result of:
0.005640907 = score(doc=5967,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.10191591 = fieldWeight in 5967, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0625 = fieldNorm(doc=5967)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Der Zusammenhang zwischen Topic-Entwicklung und Relevanzbewertung wird anhand einiger Fallbeispiele aus der CLEF-Evaluierungskampagne 2005 diskutiert. Im fachspezifischen Retrievaltest für multilinguale Systeme wurden die Topics am Dokumentenbestand von GIRT entwickelt. Die Zusammenhänge von Topic-Formulierung und Interpretationsspielräumen bei der Relevanzbewertung werden untersucht.
- Type
- a
-
Womser-Hacker, C.: Theorie des Information Retrieval III : Evaluierung (2004)
0.02
0.021824848 = product of:
0.043649696 = sum of:
0.042709544 = weight(_text_:von in 2919) [ClassicSimilarity], result of:
0.042709544 = score(doc=2919,freq=16.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.3334936 = fieldWeight in 2919, product of:
4.0 = tf(freq=16.0), with freq of:
16.0 = termFreq=16.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.03125 = fieldNorm(doc=2919)
9.401512E-4 = product of:
0.0028204536 = sum of:
0.0028204536 = weight(_text_:a in 2919) [ClassicSimilarity], result of:
0.0028204536 = score(doc=2919,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.050957955 = fieldWeight in 2919, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.03125 = fieldNorm(doc=2919)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Information-Retrieval-Systeme wurden bereits sehr früh aus einer bewertenden Perspektive betrachtet. Jede neu entwickelte Komponente sollte effektivitätssteigernd für das gesamte System wirken und musste ihre Funktionalität unter Beweis stellen oder den Vergleich zu existierenden Verfahren antreten (z.B. automatische Indexierung vs. manuelle Erschließung von Informationsobjekten). 1963 fanden die Cranfield-II-Experimente statt und begründeten die Evaluierungsprinzipien im Information Retrieval. Somit haben auch Bewertungsverfahren, -ansätze und -methoden bereits eine lange Tradition. Die von Sparck Jones eingebrachte Feststellung, dass die genauen Gründe für das Verhalten von Information-Retrieval-Systemen oft im Dunklen lägen, führte zu der Forderung nach einer exakten und expliziten Evaluierungsmethodologie und experimentellen Überprüfbarkeit. Als generelle Herangehensweise hat sich ein indirektes Verfahren zur Bewertung von InformationRetrieval-Systemen etabliert, bei welchem das System an sich als black box gesehen und nur der Retrievaloutput als Grundlage für die Bewertung herangezogen wird. In den Experimenten stand die Systemperspektive im Vordergrund, um zu einer bewertenden Aussage zu gelangen. Es wurde gemessen, wie gut die Systeme in der Lage sind, die an sie gestellten Anforderungen zu erfüllen, relevante Dokumente zu liefern und nicht-relevante zurückzuhalten. Durch die zunehmende Komplexität der Systeme sowie die immer stärkere Einbeziehung von Benutzern, die nicht über die Kompetenz und Professionalität von Informationsfachleuten verfügen, wurde es immer schwieriger, Einzeleigenschaften vom Gesamtsystem zu isolieren und experimentell zu bewerten. Erst im Zeitalter der Suchmaschinen ist man zu der Ansicht gelangt, dass den Benutzern der Systeme eine entscheidende Rolle bei der Bewertung zukommt. Die Verfahren der Qualitätsbewertung müssen - wie dieses Beispiel zeigt - ständig weiterentwickelt werden. Die Benutzermerkmale können heterogen sein und sich einer genauen Kenntnis entziehen, was eine vollständige Formalisierung bzw. Quantifizierung erschwert. Neueren Datums sind Studien, die sich auf interaktive Information-Retrieval-Systeme oder auf die Qualitätsbestimmung bestimmter Teilkomponenten spezialisiert haben wie z.B. die Erschließungsoder Visualisierungskomponente, die Gestaltung der Benutzungsschnittstelle aus softwareergonomischer Sicht oder auch die Multilingua-Fähigkeit.
- Source
- Grundlagen der praktischen Information und Dokumentation. 5., völlig neu gefaßte Ausgabe. 2 Bde. Hrsg. von R. Kuhlen, Th. Seeger u. D. Strauch. Begründet von Klaus Laisiepen, Ernst Lutterbeck, Karl-Heinrich Meyer-Uhlenried. Bd.1: Handbuch zur Einführung in die Informationswissenschaft und -praxis
- Type
- a
-
Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001)
0.02
0.02169063 = product of:
0.04338126 = sum of:
0.04220607 = weight(_text_:von in 5863) [ClassicSimilarity], result of:
0.04220607 = score(doc=5863,freq=10.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.32956228 = fieldWeight in 5863, product of:
3.1622777 = tf(freq=10.0), with freq of:
10.0 = termFreq=10.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.0390625 = fieldNorm(doc=5863)
0.001175189 = product of:
0.003525567 = sum of:
0.003525567 = weight(_text_:a in 5863) [ClassicSimilarity], result of:
0.003525567 = score(doc=5863,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.06369744 = fieldWeight in 5863, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.0390625 = fieldNorm(doc=5863)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Retrievaltests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das aufgrund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
- Type
- a
-
Mielke, B.: Wider einige gängige Ansichten zur juristischen Informationserschließung (2002)
0.02
0.020320725 = product of:
0.04064145 = sum of:
0.039231222 = weight(_text_:von in 2145) [ClassicSimilarity], result of:
0.039231222 = score(doc=2145,freq=6.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.30633342 = fieldWeight in 2145, product of:
2.4494898 = tf(freq=6.0), with freq of:
6.0 = termFreq=6.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.046875 = fieldNorm(doc=2145)
0.001410227 = product of:
0.004230681 = sum of:
0.004230681 = weight(_text_:a in 2145) [ClassicSimilarity], result of:
0.004230681 = score(doc=2145,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.07643694 = fieldWeight in 2145, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.046875 = fieldNorm(doc=2145)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- Ausgehend von einer Betrachtung in der Rechtsinformatik geläufiger Annahmen zur juristischen Informationserschließung beschreibt der Beitrag wesentliche Ergebnisse einer empirischen Studie der Retrievaleffektivität von Re-cherchen in juristischen Datenbanken. Dabei steht die Frage nach der Notwendigkeit einer intellektuellen Erschließung einerseits, der Effektivität der sogenannten Stichwortsuche andererseits im Mittelpunkt. Die Ergebnisse der Studie, bei der auch ein Vergleich zwischen einem Informationssystem auf der Basis eines Booleschen Retrievalmodells mit einem System auf der Basis statistischer Verfahren vorgenommen wurde, legen den Schluss nahe, dass in der rechtsinformatischen Fachliteratur analytisch begründete Annahmen wie die Gefahr zu großer Antwortmengen bei der Stichwortsuche empirisch nicht zu belegen sind. Auch zeigt sich keine Überlegenheit intellektueller Erschließungsverfahren (Beschlagwortung) gegenüber der automatischen Indexierung, im Gegenteil führt der Einsatz eines statistischen Verfahrens bei identischer Dokumentkollektion zu einer höheren Wiedergewinnungsrate (recall).
- Source
- Information und Mobilität: Optimierung und Vermeidung von Mobilität durch Information. Proceedings des 8. Internationalen Symposiums für Informationswissenschaft (ISI 2002), 7.-10.10.2002, Regensburg. Hrsg.: Rainer Hammwöhner, Christian Wolff, Christa Womser-Hacker
- Type
- a
-
Bollmann-Sdorra, P.: Probleme der Validität bei Retrievaltests (1990)
0.02
0.020050319 = product of:
0.040100638 = sum of:
0.03775026 = weight(_text_:von in 5113) [ClassicSimilarity], result of:
0.03775026 = score(doc=5113,freq=2.0), product of:
0.12806706 = queryWeight, product of:
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.04800207 = queryNorm
0.29476947 = fieldWeight in 5113, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
2.6679487 = idf(docFreq=8340, maxDocs=44218)
0.078125 = fieldNorm(doc=5113)
0.002350378 = product of:
0.007051134 = sum of:
0.007051134 = weight(_text_:a in 5113) [ClassicSimilarity], result of:
0.007051134 = score(doc=5113,freq=2.0), product of:
0.055348642 = queryWeight, product of:
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.04800207 = queryNorm
0.12739488 = fieldWeight in 5113, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.153047 = idf(docFreq=37942, maxDocs=44218)
0.078125 = fieldNorm(doc=5113)
0.33333334 = coord(1/3)
0.5 = coord(2/4)
- Abstract
- In diesem Beitrag werden beispielhaft Probleme der Validität bei Retrievaltests behandelt. Die externe Validität wird im Zusammenhang von Ähnlichkeitsmaßen und Bewertungsmaßen diskutiert. Die interne Validität wird am Beispiel der Mittelwertbildung diskutiert. Es zeigt sich, daß die Forderung nach Validität die zur Auswahl stehenden Methoden einschränkt
- Type
- a
