Artemenko, O.; Shramko, M.: Entwicklung eines Werkzeugs zur Sprachidentifikation in mono- und multilingualen Texten (2005)
0.02
0.015363664 = product of:
0.053772822 = sum of:
0.022496238 = weight(_text_:wide in 572) [ClassicSimilarity], result of:
0.022496238 = score(doc=572,freq=2.0), product of:
0.1312982 = queryWeight, product of:
4.4307585 = idf(docFreq=1430, maxDocs=44218)
0.029633347 = queryNorm
0.171337 = fieldWeight in 572, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
4.4307585 = idf(docFreq=1430, maxDocs=44218)
0.02734375 = fieldNorm(doc=572)
0.017259922 = weight(_text_:web in 572) [ClassicSimilarity], result of:
0.017259922 = score(doc=572,freq=4.0), product of:
0.09670874 = queryWeight, product of:
3.2635105 = idf(docFreq=4597, maxDocs=44218)
0.029633347 = queryNorm
0.17847323 = fieldWeight in 572, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
3.2635105 = idf(docFreq=4597, maxDocs=44218)
0.02734375 = fieldNorm(doc=572)
0.0035313808 = weight(_text_:information in 572) [ClassicSimilarity], result of:
0.0035313808 = score(doc=572,freq=2.0), product of:
0.052020688 = queryWeight, product of:
1.7554779 = idf(docFreq=20772, maxDocs=44218)
0.029633347 = queryNorm
0.06788416 = fieldWeight in 572, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
1.7554779 = idf(docFreq=20772, maxDocs=44218)
0.02734375 = fieldNorm(doc=572)
0.010485282 = weight(_text_:retrieval in 572) [ClassicSimilarity], result of:
0.010485282 = score(doc=572,freq=2.0), product of:
0.08963835 = queryWeight, product of:
3.024915 = idf(docFreq=5836, maxDocs=44218)
0.029633347 = queryNorm
0.11697317 = fieldWeight in 572, product of:
1.4142135 = tf(freq=2.0), with freq of:
2.0 = termFreq=2.0
3.024915 = idf(docFreq=5836, maxDocs=44218)
0.02734375 = fieldNorm(doc=572)
0.2857143 = coord(4/14)
- Abstract
- Mit der Verbreitung des Internets vermehrt sich die Menge der im World Wide Web verfügbaren Dokumente. Die Gewährleistung eines effizienten Zugangs zu gewünschten Informationen für die Internetbenutzer wird zu einer großen Herausforderung an die moderne Informationsgesellschaft. Eine Vielzahl von Werkzeugen wird bereits eingesetzt, um den Nutzern die Orientierung in der wachsenden Informationsflut zu erleichtern. Allerdings stellt die enorme Menge an unstrukturierten und verteilten Informationen nicht die einzige Schwierigkeit dar, die bei der Entwicklung von Werkzeugen dieser Art zu bewältigen ist. Die zunehmende Vielsprachigkeit von Web-Inhalten resultiert in dem Bedarf an Sprachidentifikations-Software, die Sprache/en von elektronischen Dokumenten zwecks gezielter Weiterverarbeitung identifiziert. Solche Sprachidentifizierer können beispielsweise effektiv im Bereich des Multilingualen Information Retrieval eingesetzt werden, da auf den Sprachidentifikationsergebnissen Prozesse der automatischen Indexbildung wie Stemming, Stoppwörterextraktion etc. aufbauen. In der vorliegenden Arbeit wird das neue System "LangIdent" zur Sprachidentifikation von elektronischen Textdokumenten vorgestellt, das in erster Linie für Lehre und Forschung an der Universität Hildesheim verwendet werden soll. "LangIdent" enthält eine Auswahl von gängigen Algorithmen zu der monolingualen Sprachidentifikation, die durch den Benutzer interaktiv ausgewählt und eingestellt werden können. Zusätzlich wurde im System ein neuer Algorithmus implementiert, der die Identifikation von Sprachen, in denen ein multilinguales Dokument verfasst ist, ermöglicht. Die Identifikation beschränkt sich nicht nur auf eine Aufzählung von gefundenen Sprachen, vielmehr wird der Text in monolinguale Abschnitte aufgeteilt, jeweils mit der Angabe der identifizierten Sprache.
Tartakovski, O.; Shramko, M.: Implementierung eines Werkzeugs zur Sprachidentifikation in mono- und multilingualen Texten (2006)
0.01
0.0056635872 = product of:
0.03964511 = sum of:
0.009988253 = weight(_text_:information in 5978) [ClassicSimilarity], result of:
0.009988253 = score(doc=5978,freq=4.0), product of:
0.052020688 = queryWeight, product of:
1.7554779 = idf(docFreq=20772, maxDocs=44218)
0.029633347 = queryNorm
0.1920054 = fieldWeight in 5978, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
1.7554779 = idf(docFreq=20772, maxDocs=44218)
0.0546875 = fieldNorm(doc=5978)
0.029656855 = weight(_text_:retrieval in 5978) [ClassicSimilarity], result of:
0.029656855 = score(doc=5978,freq=4.0), product of:
0.08963835 = queryWeight, product of:
3.024915 = idf(docFreq=5836, maxDocs=44218)
0.029633347 = queryNorm
0.33085006 = fieldWeight in 5978, product of:
2.0 = tf(freq=4.0), with freq of:
4.0 = termFreq=4.0
3.024915 = idf(docFreq=5836, maxDocs=44218)
0.0546875 = fieldNorm(doc=5978)
0.14285715 = coord(2/14)
- Abstract
- Die Identifikation der Sprache bzw. der Sprachen in Textdokumenten ist einer der wichtigsten Schritte maschineller Textverarbeitung für das Information Retrieval. Der vorliegende Artikel stellt Langldent vor, ein System zur Sprachidentifikation von mono- und multilingualen elektronischen Textdokumenten. Das System bietet sowohl eine Auswahl von gängigen Algorithmen für die Sprachidentifikation monolingualer Textdokumente als auch einen neuen Algorithmus für die Sprachidentifikation multilingualer Textdokumente.
- Source
- Effektive Information Retrieval Verfahren in Theorie und Praxis: ausgewählte und erweiterte Beiträge des Vierten Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2005), Hildesheim, 20.7.2005. Hrsg.: T. Mandl u. C. Womser-Hacker
