Search (70 results, page 1 of 4)

  • × theme_ss:"Retrievalstudien"
  1. Effektive Information Retrieval Verfahren in Theorie und Praxis : ausgewählte und erweiterte Beiträge des Vierten Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2005), Hildesheim, 20.7.2005 (2006) 0.02
    0.023429113 = product of:
      0.09371645 = sum of:
        0.02651443 = weight(_text_:informatik in 5973) [ClassicSimilarity], result of:
          0.02651443 = score(doc=5973,freq=4.0), product of:
            0.1662844 = queryWeight, product of:
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.032588977 = queryNorm
            0.1594523 = fieldWeight in 5973, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.015625 = fieldNorm(doc=5973)
        0.058325887 = weight(_text_:systeme in 5973) [ClassicSimilarity], result of:
          0.058325887 = score(doc=5973,freq=16.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.33445317 = fieldWeight in 5973, product of:
              4.0 = tf(freq=16.0), with freq of:
                16.0 = termFreq=16.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.015625 = fieldNorm(doc=5973)
        0.0088761365 = weight(_text_:internet in 5973) [ClassicSimilarity], result of:
          0.0088761365 = score(doc=5973,freq=4.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.09225749 = fieldWeight in 5973, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.015625 = fieldNorm(doc=5973)
      0.25 = coord(3/12)
    
    Abstract
    Information Retrieval hat sich zu einer Schlüsseltechnologie in der Wissensgesellschaft entwickelt. Die Anzahl der täglichen Anfragen an Internet-Suchmaschinen bildet nur einen Indikator für die große Bedeutung dieses Themas. Der Sammelbandband informiert über Themen wie Information Retrieval-Grundlagen, Retrieval Systeme, Digitale Bibliotheken, Evaluierung und Multilinguale Systeme, beschreibt Anwendungsszenarien und setzt sich mit neuen Herausforderungen an das Information Retrieval auseinander. Die Beiträge behandeln aktuelle Themen und neue Herausforderungen an das Information Retrieval. Die intensive Beteiligung der Informationswissenschaft der Universität Hildesheim am Cross Language Evaluation Forum (CLEF), einer europäischen Evaluierungsinitiative zur Erforschung mehrsprachiger Retrieval Systeme, berührt mehrere der Beiträge. Ebenso spielen Anwendungsszenarien und die Auseinandersetzung mit aktuellen und praktischen Fragestellungen eine große Rolle.
    Content
    Inhalt: Jan-Hendrik Scheufen: RECOIN: Modell offener Schnittstellen für Information-Retrieval-Systeme und -Komponenten Markus Nick, Klaus-Dieter Althoff: Designing Maintainable Experience-based Information Systems Gesine Quint, Steffen Weichert: Die benutzerzentrierte Entwicklung des Produkt- Retrieval-Systems EIKON der Blaupunkt GmbH Claus-Peter Klas, Sascha Kriewel, André Schaefer, Gudrun Fischer: Das DAFFODIL System - Strategische Literaturrecherche in Digitalen Bibliotheken Matthias Meiert: Entwicklung eines Modells zur Integration digitaler Dokumente in die Universitätsbibliothek Hildesheim Daniel Harbig, René Schneider: Ontology Learning im Rahmen von MyShelf Michael Kluck, Marco Winter: Topic-Entwicklung und Relevanzbewertung bei GIRT: ein Werkstattbericht Thomas Mandl: Neue Entwicklungen bei den Evaluierungsinitiativen im Information Retrieval Joachim Pfister: Clustering von Patent-Dokumenten am Beispiel der Datenbanken des Fachinformationszentrums Karlsruhe Ralph Kölle, Glenn Langemeier, Wolfgang Semar: Programmieren lernen in kollaborativen Lernumgebungen Olga Tartakovski, Margaryta Shramko: Implementierung eines Werkzeugs zur Sprachidentifikation in mono- und multilingualen Texten Nina Kummer: Indexierungstechniken für das japanische Retrieval Suriya Na Nhongkai, Hans-Joachim Bentz: Bilinguale Suche mittels Konzeptnetzen Robert Strötgen, Thomas Mandl, René Schneider: Entwicklung und Evaluierung eines Question Answering Systems im Rahmen des Cross Language Evaluation Forum (CLEF) Niels Jensen: Evaluierung von mehrsprachigem Web-Retrieval: Experimente mit dem EuroGOV-Korpus im Rahmen des Cross Language Evaluation Forum (CLEF)
    Footnote
    Rez. in: Information - Wissenschaft und Praxis 57(2006) H.5, S.290-291 (C. Schindler): "Weniger als ein Jahr nach dem "Vierten Hildesheimer Evaluierungs- und Retrievalworkshop" (HIER 2005) im Juli 2005 ist der dazugehörige Tagungsband erschienen. Eingeladen hatte die Hildesheimer Informationswissenschaft um ihre Forschungsergebnisse und die einiger externer Experten zum Thema Information Retrieval einem Fachpublikum zu präsentieren und zur Diskussion zu stellen. Unter dem Titel "Effektive Information Retrieval Verfahren in Theorie und Praxis" sind nahezu sämtliche Beiträge des Workshops in dem nun erschienenen, 15 Beiträge umfassenden Band gesammelt. Mit dem Schwerpunkt Information Retrieval (IR) wird ein Teilgebiet der Informationswissenschaft vorgestellt, das schon immer im Zentrum informationswissenschaftlicher Forschung steht. Ob durch den Leistungsanstieg von Prozessoren und Speichermedien, durch die Verbreitung des Internet über nationale Grenzen hinweg oder durch den stetigen Anstieg der Wissensproduktion, festzuhalten ist, dass in einer zunehmend wechselseitig vernetzten Welt die Orientierung und das Auffinden von Dokumenten in großen Wissensbeständen zu einer zentralen Herausforderung geworden sind. Aktuelle Verfahrensweisen zu diesem Thema, dem Information Retrieval, präsentiert der neue Band anhand von praxisbezogenen Projekten und theoretischen Diskussionen. Das Kernthema Information Retrieval wird in dem Sammelband in die Bereiche Retrieval-Systeme, Digitale Bibliothek, Evaluierung und Multilinguale Systeme untergliedert. Die Artikel der einzelnen Sektionen sind insgesamt recht heterogen und bieten daher keine Überschneidungen inhaltlicher Art. Jedoch ist eine vollkommene thematische Abdeckung der unterschiedlichen Bereiche ebenfalls nicht gegeben, was bei der Präsentation von Forschungsergebnissen eines Institutes und seiner Kooperationspartner auch nur bedingt erwartet werden kann. So lässt sich sowohl in der Gliederung als auch in den einzelnen Beiträgen eine thematische Verdichtung erkennen, die das spezielle Profil und die Besonderheit der Hildesheimer Informationswissenschaft im Feld des Information Retrieval wiedergibt. Teil davon ist die mehrsprachige und interdisziplinäre Ausrichtung, die die Schnittstellen zwischen Informationswissenschaft, Sprachwissenschaft und Informatik in ihrer praxisbezogenen und internationalen Forschung fokussiert.
    Im ersten Kapitel "Retrieval-Systeme" werden verschiedene Information RetrievalSysteme präsentiert und Verfahren zu deren Gestaltung diskutiert. Jan-Hendrik Scheufen stellt das Meta-Framework RECOIN zur Information Retrieval Forschung vor, das sich durch eine flexible Handhabung unterschiedlichster Applikationen auszeichnet und dadurch eine zentrierte Protokollierung und Steuerung von Retrieval-Prozessen ermöglicht. Dieses Konzept eines offenen, komponentenbasierten Systems wurde in Form eines Plug-Ins für die javabasierte Open-Source-Plattform Eclipse realisiert. Markus Nick und Klaus-Dieter Althoff erläutern in ihrem Beitrag, der übrigens der einzige englischsprachige Text im Buch ist, das Verfahren DILLEBIS zur Erhaltung und Pflege (Maintenance) von erfahrungsbasierten Informationssystemen. Sie bezeichnen dieses Verfahren als Maintainable Experience-based Information System und plädieren für eine Ausrichtung von erfahrungsbasierten Systemen entsprechend diesem Modell. Gesine Quint und Steffen Weichert stellen dagegen in ihrem Beitrag die benutzerzentrierte Entwicklung des Produkt-Retrieval-Systems EIKON vor, das in Kooperation mit der Blaupunkt GmbH realisiert wurde. In einem iterativen Designzyklus erfolgte die Gestaltung von gruppenspezifischen Interaktionsmöglichkeiten für ein Car-Multimedia-Zubehör-System. Im zweiten Kapitel setzen sich mehrere Autoren dezidierter mit dem Anwendungsgebiet "Digitale Bibliothek" auseinander. Claus-Peter Klas, Sascha Kriewel, Andre Schaefer und Gudrun Fischer von der Universität Duisburg-Essen stellen das System DAFFODIL vor, das durch eine Vielzahl an Werkzeugen zur strategischen Unterstützung bei Literaturrecherchen in digitalen Bibliotheken dient. Zusätzlich ermöglicht die Protokollierung sämtlicher Ereignisse den Einsatz des Systems als Evaluationsplattform. Der Aufsatz von Matthias Meiert erläutert die Implementierung von elektronischen Publikationsprozessen an Hochschulen am Beispiel von Abschlussarbeiten des Studienganges Internationales Informationsmanagement der Universität Hildesheim. Neben Rahmenbedingungen werden sowohl der Ist-Zustand als auch der Soll-Zustand des wissenschaftlichen elektronischen Publizierens in Form von gruppenspezifischen Empfehlungen dargestellt. Daniel Harbig und Rene Schneider beschreiben in ihrem Aufsatz zwei Verfahrensweisen zum maschinellen Erlernen von Ontologien, angewandt am virtuellen Bibliotheksregal MyShelf. Nach der Evaluation dieser beiden Ansätze plädieren die Autoren für ein semi-automatisiertes Verfahren zur Erstellung von Ontologien.
    "Evaluierung", das Thema des dritten Kapitels, ist in seiner Breite nicht auf das Information Retrieval beschränkt sondern beinhaltet ebenso einzelne Aspekte der Bereiche Mensch-Maschine-Interaktion sowie des E-Learning. Michael Muck und Marco Winter von der Stiftung Wissenschaft und Politik sowie dem Informationszentrum Sozialwissenschaften thematisieren in ihrem Beitrag den Einfluss der Fragestellung (Topic) auf die Bewertung von Relevanz und zeigen Verfahrensweisen für die Topic-Erstellung auf, die beim Cross Language Evaluation Forum (CLEF) Anwendung finden. Im darauf folgenden Aufsatz stellt Thomas Mandl verschiedene Evaluierungsinitiativen im Information Retrieval und aktuelle Entwicklungen dar. Joachim Pfister erläutert in seinem Beitrag das automatisierte Gruppieren, das sogenannte Clustering, von Patent-Dokumenten in den Datenbanken des Fachinformationszentrums Karlsruhe und evaluiert unterschiedliche Clusterverfahren auf Basis von Nutzerbewertungen. Ralph Kölle, Glenn Langemeier und Wolfgang Semar widmen sich dem kollaborativen Lernen unter den speziellen Bedingungen des Programmierens. Dabei werden das System VitaminL zur synchronen Bearbeitung von Programmieraufgaben und das Kennzahlensystem K-3 für die Bewertung kollaborativer Zusammenarbeit in einer Lehrveranstaltung angewendet. Der aktuelle Forschungsschwerpunkt der Hildesheimer Informationswissenschaft zeichnet sich im vierten Kapitel unter dem Thema "Multilinguale Systeme" ab. Hier finden sich die meisten Beiträge des Tagungsbandes wieder. Olga Tartakovski und Margaryta Shramko beschreiben und prüfen das System Langldent, das die Sprache von mono- und multilingualen Texten identifiziert. Die Eigenheiten der japanischen Schriftzeichen stellt Nina Kummer dar und vergleicht experimentell die unterschiedlichen Techniken der Indexierung. Suriya Na Nhongkai und Hans-Joachim Bentz präsentieren und prüfen eine bilinguale Suche auf Basis von Konzeptnetzen, wobei die Konzeptstruktur das verbindende Elemente der beiden Textsammlungen darstellt. Das Entwickeln und Evaluieren eines mehrsprachigen Question-Answering-Systems im Rahmen des Cross Language Evaluation Forum (CLEF), das die alltagssprachliche Formulierung von konkreten Fragestellungen ermöglicht, wird im Beitrag von Robert Strötgen, Thomas Mandl und Rene Schneider thematisiert. Den Schluss bildet der Aufsatz von Niels Jensen, der ein mehrsprachiges Web-Retrieval-System ebenfalls im Zusammenhang mit dem CLEF anhand des multilingualen EuroGOVKorpus evaluiert.
    Abschließend lässt sich sagen, dass der Tagungsband einen gelungenen Überblick über die Information Retrieval Projekte der Hildesheimer Informationswissenschaft und ihrer Kooperationspartner gibt. Die einzelnen Beiträge sind sehr anregend und auf einem hohen Niveau angesiedelt. Ein kleines Hindernis für den Leser stellt die inhaltliche und strukturelle Orientierung innerhalb des Bandes dar. Der Bezug der einzelnen Artikel zum Thema des Kapitels wird zwar im Vorwort kurz erläutert. Erschwert wird die Orientierung im Buch jedoch durch fehlende Kapitelüberschriften am Anfang der einzelnen Sektionen. Außerdem ist zu erwähnen, dass einer der Artikel einen anderen Titel als im Inhaltsverzeichnis angekündigt trägt. Sieht der Leser von diesen formalen Mängeln ab, wird er reichlich mit praxisbezogenen und theoretisch fundierten Projektdarstellungen und Forschungsergebnissen belohnt. Dies insbesondere, da nicht nur aktuelle Themen der Informationswissenschaft aufgegriffen, sondern ebenso weiterentwickelt und durch die speziellen interdisziplinären und internationalen Bedingungen in Hildesheim geformt werden. Dabei zeigt sich anhand der verschiedenen Projekte, wie gut die Hildesheimer Informationswissenschaft in die Community überregionaler Informationseinrichtungen und anderer deutscher informationswissenschaftlicher Forschungsgruppen eingebunden ist. Damit hat der Workshop bei einer weiteren Öffnung der Expertengruppe das Potential zu einer eigenständigen Institution im Bereich des Information Retrieval zu werden. In diesem Sinne lässt sich auf weitere fruchtbare Workshops und deren Veröffentlichungen hoffen. Ein nächster Workshop der Universität Hildesheim zum Thema Information Retrieval, organisiert mit der Fachgruppe Information Retrieval der Gesellschaft für Informatik, kündigt sich bereits für den 9. bis 13- Oktober 2006 an."
  2. Smithson, S.: Information retrieval evaluation in practice : a case study approach (1994) 0.02
    0.019313892 = product of:
      0.11588335 = sum of:
        0.1004296 = weight(_text_:205 in 7302) [ClassicSimilarity], result of:
          0.1004296 = score(doc=7302,freq=2.0), product of:
            0.2057144 = queryWeight, product of:
              6.312392 = idf(docFreq=217, maxDocs=44218)
              0.032588977 = queryNorm
            0.48819917 = fieldWeight in 7302, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              6.312392 = idf(docFreq=217, maxDocs=44218)
              0.0546875 = fieldNorm(doc=7302)
        0.015453748 = product of:
          0.030907497 = sum of:
            0.030907497 = weight(_text_:22 in 7302) [ClassicSimilarity], result of:
              0.030907497 = score(doc=7302,freq=2.0), product of:
                0.11412105 = queryWeight, product of:
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.032588977 = queryNorm
                0.2708308 = fieldWeight in 7302, product of:
                  1.4142135 = tf(freq=2.0), with freq of:
                    2.0 = termFreq=2.0
                  3.5018296 = idf(docFreq=3622, maxDocs=44218)
                  0.0546875 = fieldNorm(doc=7302)
          0.5 = coord(1/2)
      0.16666667 = coord(2/12)
    
    Abstract
    The evaluation of information retrieval systems is an important yet difficult operation. This paper describes an exploratory evaluation study that takes an interpretive approach to evaluation. The longitudinal study examines evaluation through the information-seeking behaviour of 22 case studies of 'real' users. The eclectic approach to data collection produced behavioral data that is compared with relevance judgements and satisfaction ratings. The study demonstrates considerable variations among the cases, among different evaluation measures within the same case, and among the same measures at different stages within a single case. It is argued that those involved in evaluation should be aware of the difficulties, and base any evaluation on a good understanding of the cases in question
    Source
    Information processing and management. 30(1994) no.2, S.205-221
  3. Scherer, B.: Automatische Indexierung und ihre Anwendung im DFG-Projekt "Gemeinsames Portal für Bibliotheken, Archive und Museen (BAM)" (2003) 0.02
    0.016404103 = product of:
      0.09842461 = sum of:
        0.046871334 = weight(_text_:informatik in 4283) [ClassicSimilarity], result of:
          0.046871334 = score(doc=4283,freq=2.0), product of:
            0.1662844 = queryWeight, product of:
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.032588977 = queryNorm
            0.2818745 = fieldWeight in 4283, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.0390625 = fieldNorm(doc=4283)
        0.051553283 = weight(_text_:systeme in 4283) [ClassicSimilarity], result of:
          0.051553283 = score(doc=4283,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.2956176 = fieldWeight in 4283, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.0390625 = fieldNorm(doc=4283)
      0.16666667 = coord(2/12)
    
    Abstract
    Automatische Indexierung verzeichnet schon seit einigen Jahren aufgrund steigender Informationsflut ein wachsendes Interesse. Allerdings gibt es immer noch Vorbehalte gegenüber der intellektuellen Indexierung in Bezug auf Qualität und größerem Aufwand der Systemimplementierung bzw. -pflege. Neuere Entwicklungen aus dem Bereich des Wissensmanagements, wie beispielsweise Verfahren aus der Künstlichen Intelligenz, der Informationsextraktion, dem Text Mining bzw. der automatischen Klassifikation sollen die automatische Indexierung aufwerten und verbessern. Damit soll eine intelligentere und mehr inhaltsbasierte Erschließung geleistet werden. In dieser Masterarbeit wird außerhalb der Darstellung von Grundlagen und Verfahren der automatischen Indexierung sowie neueren Entwicklungen auch Möglichkeiten der Evaluation dargestellt. Die mögliche Anwendung der automatischen Indexierung im DFG-ProjektGemeinsames Portal für Bibliotheken, Archive und Museen (BAM)" bilden den Schwerpunkt der Arbeit. Im Portal steht die bibliothekarische Erschließung von Texten im Vordergrund. In einem umfangreichen Test werden drei deutsche, linguistische Systeme mit statistischen Verfahren kombiniert (die aber teilweise im System bereits integriert ist) und evaluiert, allerdings nur auf der Basis der ausgegebenen Indexate. Abschließend kann festgestellt werden, dass die Ergebnisse und damit die Qualität (bezogen auf die Indexate) von intellektueller und automatischer Indexierung noch signifikant unterschiedlich sind. Die Gründe liegen in noch zu lösenden semantischen Problemen bzw, in der Obereinstimmung mit Worten aus einem Thesaurus, die von einem automatischen Indexierungssystem nicht immer nachvollzogen werden kann. Eine Inhaltsanreicherung mit den Indexaten zum Vorteil beim Retrieval kann, je nach System oder auch über die Einbindung durch einen Thesaurus, erreicht werden.
    Imprint
    Konstanz : Universität / Fachbereich Informatik und Informationswissenschaft
  4. Geist, K.: Qualität und Relevanz von bildungsbezogenen Suchergebnissen bei der Suche im Web (2012) 0.01
    0.013448846 = product of:
      0.08069307 = sum of:
        0.061863944 = weight(_text_:systeme in 570) [ClassicSimilarity], result of:
          0.061863944 = score(doc=570,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.35474116 = fieldWeight in 570, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.046875 = fieldNorm(doc=570)
        0.01882913 = weight(_text_:internet in 570) [ClassicSimilarity], result of:
          0.01882913 = score(doc=570,freq=2.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.1957077 = fieldWeight in 570, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.046875 = fieldNorm(doc=570)
      0.16666667 = coord(2/12)
    
    Abstract
    Websuchmaschinen haben sich sowohl im privaten als auch im professionellen Bereich zu den bedeutsamsten Recherchewerkzeugen der Gegenwart entwickelt. Sie durchsuchen die Weiten des Internets, um verfügbare Dokumente zu erfassen und dem Benutzer auf Anfrage präsentieren zu können. Mit den gefundenen Dokumenten beabsichtigen sie vielfältige Informationsbedürfnisse zu befriedigen. Ihr Erfolg basiert zu einem großen Teil auf der Fähigkeit, relevante Dokumente zu spezifischen Suchanfragen zu liefern. Um verschiedene Systeme miteinander vergleichen zu können, werden daher häufig Relevanzevaluationen durchgeführt. Dieser Artikel beschreibt in Auszügen die Ergebnisse eines Retrievaltests, der Qualität und Relevanz informationsorientierter Suchanfragen zum Thema Bildung untersucht. Studentische Nutzer beurteilten dabei die Suchergebnisse von Google hinsichtlich ihrer Relevanz, Vertrauenswürdigkeit, Verständlichkeit und Aktualität. Die Untersuchung wurde im Rahmen mei­ner Magisterarbeit durchgeführt, die mit dem VFI-Förderungspreis 2011 ausgezeichnet wurde, und war eingebunden in ein Forschungsprojekt an der Universität Hildesheim zu bildungsbezogener Informationssuche im Internet (BISIBS). Ich bedanke mich herzlich bei allen, die an der Entstehung dieser Arbeit beteiligt waren und bei der Preis-Kommission für die Auszeichnung.
  5. Salton, G.: ¬The Smart environment for retrieval systeme valuation : advantages and problem areas (1981) 0.01
    0.0120291 = product of:
      0.1443492 = sum of:
        0.1443492 = weight(_text_:systeme in 3159) [ClassicSimilarity], result of:
          0.1443492 = score(doc=3159,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.82772934 = fieldWeight in 3159, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.109375 = fieldNorm(doc=3159)
      0.083333336 = coord(1/12)
    
  6. Womser-Hacker, C.: Theorie des Information Retrieval III : Evaluierung (2004) 0.01
    0.00768511 = product of:
      0.09222132 = sum of:
        0.09222132 = weight(_text_:systeme in 2919) [ClassicSimilarity], result of:
          0.09222132 = score(doc=2919,freq=10.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.5288169 = fieldWeight in 2919, product of:
              3.1622777 = tf(freq=10.0), with freq of:
                10.0 = termFreq=10.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.03125 = fieldNorm(doc=2919)
      0.083333336 = coord(1/12)
    
    Abstract
    Information-Retrieval-Systeme wurden bereits sehr früh aus einer bewertenden Perspektive betrachtet. Jede neu entwickelte Komponente sollte effektivitätssteigernd für das gesamte System wirken und musste ihre Funktionalität unter Beweis stellen oder den Vergleich zu existierenden Verfahren antreten (z.B. automatische Indexierung vs. manuelle Erschließung von Informationsobjekten). 1963 fanden die Cranfield-II-Experimente statt und begründeten die Evaluierungsprinzipien im Information Retrieval. Somit haben auch Bewertungsverfahren, -ansätze und -methoden bereits eine lange Tradition. Die von Sparck Jones eingebrachte Feststellung, dass die genauen Gründe für das Verhalten von Information-Retrieval-Systemen oft im Dunklen lägen, führte zu der Forderung nach einer exakten und expliziten Evaluierungsmethodologie und experimentellen Überprüfbarkeit. Als generelle Herangehensweise hat sich ein indirektes Verfahren zur Bewertung von InformationRetrieval-Systemen etabliert, bei welchem das System an sich als black box gesehen und nur der Retrievaloutput als Grundlage für die Bewertung herangezogen wird. In den Experimenten stand die Systemperspektive im Vordergrund, um zu einer bewertenden Aussage zu gelangen. Es wurde gemessen, wie gut die Systeme in der Lage sind, die an sie gestellten Anforderungen zu erfüllen, relevante Dokumente zu liefern und nicht-relevante zurückzuhalten. Durch die zunehmende Komplexität der Systeme sowie die immer stärkere Einbeziehung von Benutzern, die nicht über die Kompetenz und Professionalität von Informationsfachleuten verfügen, wurde es immer schwieriger, Einzeleigenschaften vom Gesamtsystem zu isolieren und experimentell zu bewerten. Erst im Zeitalter der Suchmaschinen ist man zu der Ansicht gelangt, dass den Benutzern der Systeme eine entscheidende Rolle bei der Bewertung zukommt. Die Verfahren der Qualitätsbewertung müssen - wie dieses Beispiel zeigt - ständig weiterentwickelt werden. Die Benutzermerkmale können heterogen sein und sich einer genauen Kenntnis entziehen, was eine vollständige Formalisierung bzw. Quantifizierung erschwert. Neueren Datums sind Studien, die sich auf interaktive Information-Retrieval-Systeme oder auf die Qualitätsbestimmung bestimmter Teilkomponenten spezialisiert haben wie z.B. die Erschließungsoder Visualisierungskomponente, die Gestaltung der Benutzungsschnittstelle aus softwareergonomischer Sicht oder auch die Multilingua-Fähigkeit.
  7. Frisch, E.; Kluck, M.: Pretest zum Projekt German Indexing and Retrieval Testdatabase (GIRT) unter Anwendung der Retrievalsysteme Messenger und freeWAISsf (1997) 0.01
    0.0068737715 = product of:
      0.08248526 = sum of:
        0.08248526 = weight(_text_:systeme in 624) [ClassicSimilarity], result of:
          0.08248526 = score(doc=624,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.4729882 = fieldWeight in 624, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.0625 = fieldNorm(doc=624)
      0.083333336 = coord(1/12)
    
    Abstract
    GIRT soll den Rahmen für einen aussagekräftigen Vergleich moderner, intelligenter Indexierungs- und Retrievalsysteme schaffen, auf dessen Basis die Leistungsfähigkeit dieser Systeme gegenüber herkömmlichen Standardsystemen beurteilt werden kann. Es geht darum, die existierenden bzw. in der Entwicklung befindlichen modernen Indexierungs- und Retrievalsysteme auf ihre Leistungsfähigkeit und Einsatzfähigkeit für den Bereich der Fachinformation hin zu überprüfen
  8. Kluck, M.; Winter, M.: Topic-Entwicklung und Relevanzbewertung bei GIRT : ein Werkstattbericht (2006) 0.01
    0.0068737715 = product of:
      0.08248526 = sum of:
        0.08248526 = weight(_text_:systeme in 5967) [ClassicSimilarity], result of:
          0.08248526 = score(doc=5967,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.4729882 = fieldWeight in 5967, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.0625 = fieldNorm(doc=5967)
      0.083333336 = coord(1/12)
    
    Abstract
    Der Zusammenhang zwischen Topic-Entwicklung und Relevanzbewertung wird anhand einiger Fallbeispiele aus der CLEF-Evaluierungskampagne 2005 diskutiert. Im fachspezifischen Retrievaltest für multilinguale Systeme wurden die Topics am Dokumentenbestand von GIRT entwickelt. Die Zusammenhänge von Topic-Formulierung und Interpretationsspielräumen bei der Relevanzbewertung werden untersucht.
  9. Park, S.: Usability, user preferences, effectiveness, and user behaviors when searching individual and integrated full-text databases : implications for digital libraries (2000) 0.01
    0.0062513794 = product of:
      0.07501655 = sum of:
        0.07501655 = weight(_text_:verteilte in 4591) [ClassicSimilarity], result of:
          0.07501655 = score(doc=4591,freq=2.0), product of:
            0.21036641 = queryWeight, product of:
              6.45514 = idf(docFreq=188, maxDocs=44218)
              0.032588977 = queryNorm
            0.35659945 = fieldWeight in 4591, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              6.45514 = idf(docFreq=188, maxDocs=44218)
              0.0390625 = fieldNorm(doc=4591)
      0.083333336 = coord(1/12)
    
    Theme
    Verteilte bibliographische Datenbanken
  10. Frei, H.P.; Meienberg, S.; Schäuble, P.: ¬The perils of interpreting recall and precision values (1991) 0.01
    0.006249511 = product of:
      0.07499413 = sum of:
        0.07499413 = weight(_text_:informatik in 786) [ClassicSimilarity], result of:
          0.07499413 = score(doc=786,freq=2.0), product of:
            0.1662844 = queryWeight, product of:
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.032588977 = queryNorm
            0.4509992 = fieldWeight in 786, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.0625 = fieldNorm(doc=786)
      0.083333336 = coord(1/12)
    
    Series
    Informatik-Fachberichte; 289
  11. Wildemuth, B.M.; Jacob, E.K.; Fullington, A.;; Bliek, R. de; Friedman, C.P.: ¬A detailed analysis of end-user search behaviours (1991) 0.01
    0.0059779524 = product of:
      0.07173543 = sum of:
        0.07173543 = weight(_text_:205 in 2423) [ClassicSimilarity], result of:
          0.07173543 = score(doc=2423,freq=2.0), product of:
            0.2057144 = queryWeight, product of:
              6.312392 = idf(docFreq=217, maxDocs=44218)
              0.032588977 = queryNorm
            0.3487137 = fieldWeight in 2423, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              6.312392 = idf(docFreq=217, maxDocs=44218)
              0.0390625 = fieldNorm(doc=2423)
      0.083333336 = coord(1/12)
    
    Abstract
    Search statements in this revision process can be viewed as a 'move' in the overall search strategy. Very little is known about how end users develop and revise their search strategies. A study was conducted to analyse the moves made in 244 data base searches conducted by 26 medical students at the University of North Carolina at Chapel Hill. Students search INQUIRER, a data base of facts and concepts in microbiology. The searches were conducted during a 3-week period in spring 1990 and were recorded by the INQUIRER system. Each search statement was categorised, using Fidel's online searching moves (S. Online review 9(1985) S.61-74) and Bates' search tactics (s. JASIS 30(1979) S.205-214). Further analyses indicated that the most common moves were Browse/Specity, Select Exhaust, Intersect, and Vary, and that selection of moves varied by student and by problem. Analysis of search tactics (combinations of moves) identified 5 common search approaches. The results of this study have implcations for future research on search behaviours, for thedesign of system interfaces and data base structures, and for the training of end users
  12. Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001) 0.01
    0.0051553287 = product of:
      0.061863944 = sum of:
        0.061863944 = weight(_text_:systeme in 6386) [ClassicSimilarity], result of:
          0.061863944 = score(doc=6386,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.35474116 = fieldWeight in 6386, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.046875 = fieldNorm(doc=6386)
      0.083333336 = coord(1/12)
    
    Abstract
    Retrieval Tests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das auf Grund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
  13. Griesbaum, J.: Evaluierung hybrider Suchsysteme im WWW (2000) 0.01
    0.0051553287 = product of:
      0.061863944 = sum of:
        0.061863944 = weight(_text_:systeme in 2482) [ClassicSimilarity], result of:
          0.061863944 = score(doc=2482,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.35474116 = fieldWeight in 2482, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.046875 = fieldNorm(doc=2482)
      0.083333336 = coord(1/12)
    
    Abstract
    Der Ausgangspunkt dieser Arbeit ist die Suchproblematik im World Wide Web. Suchmaschinen sind einerseits unverzichtbar für erfolgreiches Information Retrieval, andererseits wird ihnen eine mäßige Leistungsfähigkeit vorgeworfen. Das Thema dieser Arbeit ist die Untersuchung der Retrievaleffektivität deutschsprachiger Suchmaschinen. Es soll festgestellt werden, welche Retrievaleffektivität Nutzer derzeit erwarten können. Ein Ansatz, um die Retrievaleffektivität von Suchmaschinen zu erhöhen besteht darin, redaktionell von Menschen erstellte und automatisch generierte Suchergebnisse in einer Trefferliste zu vermengen. Ziel dieser Arbeit ist es, die Retrievaleffektivität solcher hybrider Systeme im Vergleich zu rein roboterbasierten Suchmaschinen zu evaluieren. Zunächst werden hierzu die grundlegenden Problembereiche bei der Evaluation von Retrievalsystemen analysiert. In Anlehnung an die von Tague-Sutcliff vorgeschlagene Methodik wird unter Beachtung der webspezifischen Besonderheiten eine mögliche Vorgehensweise erschlossen. Darauf aufbauend wird das konkrete Setting für die Durchführung der Evaluation erarbeitet und ein Retrievaleffektivitätstest bei den Suchmaschinen Lycos.de, AItaVista.de und QualiGo durchgeführt.
  14. Rapke, K.: Automatische Indexierung von Volltexten für die Gruner+Jahr Pressedatenbank (2001) 0.00
    0.004296107 = product of:
      0.051553283 = sum of:
        0.051553283 = weight(_text_:systeme in 5863) [ClassicSimilarity], result of:
          0.051553283 = score(doc=5863,freq=2.0), product of:
            0.17439179 = queryWeight, product of:
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.032588977 = queryNorm
            0.2956176 = fieldWeight in 5863, product of:
              1.4142135 = tf(freq=2.0), with freq of:
                2.0 = termFreq=2.0
              5.3512506 = idf(docFreq=569, maxDocs=44218)
              0.0390625 = fieldNorm(doc=5863)
      0.083333336 = coord(1/12)
    
    Abstract
    Retrievaltests sind die anerkannteste Methode, um neue Verfahren der Inhaltserschließung gegenüber traditionellen Verfahren zu rechtfertigen. Im Rahmen einer Diplomarbeit wurden zwei grundsätzlich unterschiedliche Systeme der automatischen inhaltlichen Erschließung anhand der Pressedatenbank des Verlagshauses Gruner + Jahr (G+J) getestet und evaluiert. Untersucht wurde dabei natürlichsprachliches Retrieval im Vergleich zu Booleschem Retrieval. Bei den beiden Systemen handelt es sich zum einen um Autonomy von Autonomy Inc. und DocCat, das von IBM an die Datenbankstruktur der G+J Pressedatenbank angepasst wurde. Ersteres ist ein auf natürlichsprachlichem Retrieval basierendes, probabilistisches System. DocCat demgegenüber basiert auf Booleschem Retrieval und ist ein lernendes System, das aufgrund einer intellektuell erstellten Trainingsvorlage indexiert. Methodisch geht die Evaluation vom realen Anwendungskontext der Textdokumentation von G+J aus. Die Tests werden sowohl unter statistischen wie auch qualitativen Gesichtspunkten bewertet. Ein Ergebnis der Tests ist, dass DocCat einige Mängel gegenüber der intellektuellen Inhaltserschließung aufweist, die noch behoben werden müssen, während das natürlichsprachliche Retrieval von Autonomy in diesem Rahmen und für die speziellen Anforderungen der G+J Textdokumentation so nicht einsetzbar ist
  15. MacCall, S.L.; Cleveland, A.D.: ¬A relevance-based quantitative measure for Internet information retrieval evaluation (1999) 0.00
    0.0035086013 = product of:
      0.042103216 = sum of:
        0.042103216 = weight(_text_:internet in 6689) [ClassicSimilarity], result of:
          0.042103216 = score(doc=6689,freq=10.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.43761572 = fieldWeight in 6689, product of:
              3.1622777 = tf(freq=10.0), with freq of:
                10.0 = termFreq=10.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.046875 = fieldNorm(doc=6689)
      0.083333336 = coord(1/12)
    
    Abstract
    An important indicator of a maturating Internet is the development of metrics for its evaluation as a practical tool for enduser information retrieval. However, the Internet presents specific problems for traditional IR measures, such as the need to deal with the variety of classes of retrieval tools. This paper presents a metric for comparing the performance of common classes of Internet information retrieval tool, including human indexed catalogs of web resources and automatically indexed databases of web pages. The metric uses a relevance-based quantitative measure to compare the performance of endusers using these Internet information retrieval tools. The benefit of the proposed metric is that it is relevance-based (using enduser relevance judgments), and it facilitates the comparison of the performance of different classes of IIR tools
  16. Mettrop, W.; Nieuwenhuysen, P.: Internet search engines : fluctuations in document accessibility (2001) 0.00
    0.0032029 = product of:
      0.0384348 = sum of:
        0.0384348 = weight(_text_:internet in 4481) [ClassicSimilarity], result of:
          0.0384348 = score(doc=4481,freq=12.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.39948666 = fieldWeight in 4481, product of:
              3.4641016 = tf(freq=12.0), with freq of:
                12.0 = termFreq=12.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.0390625 = fieldNorm(doc=4481)
      0.083333336 = coord(1/12)
    
    Abstract
    An empirical investigation of the consistency of retrieval through Internet search engines is reported. Thirteen engines are evaluated: AltaVista, EuroFerret, Excite, HotBot, InfoSeek, Lycos, MSN, NorthernLight, Snap, WebCrawler and three national Dutch engines: Ilse, Search.nl and Vindex. The focus is on a characteristics related to size: the degree of consistency to which an engine retrieves documents. Does an engine always present the same relevant documents that are, or were, available in its databases? We observed and identified three types of fluctuations in the result sets of several kinds of searches, many of them significant. These should be taken into account by users who apply an Internet search engine, for instance to retrieve as many relevant documents as possible, or to retrieve a document that was already found in a previous search, or to perform scientometric/bibliometric measurements. The fluctuations should also be considered as a complication of other research on the behaviour and performance of Internet search engines. In conclusion: in view of the increasing importance of the Internet as a publication/communication medium, the fluctuations in the result sets of Internet search engines can no longer be neglected.
  17. Harter, S.P.; Hert, C.A.: Evaluation of information retrieval systems : approaches, issues, and methods (1997) 0.00
    0.0031707096 = product of:
      0.038048513 = sum of:
        0.038048513 = weight(_text_:internet in 2264) [ClassicSimilarity], result of:
          0.038048513 = score(doc=2264,freq=6.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.39547163 = fieldWeight in 2264, product of:
              2.4494898 = tf(freq=6.0), with freq of:
                6.0 = termFreq=6.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.0546875 = fieldNorm(doc=2264)
      0.083333336 = coord(1/12)
    
    Abstract
    State of the art review of information retrieval systems, defined as systems retrieving documents a sopposed to numerical data. Explains the classic Cranfield studies that have served as a standard for retrieval testing since the 1960s and discusses the Cranfield model and its relevance based measures of retrieval effectiveness. Details sosme of the problems with the Cranfield instruments and issues of validity and reliability, generalizability, usefulness and basic concepts. Discusses the evaluation of the Internet search engines in light of the Cranfield model, noting the very real differences between batch systems (Cranfield) and interactive systems (Internet). Because the Internet collection is not fixed, it is impossible to determine recall as a measure of retrieval effectiveness. considers future directions in evaluating information retrieval systems
  18. Mandl, T.: Web- und Multimedia-Dokumente : Neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen (2003) 0.00
    0.0029587122 = product of:
      0.035504546 = sum of:
        0.035504546 = weight(_text_:internet in 1734) [ClassicSimilarity], result of:
          0.035504546 = score(doc=1734,freq=4.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.36902997 = fieldWeight in 1734, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.0625 = fieldNorm(doc=1734)
      0.083333336 = coord(1/12)
    
    Abstract
    Die Menge an Daten im Internet steigt weiter rapide an. Damit wächst auch der Bedarf an qualitativ hochwertigen Information Retrieval Diensten zur Orientierung und problemorientierten Suche. Die Entscheidung für die Benutzung oder Beschaffung von Information Retrieval Software erfordert aussagekräftige Evaluierungsergebnisse. Dieser Beitrag stellt neuere Entwicklungen bei der Evaluierung von Information Retrieval Systemen vor und zeigt den Trend zu Spezialisierung und Diversifizierung von Evaluierungsstudien, die den Realitätsgrad derErgebnisse erhöhen. DerSchwerpunkt liegt auf dem Retrieval von Fachtexten, Internet-Seiten und Multimedia-Objekten.
  19. TREC: experiment and evaluation in information retrieval (2005) 0.00
    0.00276192 = product of:
      0.03314304 = sum of:
        0.03314304 = weight(_text_:informatik in 636) [ClassicSimilarity], result of:
          0.03314304 = score(doc=636,freq=4.0), product of:
            0.1662844 = queryWeight, product of:
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.032588977 = queryNorm
            0.19931538 = fieldWeight in 636, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              5.1024737 = idf(docFreq=730, maxDocs=44218)
              0.01953125 = fieldNorm(doc=636)
      0.083333336 = coord(1/12)
    
    BK
    54.75 / Sprachverarbeitung <Informatik>
    Classification
    54.75 / Sprachverarbeitung <Informatik>
  20. Davis, C.H.: From document retrieval to Web browsing : some universal concerns (1997) 0.00
    0.0025888733 = product of:
      0.03106648 = sum of:
        0.03106648 = weight(_text_:internet in 399) [ClassicSimilarity], result of:
          0.03106648 = score(doc=399,freq=4.0), product of:
            0.09621047 = queryWeight, product of:
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.032588977 = queryNorm
            0.32290122 = fieldWeight in 399, product of:
              2.0 = tf(freq=4.0), with freq of:
                4.0 = termFreq=4.0
              2.9522398 = idf(docFreq=6276, maxDocs=44218)
              0.0546875 = fieldNorm(doc=399)
      0.083333336 = coord(1/12)
    
    Abstract
    Computer based systems can produce enourmous retrieval sets even when good search logic is used. Sometimes this is desirable, more often it is not. Appropriate filters can limit search results, but they represent only a partial solution. Simple ranking techniques are needed that are both effective and easily understood by the humans doing the searching. Optimal search output, whether from a traditional database or the Internet, will result when intuitive interfaces are designed that inspire confidence while making the necessary mathematics transparent. Weighted term searching using powers of 2, a technique proposed early in the history of information retrieval, can be simplifies and used in combination with modern graphics and textual input to achieve these results
    Theme
    Internet

Languages

  • e 52
  • d 14
  • f 1
  • m 1
  • sp 1
  • More… Less…

Types

  • a 60
  • s 5
  • m 4
  • r 2
  • x 2
  • More… Less…