Dubletten-Erkennung
11. August 2008.
Finnigan kurz nach dem Abheben vor St Michaels
Mount
Die meisten im Information Retrieval genutzten Algorithmen sind alt. Nicht wenige wurden während der 60er Jahre entwickelt. Selbst Dublettenerkennung ist heute fast standardisiert. Verbesserungen sind marginal und nicht mehr weltbewegend. Abschreiber sind zwar in der Lage, Kernbegriffe eines Textes durch Synonyme zu ersetzen, aber wer alle Stopwort-Folgen durch Neuformulierungen ersetzen will, entdeckt, dass von Grund auf neu schreiben einfacher ist.