Wenn Ihre Site in den AllTheWeb-Suchergebnissen ploetzlich sackt, wie die bleierne Ente, _kann_ es sein, dass Sie Inhalte haben, die von ATW gefiltert werden.
Bei der typischen Suche wird u.a. oben rechts ein Links mit dem Linktext "Offensive Content Reduction ON" [bzw. OFF], der zeigt, ob Anstoessige Inhalte "reduziert" oder durchgelassen werden. Auch so unschuldige Woertchen wie "unmoralisch" koennen u.U. die Warnleuchten zum Gluehen bringen.
Wenn Sie den Schalter fuer die ATW-Filter abstellen und Ihre Site dadurch sichtbar[er] wird, muessen Seiten gruendlichst analysiert werden.
Aber auch ohne anstoessige Inhalte scheint ATW manchmal recht abenteuerlich zu bewerten. Beim letzten Update sind mir Spruenge um dutzende und auch hunderte von Positionen aufgefallen. ATW ist offenbar immer noch in der Experimentierphase.
Die Idee stammt von AltaVista, wo man vor ein paar Monaten mit selbst gestrickten URLs dynamische Seiten liefernde oder auch nur falsch konfigurierte Server bzw Hosts abfuehlte. Es kommt naemlich oft genug vor, dass der Abruf einer nicht existierenden Seite zwar mit einer solchen beantwortet wird, die den Anwender ueber die Nicht-Existenz informiert, dabei aber den HTTP-Status 200 [sprich "Seite gefunden"] an den Browser bzw Spider schickt, statt den hierfuer vorgesehenen Status-Code 404:
Seite
existiert nicht,
Seite
nicht gefunden,
file
not found
Ruft man von einem Server URLs ab, die dort mit an Sicherheit grenzender Wahrscheinlichkeit nicht existieren, sieht man, welche Status-Codes ein Server liefert. Fireball versucht offenbar auch, die Datenbestaende zu saeubern. Aus meinem access_log:
193.7.255.244 - - [28/Sep/2002:22:27:36 +0100] "GET /7rr7hijo6hodj2y2uthe/ HTTP/1.1" 404 106 "-" "Firefly/1.0 (compatible; Mozilla 4.0; MSIE 5.5)"
Dabei koennte Fireball viel gruendlicher vorgehen, wenn man alle Seiten, auf die der Zugriff per robots.txt gesperrt ist, loeschen wuerde. Fireball nimmt zwar Aenderungen in robots.txt zur Kenntnis, bereits indizierte Seiten die erst nach Indizierung gesperrt werden, erlangen aber den Status der Datenbank-Leiche: Neuabrufe zwecks Aktualisierung werden als nicht erlaubt erkannt, die Loeschung der durch die Aenderung gesperrten Seiten im FB-Datenbestand erfolgt aber nicht.
Eigenartige Suchergebnisse bringt die Suchmaschine Witch von Zeit zu Zeit. Bei manchen Anfragen liefert die Textsuche andere Ergebnisse als die Suche fuer Normalsterbliche. Fuer andere Such-Anfragen sind die Ergebnisse gleich, stammen aber mal von AllTheWeb, mal aus eigenen Bestaenden. Ich vermute, dass AllTheWeb befragt wird, wenn der eigene Hexenkessel nichts bietet.
Die Suche nach huehnerfedern [mit deutschem Umlaut] bringt z.B. ATW-Ergebnisse, moorhuehner [wieder mit Umlaut] werden direkt von Witch geliefert. Gelernt habe ich, dass Huehnerfedern zum Stueckpreis verkauft werden [2. Suchergebnis].
http://www.wicht.de/
http://www.amazon.co.uk/execöbidosÄSIN/B000056MYN/202-2389329-9904631
Nur sinnvoll, wenn Sie wissen, dass bei Amazon die groessere Version eines Titels durch Anklicken des Buches/der CD bewirkt werden kann.
Kassiert habe ich bei Google - ungewollt - die Suchformulierung "sony ghettoblaster" [nicht als Phrase]. Langzeitleser wissen, dass ich im Maerz-Newsletter zeigte, wie Amazon in Suchmaschinen Leute findet, die sich fuer Ghettoblaster interessieren.
Sony Ghettoblaster - Erstverwendung.
Auf der Seite "Garantierte Suchmaschinen-Position - was dahinter steckt" erklaerte ich kurze Zeit spaeter, wie so etwas "passiert".
Und auf der Seite "Zielt AltaVista auf Google?", die AltaVistas Suchergebnisse mit Google vergleicht, habe ich die Formulierung ebenfalls [aber in einem anderen Zusammenhang] benutzt.
Waehrend des letzte Woche laufenden Updates hatte die Rangfolge der 3 Seiten hohen Unterhaltungswert: die Newsletter-Seite belegte Platz 1, gefolgt von der Seite ueber garantierte Positionen auf dem 2. Platz. Diese Seite rutschte jetzt leider auf den 16. und auf dem ersten erscheint der AltaVista-Vergleich. Google hat offensichtlich keinen Humor.
Geruechte und Spekulationen ueber das Verhaeltnis zwischen Yahoo! und Google - der um ein Vierteljahr verlaengerte Vertrag lief ja inzwischen wieder aus - ueberlasse ich anderen. Bemerkenswert war bisher nur, dass yahoo.com auf den Seiten, die Ergebnisse von Google liefern, kuerzlich den bisher auf Google zeigenden Link durch einen einfachen Texthinweis ersetzte [yahoo.de hat noch eine klickbare Image MAP].
Waehrend diese Veraenderung eine Vielzahl von Interpretationen erlaubt, kann mit absoluter Gewissheit nur gesagt werden, dass Yahoo! es vorzieht, Google keine Besucher zu schicken. Wie bekannt, liefert eine steigende Zahl von Suchmaschinen heute Ergebnisse von Google - das ist offenbar preiswerter, als die Wartung und Weiterentwicklung eigener Software. Kurzfristig jedenfalls, und Quartalsdenken dominiert.
Mit wenigen Ausnahmen - AOL ist eine - bietet jede Suchmaschine, die Google-Ergebnisse liefert, einen Link auf die Quelle selbiger. Ob es sich hierbei um eine Vertragsbedingung - oder eine naive Gefaelligkeit der Google-Kunden - handelt, ist unbekannt. Bekannt ist aber, dass Googles Bekanntheitsgrad auch unter denen, die die URL noch nicht kennen, herumspricht [die Haeufigkeit der Einwort- Suchanfrage "google" ist im letzten Jahr erstaunlich gestiegen]. Und so wie Anwender lernen, direkt zur Quelle zu gehen, wo man schneller und ohne irritierende Ablenkung bedient wird, steigt Googles Marktposition weiter auf Kosten der ehemaligen Partner [und Mitbewerber].
Was passiert, wenn die bisherigen Alternativen ausfallen, wenn Google an die Boerse gehen sollte und von Leuten mit "echtem Sachverstand" kontrolliert wird, oder einfach nur eine drastische Ranking-Veraenderung wie beim letzten Update zur Versenkung vieler Sites fuehrt, ist eine der Fragen, die niemand zu fluestern wagt.
Wird es Zeit, ueber alternative Besucherstroeme nachzudenken?
Lycos bietet immer noch die Moeglichkeit der kostenlosen Aufnahme in den Lycos-Webkatalog, wenn auch gut versteckt und ohne JavaScript nahezu unbrauchbar:
https://secure.lycos.de/lde/serviceäddasiteCSR.php
Wer, wie ich, den Browser auf etwa die halbe Bildschirmbreite einstellt [weil HTML theoretisch ja frei fliesst], muss entweder lange suchen oder den Verschiebebalken bemuehen und sich auf den rechten Seitenrand konzentrieren.
Lycos bietet obendrein auch - ueber einen Vermittler - die bezahlte Anmeldung "in weitere 24 Suchmaschinen":
http://www.lycos.de/searchänmeldung/
Mit typischem britischen Understatement wird dort der Eintrag nicht nur in 24, sondern mehr als 100 Suchmaschinen geboten. Die Sache wird besser: wer einen Absatz weiterliesst, stellt erfreut fest, dass man bei mehr als 125 Suchmaschinen anmeldet. Selbst bei Speedfind.de wird hier noch die Anmeldung geboten - offenbar eine Exklusiv-Leistung.
Wer die "aktuelle Liste der Inktomi-Partner" aufruft [setzt JavaScript voraus, sonst laufen Sie im Kreis], stellt verbluefft fest, dass man sich auch noch bei Infoseek anmelden kann - und anderen Exoten und laengst Toten.
Dass Excite, nach so sinnvollen Aquisitionen wie z.B. einer Grusskarten-Site fuer $US 1 Mrd letztes Jahr fuer genau 1% der letzten Anschaffung unter den Hammer kam und ausgeschlachtet wurde, ist bekannt. Excite.com gehoert heute InfoSpace, die europaeischen Domains der ehemaligen Suchmaschine wurden soeben von Tiscali, einen P*rnograf, der auch in Sachen Provider macht [oder war's anders herum? The Register hat mehr als eine Story ueber Tiscali] wiederbelebt.
Die europaeischen Auferstandenen liefern jetzt "Suchergebnisse" von Overture, wobei ohne Einschraenkung Pay per Click-Werbung als Suchergebnis ausgegeben wird. Nur wenn bei Overture niemand fuer entsprechende Suchwoerter zahlt, stammen Ergebnisse von AllTheWeb.
Excite.COM zeigt obendrein die adaptive Reife der amerikanischen Netz-Kultur. Wer einen Browser ohne JavaScript bemueht, erfaehrt betroffen, dass sein Browser ihn daran hindert, sich bei Excite einzuloggen.
Die von Excite gelieferte Seite wurde sinnvollerweise unter /security/ abgelegt.
Wenn Sie Ihre Serverlogs pruefen, werden Sie mit an Sicherheit grenzender Wahrscheinlichkeit feststellen, dass Unbefugte die Sicherheit Ihres Web Servers gefingert haben, soll heissen, Spammer pruefen durch automatisierte Abrufe, ob sich Ihr Server fuer den Versand von Spam missbrauchen laesst. Aus Sicht eines Spammers recht praktisch, da Sie Aerger und Kosten tragen, er aber den Nutzen geniesst.
Sie erkennen solche Versuche daran, dass Ihre Protokolldateien Versuche, Scripts mit dem Namen formmail.pl oder FormMail.pl [ggfls mit der Endung .cgi statt .pl] aufzurufen, festhalten.
Wenn auf Ihrem Web Server ein solches Script existiert, muessen Sie pruefen [lassen], ob dieses Script dazu gebracht werden kann, emails bei gleichzeitiger Angabe willkuerlicher Absender an eine Liste von Empfaengern zu senden. Diese Nutzung ist sicherlich nicht in Ihrem Sinne, da Sie kaum bezichtigt werden wollen, aktiv Spam zu versenden.
Wenn ein solches Script auf Ihrem Server nicht installiert ist, Sie aber online verkaufen, eignen sich die Aufrufe zum Aufbau einer Sperrliste von Domains, deren Nutzer Sie auf keinen Fall in Ihrem Kundenkreis sehen wollen.
Eine in allen auf Formmail basierenden Scripts identische Variable "recipient" [auf Deutsch: Empfaenger] zeigt, wer hinter solchen Abtast-Versuchen steckt. Eine Analyse Ihrer Logfiles zeigt schnell, dass Formmail an den Ausloeser eine Nachricht schickt, die meist ein aktuelles Datum und die Domain Ihres Servers enthaelt. Spammer warten nur die entsprechenden emails ab und wissen, welche Server fuer den eMuell-Versand missbraucht werden koennen.
Die email-Adressen der Spammer befinden sich meistens bei Freemail-Anbietern wie z.B. Hotmail, bei denen jeder unentwegt und groesstenteils anonym email-Konten eroeffnen kann. Sie finden von Zeit zu Zeit aber auch Domains, die keine Freemail-Dienste bieten und die permanent von Figuren genutzt werden, die man bestenfalls der Dunkelwelt zurechnen muss. Beide gehoeren in eine Sperrliste, wenn Sie beim Online-Verkauf kein finanzielles Risiko eingehen wollen.
Kundenbereich:
Suchmaschinen-Optimierung und Linkpopularität, neue Werte fuer AllTheWeb, AltaVista, Google und Inktomi.
Legitime Gründe für Cloaking bzw IP-Delivery, wenn kleinere Suchmaschinen ueber die eigenen Fuesse stolpern.
AllTheWeb: Ranking, Dubletten-Probleme und Zufalls-Aktualisierung.
Google: welche Sites beim September-Update dramatische Positions- Verschlechterung erlebten und warum, worauf Sie jetzt bei der Link-Aquisition achten muessen, wie Google gekauften Pagerank eliminierte, und welche Ranking-Faktoren jetzt dominieren.
Inktomi-Veraenderungen [betrifft vor allem internationale Praesenzen].
© Copyright 1998 - 2008 Klaus Schallhorn.