TwitterがNofollowをさらに追加し、robots.txtを置いたようです。

「Twitter adds more Nofollows and robots.txt」という記事で著者のDavid Naylor氏がそのことを報告しています。Naylor氏によると、「流行のトピック」にrel=”nofollow”が今日追加されたとのことです。

Twitterにアクセスして確認すると確かにrel=”nofollow”がついていました。（といっても私自身は今日まで「流行のトピック」にnofollowがついてるかどうかきにしたことがなかったので、本当に今日付けられたものなのかどうかは確認できていません。）

また、Twitterはhttp://twitter.com/robots.txtとhttp://m.twitter.com/robots.txtにrobots.textを追加したとのこと。同様に確認してみると、http://twitter.com/robots.txtには以下のように記述されていました。

# Repel the robot invasion of sub-domains
User-agent: *
Disallow: /

さらにhttp://m.twitter.com/robots.txtには以下のように記述されています。

#Google Search Engine Robot
User-agent: Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Disallow: /*?
Disallow: /*/with_friends

#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay: 1
Disallow: /*?
Disallow: /*/with_friends

#Microsoft Search Engine Robot
User-Agent: msnbot
Crawl-delay: 10
Disallow: /*?
Disallow: /*/with_friends

# Every bot that might possibly read and respect this file.
User-agent: *
Disallow: /*?
Disallow: /*/with_friends

とはいえ私が確認した時点の文書はNaylor氏が確認したものとは異なるようです。Naylor氏によるとhttp://m.twitter.com/robots.txtでは以下のように記述されていると書かれています。

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Mobile
Allow: /

ということは、Naylor氏がブログをポストしてから今までの間に変更があったのでしょうか。いずれにせよ、Naylor氏がブログを書いたときよりもさらにクローラーを厳しく締め出しているようです。

そういえば少し前にDavid Zimmerman氏が「Twitter, Social Bookmarking and SEO」という記事の中でこんなことを書いていました。

I know that twitter has “nofollow” tags on its links but the Twitter mobile site does allow links to be followed- you just have to make sure your URL shortening service uses 301 redirects when forwarding your link.

訳すのが面倒なので、簡単に言うとTwitterのモバイルサイトはリンクジュースを渡しているということをいっています。それも最早変わってしまったようです。

おそらくTwitter上で大量にリンクをばらまくスパムに対する対処なのでしょう。今では徹底してnofollowをリンクに付けてきています。Twitterはこれまで段階的にnofollowを追加してきていました。以下は参考記事です。

これらに加えての今回のTwitterの措置はリンクジュースを狙ったスパマーたちにとってはさらに大きな打撃になるのではないでしょうか。

しかし一方でまた同時にGoogleやYahoo!といった検索エンジンにとっても痛手となるのは避けられないように思います。Twitterのような人気のあるサイトのリンクを参考にするのが難しくなったからです。

GoogleやYahoo!まで締め出してしまうことはないだろう、とも思いますが、もしかするとTwitterにとってはこの方が都合がいいのかも知れません。ユーザーはGoogleやYahoo！を経由してではなく、よりTwitterを通じた検索を行うようになるからです。

ただし、Twitterの今回の措置は結局のところ、徹底した取締りということにはなりそうもありません。先にあげたZimmerman氏の投稿には続きがあり、以下のように書かれています。

Additionally, there are a couple sites that list Twitter links and allow link juice to flow through the link. The one I mentioned earlier was twiturly. Since then I also noticed that tweetmeme also allows link juice to flow through your links. To get the SEO benefits from these sites, just make sure Google can find them somewhere, in order to index them.

つまりTweetmemeやTwiturlyのようなサイトからはリンクジュースを得ることがまだ可能だということですが、参考までに、TwiturlyやTweetmemeを見ると確かにnofollowはされておらず、それぞれのrobot.txtを見てみても、クローラーのクロールを許可しています。見てみたい人はURLの後にrobots.txtと続けてみてください。

とはいえ、これらのサイトに比べてオーソリティという点ではやはりTwitterそのものが大きく勝っていると思いますし、スパマーたちにとっては「おいしさ」が半減したことには代わりはないように思います。

先日、Diggがrel=”nofollow”を追加したことが話題になりましたが、ソーシャルメディアの多くはサービスの特徴をついたスパムに頭を抱え続けているようです。

このようなソーシャルメディアによる措置は、せっかく投稿されたリンクのポピュラリティを台無しにしてしまいます。

こうしたことを避けるためにも、ソーシャルメディアはリンクジュースを目的としたSEOではなく、メディアへの露出とそこからのブランディングを通じて、間接的にサイトを宣伝し、結果としてリンクを獲得する方向で利用すべきなのでしょうね。というより本来は純粋にこれらのサービスを楽しむものなんですけれどね。