綾小路龍之介の素人思考

[perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。

Web::Scraperオブジェクトのuser_agentメソッドにはLWP::UserAgentオブジェクトを渡すことが出来る。つまり、LWP::UserAgentオブジェクトで指定できるオプションは全て使える。つまり、ユーザーエージェントを変更したければそのようにしたオブジェクトを作ってあげればいい。

例えば以下のようにする。agentの変更以外にも、ダウンロードするバイト数の上限を設定(max_size)することも出来る。 一般にLWP::UserAgentで指定できるオプションは全て使える。

my $ua = new LWP::UserAgent();
$ua->agent('Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; ja-JP-mac; rv:1.9.0.6) Gecko/2009011912 Firefox/3.0.6 GTB5');
$ua->max_size(1000000);
$scraper->user_agent($ua);

リファレンス

  1. user agent - Google 検索
  2. use Web::Scraper; - 今日のCPANモジュール
  3. Web::Scraper で Proxy が簡単に使えるようになった - プログラミングのこととか
  4. タンブラー? - Web::Scraper 0.15で何が変わったのか...とおまけ
  5. Web::Scraperを使ってmuxtapeのタイトルを取得する? - perl-mongers.org
  6. Web::Scraperのユーザーエージェントの変更とプロキシをさす方法 - masatodayの日記

ソーシャルブックマーク

  1. はてなブックマーク
  2. Google Bookmarks
  3. del.icio.us

ChangeLog

  1. Posted: 2009-10-29T11:42:43+09:00
  2. Modified: 2009-10-29T11:42:43+09:00
  3. Generated: 2017-08-04T23:09:17+09:00