polog

2007年08月23日

Googleの検索結果ページは画像を一つしか読み込んでいない

T/O
CTOから教えてもらったんですが、検索結果のページをFireBugのNetで見るとこんな感じに！
読んでるイメージはこれ。
たぶんjsで切ってるんだと思いますが、そちらも超圧縮されてる徹底ぶり。

偏執狂たれとはこの業界よく耳にする格言ですが、ほんとに脱帽ものの偏執狂っぷりです。Googleすごすぎ。

13:41 | Tag: web  | Comment (11) | Trackback (2)

2007年07月31日

速報プラットフォームとしてのtwitter

何度もつぶやいているんだがtwitterは超スゴい。情報伝達速度超早い。そんな訳で地震やらちょっと大きな火事とかちょっと面白いスタートアップとかが発生するとみんながtwitterにはりつく訳なんだけれども、今日はちとリアルに役に立ったので事例紹介。
て言うか、要はこれのこと。
イメージサーバのトラフィックが一台だけいきなりゼロになってヤベエadslのせいか?なんだこりゃ?とか社内が大騒ぎしている時に、ふとtwitterを見たらみんなが大騒ぎしてました。
いやまあ緊急時にtwitterってどう言う事よって話なんだけれども、SEやらエンジニアやらを大量にaddしたりしてる人は、一通りやってよくわかんなかったら一服しつつ携帯越しにtwitterを覗いてコチョコチョすると良いかもしれんのですよ。一種のゼロベースとして。

00:18 | Tag: web  | Comment (0) | Trackback (0)

2007年05月24日

Web::Scraperでasahi.comの記事一覧から記事を取得

Web::Scraper
スクレイピングとかしょっちゅうやってる気がするけど最近なかなかネタがなかったので使わず仕舞いだった。
今日ちょっと思いついた事があったので使ってみるよ。

#!/usr/bin/perl

use strict;

use URI;

use Web::Scraper;

use Data::Dumper;


my $articles = &GetArticles(shift);

print Dumper($articles);

sub GetArticles(){

    my $url = shift;

    my $asahi_list = scraper {

        process 'ul.list>li',

        'articles[]' => scraper{

            process 'li>a', url => '@href';

        };

        result 'articles';

    }->scrape(URI->new($url));

    my @articles = ();

    map{ push @articles, &GetArticle($_) } @{$asahi_list};

    return \@articles;

}



sub GetArticle(){

    my $str = shift;

    my $url = 'http://www.asahi.com'.$str->{url};

    my $title = $str->{title};

    my $asahi_article = scraper {

        process 'h1#cap', title => 'TEXT';

        process 'p#date', date => 'TEXT';

        process 'div.kiji', content => 'TEXT';

        result qw/title date content/

        }->scrape(URI->new($url));

    $asahi_article->{url} = $url;

    return $asahi_article;

}

記事リストのul class="list"の中のliの中のaタグから単体記事へのリンクを取得して、さらに単体記事からタイトル、更新日時、本文を取得し保存する。ul.list>liとli>aはこの組み合わせ以外だとなんかうごかず(ul.listとaとかだとだめ)。
んで実行。

perl hoge.pl http://www.asahi.com/national/list.html > hoge.txt

$VAR1 = [
{
'date' => '2007年05月24日01時09分',
'url' => 'http://www.asahi.com/national/update/0524/OSK200705230096.html',
'content' => ' 　スポーツ用品大手のアシックス（神戸市）は、バスケットボールシューズ「ゲルバースト　アップセット」の２種類で、靴底が一部はがれる恐れがあるとして、２４日から回収を始める。全国で約２万６０００足を出荷し、うち約１万７０００足が売られたとみられる。けがをしたなどの報告はないという。 　同社によると、地面と接触する靴の裏部分の設計ミスが原因という。問い合わせは同社（０１２０・７７０・１０８）へ。 ',
'title' => 'バスケットシューズ欠陥　アシックス回収へ'
},
...

これまじですごく使い易い。覚えておくべき。
# 朝日の記事は後々何かに使う。

02:07 | Tag: development  perl  web  | Comment (2) | Trackback (0)

2007年05月07日

"ひとことあそび"に見るtwitterの情報伝達

ひとことあそび
デザインパターンとかで有名な結城さん作成のtwitterクローンと言うか何と言うか、現状はlivedoorとはてなのIDが使える単なるチャットだが、段々リッチにしていく予定だとか。どうなるんだろう。

で、アプリの内容はともかく、僕が今回思ったのはtwitterによる情報の伝達速度ってすげーって言うことだ。今の世の中、エンジニアならばリスペクトしてるプログラマのブログの一つや二つぐらいはRSSリーダに登録しているだろうし、ソーシャルブックマークやら何やらで○さんがこんな面白いことやってるよ的な情報を取得することに、遅れは最大1日程度しかない。
だけどtwitterは、更に早い。
twitterは言わば世界中に繋がっているチャットソフトで、誰かがブログにエントリーを上げてtwitterに書き込んだ瞬間に、friends, followers全員にその内容が伝わる。僕がvia Adiumにhyukiの書き込みを読んで、"ひとことあそび"にアクセスしたのは結城さんがそれを宣伝した30秒後だ。
これってマジにすごいことだと思う。

以上、もう多分誰かが言ってる事だろうけど、twitter初めて1週間の身には衝撃だったのでエントリーにしてみました。

00:08 | Tag: service  web  | Comment (4) | Trackback (0)

2007年05月04日

twitterで広がる友達の輪！

と言う訳で可視化したよ！

negipoから2stepsまでのfriendsをeXpandaで可視化しました。ラベルの大きさはノードの次数になってます。amachangとHamachiya2でかすぎﾜﾛﾀ。

これまでのみちのり
Twitterを可視化するアプリ作ろう！
↓
Net::Twitter書き換えた。ぼくてんさい！
↓
Twitter API結構遅いやん。。でもめげずに実装！
↓
eXpandaめちゃんこ遅いやん。。
↓
アプリ諦め
↓
Cytoscapeで座標だけ取ってeXpandaに突っ込む。
↓
もう凝った可視化する気力neee..←いまここ

(追記)
そういや考察してなかった。
座標計算のCircularアルゴリズムは連結度の高いノードを近くに配置するので、Hamachiya2とamachangを同時にAddしているユーザは非常に多い。miyagawaとdankogaiも同様である。これはamachang達が主にネット関連の言語ギークで、miyagawaとdankogaiがPerl mongerであることに起因するのではないか。中央の円上に配置されているユーザは上記4人のいずれかのうち2人以上のfriendsなので、僕と同様ネットで遊びまくってるnerdsな可能性が高い。

そんじゃ泳ぎに行って来ます。

07:36 | Tag: development  perl  service  visualization  web  | Comment (6) | Trackback (0)

2007年05月01日

negipo@twitter

そういえば宣伝忘れてた。twitterアカウント持ってます。
negipo@twitter
どうでもいい1行つぶやきんぐはこっちにupして行くのでfriend登録よろしく。ていうか使おうよtwitter面白いよ。

TipsとしてはSign upした後、Settings->Phone&IMでGoogle Talkを登録しておくとGmailのページから更新できるので楽ちんです。さすがに専用クライアントを入れるのはヘビーすぎる感じ。

14:28 | Tag: service  web  | Comment (6) | Trackback (0)

2007年04月27日

FC2のトラフィックがすごいことに

ALEXAのトラフィック世界ランキング
Mixiとの比較
Mixiの51位はいいとして、なぜかFC2が53位にランクインしてる。世界的に見るとGoogleカナダとかAOLより、日本だと楽天やライブドアよりも上。これはすごい。

FC2のサービスと言うとblog以外はちょっと思いつかない。今月初めに出たTechnoratiの"世界中のblogで最も記述されている言語は日本語"と言う調査は記憶に新しいが、トラフィックデータもそれをサポートしているんだなあと。FC2はアダルト関係のブログが結構多いように思うので、その辺が要因かな。
あーびっくりした。

22:57 | Tag: service  web  | Comment (0) | Trackback (0)

2007年04月23日

Nielsen//NetRatingsの調査は実態に即していない?

メディアパブの記事
うーむ。
日本法人についてはRDD法で抽出した法人/一般家庭にツールバーをインストールさせる方式だったはずなので、少なくともAlexaの統計よりは信用がおけると個人的に思う。にしてもネット視聴率って結構注目度高いんだねえ。

02:18 | Tag: service  web  | Comment (0) | Trackback (0)

2007年04月23日

まるごとYAPC

ブックマークしなかったのでどこだか失念したけれど、「飛行機の移動時間は割と長大な講演を聞くのに良い」と書いている人がいたので、そういやYAPCの動画すげー勢いでアップされてたし電車の中とかで見たら勉強になるんじゃね、と思って全部download->iPod用に変換するスクリプトを書いてみた。
OS X前提。
前もってMiMMS(ストリーミングビデオダウンローダ)とffmpeg(エンコーダ)をインストールする必要がある。
んで

#!/usr/bin/perl


use strict;

use LWP::Simple;

my $url_base = 'http://www.i-revo.jp/yapcasia/archive/';

for my $num (1..43){

    my $html_num = sprintf "%02d", $num;

    my $html_content = get($url_base . $html_num . '.html');

    my @wvx = $html_content =‾ m%param name="filename" value="(http://.+?.wvx)"%;

    next if ($wvx[0] eq '');

    my $wvx_content = get($wvx[0]);

    my @wmv = $wvx_content =‾ m%ref href = "(mms://.+?.wmv)"%;

    `mimms -o YAPC-$html_num.wmv $wmv[0]`;

    `ffmpeg -y -i "YAPC-$html_num.wmv" -title "YAPC-$html_num" -bitexact -vcodec mpeg4 -s 320x240 -r 29.97 -b 768 -acodec aac -ac 2 -ar 48000 -ab 64 -f ipod "YAPC-$html_num.MP4"`

}

一気に書いて動かしてみたはいいけど手元のffmpeg、wmv3からのコンバート出来ないんだよね。
めんどくなってきた。

(追記)
iSquintの最新バージョンならwmv3通るらしいからもうそれでいいやー。今晩はダウンロードしっぱなしで寝ようっと。

(さらに追記)
"つhttp://tokyo2007.yapcasia.org/sessions/videocast.xml"って言われた＞＜

01:15 | Tag: development  perl  service  web  | Comment (0) | Trackback (1)

2007年04月16日

使用済みのアルミ ホイルですてきな帽子を作ることができる。

Gmailのゴミ箱フォルダのヘッダーにはリサイクルに関するtipsのようなものが表示されるのだが、これはひどい。
と言う訳でコトノハに登録した。
コトノハってこう言うときのためにあるよね。なんとなく緩い感じがすごく好きだな。

23:29 | Tag: funny  service  web  | Comment (0) | Trackback (0)

2007年04月12日

Facebook登録してみた

スゲー色々な所で成功したWeb2.0企業として名前を聞くSNSのFacebookに登録してみた。
invitationを待つ必要は無く、Gmailのアドレスから普通に登録して終了。登録作業自体は特にいろいろ聞かれる事も無い。一瞬。
その後適当に個人情報を入力して、友達探しの開始。これがなかなか奮っていて、ぱっと見3通りのやり方があったので紹介する。
1. 普通に検索
emailアドレスとかから検索。普通。
2. Web mailのアドレスブックから検索
ヤバいのがこれ。いきなりパスワード入力画面が出て来て、入力すると勝手にGmailのアドレスブックを取得して来て全員分検索してくれた。心理的にはちょっとイヤだがこれはかなり便利。ちなみに一人もヒットしなかった笑
3. 高校・大学・企業から検索
逆の意味でヤバいのがこれ。例えば大学のemailアドレスを入力するとその大学に所属している人のネットワークに組み込まれ、さらにその中からLinkageを作成する人を選べる。まあmixiで言うコミュニティみたいなものなんだけど、実用上の問題はValidなアドレスじゃないとマズいと言う事。ご存知の通り僕は卒業してしまっているため、Validなアドレスと言うものを持っていない。恐らく海外の大学は通常卒業生用のアカウントを割と敷居の低い形で用意しているんだろう。しっかりしてよ、Keio Univ. 年間数千円とかダルくて払えん。
まあとにかくFaceBookは元々大学内ネットワークを密に構築するSNSとして発展して来た歴史があるため、こう言ったややこしい手続きを経る事で情報の有用性を上げようと努力しているんだろう。

と言う訳でイマイチ使いこなせていない感じですが、全体的なinterfaceは超好印象。私的には顔写真のサムネイルを作成する時に、ドラッグでどの辺切り出すか選べたりする点とか、痒い所に手が届く感じが最高です。その辺なあ、と。

そう言う訳でもしaccount持ってる人がいたらねぎぽを登録して下さい。ちょうさみしい。

00:06 | Tag: diary  service  web  | Comment (4) | Trackback (0)

2007年04月10日

www.google.co.jp/hws

昨日の続きと言えば続き。
表題の検索画面からいっぱい人が来るのに気がついた。こんな感じで。hws?なにそのサービス?と思ってちょっとサーベイしてみた。
pota
プレスリリース

pota は、昨年9月に発表したインターネット検索世界最大手の Google Inc.（本社：カリフォルニア州、会長兼最高経営責任者：エリック E. シュミット、以下Google）との業務提携第2弾として実現したもので、Google が提供する Google Apps の“ Start Page” 機能をベースに、Gmail アカウントで利用可能にしたポータルサイトです。

最初いきなり自分のGmailのinboxの中身が表示されてうわXSS!?と思ったけど、すごいね、これ。
Sleipnirは一時期セカンダリブラウザにしていたWEBブラウザで、凄い量の機能がデフォルトで入っていた優れものだ。1.xの作成に使ってたPCが盗難->2.0立ち上げの為に会社設立ってとこまではフォローしてたが、Macにswitchしたお陰でその先は知らなかった。気がついたらGoogle Inc.と提携なんて話に。カッコイイなあ。うちへのReferer見る限りコアなファンも多いみたいだし、Firefoxに負けずに一定のシェアを保持して欲しいと素直に願う。
うーん、中村君はどう思う?

ヒろゆき (MSN) 23:23 poportal -> pota

な、なんだってー！？

00:22 | Tag: diary  web  | Comment (0) | Trackback (0)

2007年03月24日

Technoratiのblogリアルマネー換算サービス

かなり古いネタなんだけど、ネタフルをだらだら眺めていたら懐かしいトピックがあったので新生pologでやってみた。

25万JPY?dejima?誰か買ってよ。

ところで全然関係ないんだけど、信用出来ない/Technoratiなトピックと言えばメディア・パブのエントリーで先日こんなのが。
Web2.0が失速？！
dejima?グラフ上Technoratiも鈍化しているように見える。で、まあ端折ると結論としてはソースのコメントにある

The lull in Alexa for almost everyone is largely to do with them trying to re-normalize against hired spammers in India, and increased Asian useage. Alexa has become almost valueless as a measure in the last 6 months, but that doesn't mean you are wrong - there is certainly a lack of innovation, meaning we are well into the cycle.

あたりが最も正しい意見に思える。

日本のサイトで言えば携帯のトラフィックとかが勘案されていない点があり、Alexaのランキングで他社サービスとの比較を行うのは慎重になるべきだろう。

13:25 | Tag: service  web  | Comment (1) | Trackback (0)

2007年03月13日

The Laughing Man Hacks You!

thelaughingman.net
画像解析で写真に写っている顔を認識して、攻殻機動隊の笑い男をオーバーラップさせるサービスサイト。OpenCVでこんなモジュールを作ってくれた人がいてから4日でサービスイン。この記事とか昨日の時点で読んでいたので「誰か作るだろうなあ」とはうっすら思ってはいたものの、ちょっとこれは予想を超えて面白いツールです。
個人的に一番笑ったのはuran/po/hmtが映ってる写真を放り込んだらhmtだけ認識されなかったこと。おいしいなあ。ずるいなあ。

(追記)
もうだめだー笑いが止まらないww
hmt神のお言葉も頂きました：
0:09 このサイト
0:10 やちえさんの暴言より傷つくんですけどw

00:37 | Tag: perl  service  web  | Comment (4) | Trackback (2)

2007年03月10日

Googleに関する4つの誤解

kemさんに借りた本の話です。まだ読んでないのに持って来ちゃって本当にごめんなさい。

さて、社内でソフトウェアの構成の話を一通り聞いた挙げ句「え、で結局Apacheって何やってるんすか?」等と言うちょうやばい質問をした俺ですが、それでもやっぱりコーディングしないとお給金頂けない訳で、システム面では超基礎的なセキュア話だけ俯瞰して現在の所業務に就いております。それでもやっぱり気になるWEBのナウな技術は吸収しておきたい、と言うことでSEO本。

22:17 | Tag: book  web  | Comment (1) | Trackback (0)

2007年03月04日

Firefox Extension Memo

銀座デートの昼ご飯はファーストキッチンでした XD~~~~←よだれ
ドリームガールズは85点ぐらいかな。ジェニファーハドソンは新人同様の役者らしいが凄い貫禄があった。見た方が良いです。
あとHHK Lite2(日本語配列)買いました。

本題、はてブが落ちてるのでメモ。
Firefox 拡張機能コレクション
Firefoxの拡張を整理
すべてのWebデベロッパーに必須なFirefox拡張20(+1)選
WindowsならFirefoxじゃね?と言うことで。このリスト見てるとOS Xでも使いたくなるね。今でもデバッグには使ってるけど。

23:33 | Tag: firefox  web  | Comment (2) | Trackback (0)

2007年03月04日

MDMAってこうなってたんだあ〜

へぇ〜

このフラッシュオブジェクトはchemul[けむり]と言うサイトのもの。最近話題なActionScript3.0のレンダリング力が肌で感じ取れる威力だと思う。みんな遊んでみようぜ。
# 分子名の表示があると嬉しいかも。

(via zuzara)

04:13 | Tag: flash  service  web  | Comment (0) | Trackback (0)

2007年02月28日

rapeme.org

膣外射精
ドメインはアレだしタイトルもアレだし内容もアレですがスゴイの一言。今現在トップにある生き物見て爆笑した。
今はネットのみなさんがcrawlingしてる最中だと思うので一区切りしたら僕も収拾したい感じの完成度。
あんまり技術的なことは分かりませんが、この発想とデッサンの確かさは確固たる世界観であると言っても過言ではありません。これを機に是非、君も変態ウェブワールドへいざ飛び立とうではありませんか。

22:39 | Tag: crazy  web  | Comment (0) | Trackback (0)

2007年02月19日

flickr downloader

ちょっと必要にかられてflickrのダウンローダを作ってみました。ダウンロードしたら拡張子変えてちょ。
Perlの実行環境とFlickr::API::Photosetsが必要で、あとflickr API keyは自分で取得して下さい(要flickrアカウント)。
動作仕様としては (1)フォトセット全部 (2)あるユーザの写真全部 (3)あるユーザのあるタグの写真全部 をインポート可能です。

使い方はこんな感じ：

% ./flickrdown.pl --key [your-api-key] --url http://www.flickr.com/photos/goodgrief/tags/Glamour/ --dir ./down --limit 100
or
% ./flickrdown.pl -k [your-api-key] -u http://www.flickr.com/photos/goodgrief/
or
% ./flickrdown.pl -k [your-api-key] -u http://www.flickr.com/photos/goodgrief/sets/1396354/

url指定するだけなのはクレヴァかも。
ソースのパラメータ初期化の所書き換えれば--keyは指定しなくてok。

05:00 | Tag: development  perl  service  web  | Comment (0) | Trackback (0)

2007年02月19日

可視化技術とショッピング

Browse Goods (via 百式)

SOMっぽくクラスタリングされた商品群の俯瞰をGoogle Mapライクな手法で実装したショッピングサイト。これはすごい。お金稼げそうなかんじ。

00:01 | Tag: service  visualization  web  | Comment (2) | Trackback (0)