Google App Engine がマイブームだけど、いまいち使いかたがわかってない。

datastore api って想像していたよりもずっと遅くて、普通に read するだけでも結構 CPU Time を消費してしまう (50-80msec?)。ここらへんの感覚は、デプロイしてみないとわからないのでとてもやりにくい。

hookhub.com のトップは、最近フックされたウェブフックを表示しているけど、毎回 datastore に last_hooked 的なプロパティでソートしてつつひいて、さらにそれぞれについての 10 回ぐらい user 情報をひいたりすると、それだけで GAE のログに「最適化が必要なページ」として警告がでる。

少なくともどこかの段階でちゃんとキャッシュしないといけないけど、いまいち感覚がわからない。アプリケーション内のメモリにインスタンスキャッシュさせていけばいいのか、それとも memcache をつかえばいいのか…… 普通どうするんだろ?

今のところ、view を部分的に memcache に入れるような (TT Cache みたいなの) のを入れて、とりあえず警告はでなくなった。むずかしい…… 今はソート済みクエリをキャッシュしてないけど、これも expire つきで memcache に入れたほうがよさそうな気がする。

赤のリクエストが memcache にテンプレートキャッシュするようにしたときのリクエストで、一時的に memcache api も消費したので時間がかかってる。直後から api_cpu_ms が半減しているので、キャッシュの効果はあったようだ。だけど全体としての応答時間はまだまだ極めて遅い……

ちなみにユーザ情報を index つきで一発だけしかひいてない /help の応答時間は 100msec 以下になってる。

datastore はログを見ていると、割と timeout するので、ちゃんとエラー処理をすべきだろう。今はなんもしてないので 500 がでる。

http://www.hookhub.com/

1. Web Hook に対応したサイトからのフックを受けて、
2. それをいい感じに JS で加工し、
3. 他のサービスにリクエストを投げたり、自分にメールを送ったりすることができます。

例えば、

• はてブしたエントリを twitter に
• github に push したら twitter に
• Google Code にコミットしたら twitter に

とか

• はてブで [あとで読む] タグをつけたら、Remember the milk にタスクをつくる
• はてブのお気に入りユーザが [culture] タグをつけたら即自分にメールを投げるとか

とか、些細なことを自分でホストすることなくできるようになります。

こういったルールは全て JavaScript で書くようになっていますが、Fork と Config 機能で他の人のをコピってすぐ使えたりします。

例えばはてブ → twitterとかだと、

1. http://www.hookhub.com/cho45/hook/1004 を Fork して Save
2. Config で twitter_user, twitter_pass を入れる
3. はてブの「イベント通知を受けとるURL」に Hook URI を入力すればできます

ちなみに GAE + Scala でつくっていて、フック起動時の JS の実行には Rhino を使っています。Rhino では頑張ってサンドボックスを作っていろいろ制限をかけているつもりです。