脳log[20070723] Amazon.co.jpから新刊情報を取ろうとしたが

2007年07月23日 (月)

♪ [Amazon][本] Amazon.co.jpから新刊情報を取ろうとしたが

14日に「新刊のリストが手に入れば自分でフィルタリングするが」と書いたのを受けて、Amazon E-Commerce Serviceの 2007-06-13版のドキュメントを眺めてみた。

案1: BrowseNodeLookupオペレーションで NewReleasesという Response Groupを使用する

特定の BrowseNodeに属するニューリリースを取得することが可能。Booksという BrowseNodeも存在するので、本のニューリリースを取得できる。但し US locale限定。JP localeで使用できるようになれば本命。

案2: ItemSearchオペレーションで Sort=pubdateを指定して、発売日の新しいものを端から取得する

検索条件を一つ以上与えないといけないので、BrowseNode=465610 という条件を加える。465610は JP localeで Booksを表す BrowseNodeId。(但し BrowseNodeInfoで得られる、この BrowseNodeIdの Nameは「ジャンル別」となっている。HTML表示のためだろう)

これはまあまあ、Amazonがどれくらいの数のクエリを許してくれるかを度外視した上で、成功した。ドキュメントには ItemPageパラメータは 1-400だと書かれていて、1ページ目の 2009-01発売の本から始まって、400ページ目までいってもまだ 2007-07発売の本が続いてるから、直近の新刊は取得できないかと思ったが、実際には ItemPageパラメータに上限は設けられていないようで、400ページ目以降も問題なく取得できた。

追記エラーメッセージによると有効な値は 1から3200までだって。実際に 3300ページ目は取得できなかった。

追記:2007-09-10 9月からエラーメッセージでも 1から400までが有効だと言われた。実際に 3200ページ目は取得できなくなっている。ドキュメント通りになってしまった。

但し、この方法で取得できない本があった。BrowseNodeが全ての本に設定されてるわけじゃないものね。この本は「ジャンル別」(BrowseNodeId=465610)ではなく「出版社別」の BrowseNodeにしか属していない。どの BrowseNodeにも属していない本だってあるだろう。

BrowseNodeに依存する案1と案2では漏れがでることがわかった。

案3: ItemSearchオペレーションで SearchIndex=Booksの時にだけ使用できる Powerパラメータを使う

これは「author」「ISBN」「keyword」「language」「pubdate」「publisher」「subject」「title」というキーワードと「not」「and」「or」「：」「()」「""」「*」という構文要素からなる複雑な検索が行える。例えば、Power=author:"米澤穂信" なら著者(Authorや Creator要素。Roleは関係なさそう)に「米澤穂信」を含む本が取得できる。これで Power=pubdate:2007-07*を検索してやろうというわけだ。

結果は、先のリンクをクリックすればわかるけど「リクエストに該当する結果がありません。」とのつれないお答え。Power=pubdate:2007-07や Power=pubdate:2007-07-23でもダメなところを見ると、ドキュメントでは気付かなかったけど、pubdateキーワードがサポートされてないんじゃなかろうか。(US localeではもちろんサポートされてるだろう)。ガックリ。

現時点でも実行可能な案2についてもう少し

コミックは比較的早め(それでも 1〜2週間前)に登録されるが、文庫は前日から数日前が多い。単行本は知らない。速報性は求められないので、毎日、当日発売の本をチェックするのが妥当。

【続きを読む前に予備知識】発売日 2007-06-31〜2007-06-01〜2007-06の本が含まれるのは現時点で 5?0から 15?0ページ目までの約1000ページ。

ひと月約1000ページとして 2000ページ目までには今月の刊行物が全て収まってるとする。特定の日付の始まりか終わりの含まれるページを見つけるのに約11回(log2(2000)≒10.9)のクエリ。そこから一つずつインクリメント(デクリメント)すること 30回(1000÷31)もあれば次の日付が現れるだろう。

平均して一日あたり 40回程度のクエリで当日発売の本が取得できる。(前述の通り「ジャンル別」の BrowseNodeに属していない本は漏れるが)

発売年月の情報しか持たない本については、どのタイミングで追加されるかわからないので、漏れとクエリを最小にするには、月が変わってから取得する必要がある。月が変わってから……。

(追記:25日) やってみた

Amazonを 25回呼び出して得られたのが以下の23日発売の本たち(といっても半分以上が雑誌だが)。25回の内訳は 2007-07-23が現れる最初のページを見つけるまでに 11回。データ取得に 14回。同じページを重複して取得するのを避けたら 1〜数回は呼び出しを減らせる。ラブやんがきちんと引っ掛かってるので自分的には成功。

これ、毎日起動してもいいのかな……かな？

JUNON (ジュノン) 2007年 09月号 [雑誌]
ViVi (ヴィヴィ) 2007年 09月号 [雑誌]
urecco gal (ウレッコギャル) 2007年 09月号 [雑誌]
office you (オフィスユー) 2007年 09月号 [雑誌]
オトナの実名では話せない秘密の告白 2007年 09月号 [雑誌]
SPY GIRL Select (スパイガールセレクト) 関西版 2007年 09月号 [雑誌]
関西ゼクシィ 2007年 09月号 [雑誌]
Kindai (キンダイ) 2007年 09月号 [雑誌]
技術教室 2007年 08月号 [雑誌]
CanCam (キャンキャン) 2007年 09月号 [雑誌]
建設物価 2007年 08月号 [雑誌]
現代ギター 2007年 08月号 [雑誌]
どの子も伸びる 2007年 08月号 [雑誌]
KeLLy (ケリー) 2007年 09月号 [雑誌]
産科と婦人科 2007年 08月号 [雑誌]
That's DAN (ザッツダン) 2007年 09月号 [雑誌]
Zipper (ジッパー) 2007年 09月号 [雑誌]
SPUR (シュプール) 2007年 09月号 [雑誌]
自由民主 2007年 08月号 [雑誌]
純愛果実 2007年 09月号 [雑誌]
spring (スプリング) 2007年 09月号 [雑誌]
Soup. (スープ) 2007年 09月号 [雑誌]
JAPAN COMPANY HANDBOOK FIRST SECTION (英文会社四季報 1部版) 2007年 08月号 [雑誌]
ゼクシィ長野版 2007年 09月号 [雑誌]
ゼクシィ富山・石川・福井版 2007年 09月号 [雑誌]
ゼクシィ福島版 2007年 09月号 [雑誌]
ゼクシィ茨城・栃木・群馬版 2007年 09月号 [雑誌]
ゼクシィ青森・秋田・岩手版 2007年 09月号 [雑誌]
ゼクシィ宮城・山形版 2007年 09月号 [雑誌]
ゼクシィ四国版 2007年 09月号 [雑誌]
ゼクシィ首都圏版 2007年 09月号 [雑誌]
ゼクシィ東海版 2007年 09月号 [雑誌]
地理 2007年 08月号 [雑誌]
ドンキホーテのパチンコ天国 2007年 09月号 [雑誌]
日本臨牀 2007年 08月号 [雑誌]
NAIL VENUS (ネイルヴィーナス) 2007年 09月号 [雑誌]
農耕と園藝 2007年 08月号 [雑誌]
BITEKI (美的) 2007年 09月号 [雑誌]
ふらんす 2007年 08月号 [雑誌]
JJ (ジェィジェィ) 2007年 09月号 [雑誌]
ポポロ 2007年 09月号 [雑誌]
MAQUIA (マキア) 2007年 09月号 [雑誌]
漫画パチンコ大連勝 2007年 09月号 [雑誌]
Myojo (ミョウジョウ) 2007年 09月号 [雑誌]
sweet spring (スウィートスプリング) My ベストヘア 2007年 09月号 [雑誌]
油脂 2007年 08月号 [雑誌]
溶接技術 2007年 08月号 [雑誌]
LaVie (ラビエ) 2007年 07月号 [雑誌]
歴史学研究 2007年 08月号 [雑誌]
Ray (レイ) 2007年 09月号 [雑誌]
あまから手帖 2007年 08月号 [雑誌]
AERA English (アエラ・イングリッシュ) 2007年 09月号 [雑誌]
JK Fan (ジェイケイ・ファン) 空手道マガジン 2007年 09月号 [雑誌]
漫画ガチンコ 2007年 09月号 [雑誌]
季刊 SEXUALITY (セクシュアリティ) 2007年 07月号 [雑誌]
月刊日本 2007年 08月号 [雑誌]
GONKAKU (ゴンカク) 2007年 09月号 [雑誌]
小説アクア 2007年 08月号 [雑誌]
最高の主婦たち 2007年 09月号 [雑誌]
生活教育 2007年 08月号 [雑誌]
コミック DVD 爆写 2007年 09月号 [雑誌]
ゼクシィ静岡版 2007年 09月号 [雑誌]
ゼクシィ熊本版 2007年 09月号 [雑誌]
ゼクシィ広島版 2007年 09月号 [雑誌]
ゼクシィ山口版 2007年 09月号 [雑誌]
ゼクシィ福岡・佐賀版 2007年 09月号 [雑誌]
ゼクシィ宮崎・鹿児島版 2007年 09月号 [雑誌]
ゼクシィ大分版 2007年 09月号 [雑誌]
ゼクシィ岡山版 2007年 09月号 [雑誌]
Cheek (チーク) 2007年 09月号 [雑誌]
PINKY (ピンキー) 2007年 09月号 [雑誌]
ビデオ α (アルファ) 2007年 08月号 [雑誌]
FYTTE (フィッテ) 2007年 09月号 [雑誌]
FRUiTS (フルーツ) 2007年 09月号 [雑誌]
Forbes (フォーブス) 日本版 2007年 09月号 [雑誌]
Master Modelers (マスターモデラーズ) 2007年 09月号 [雑誌]
Brands Off (ブランズオフ) 2007年 09月号 [雑誌]
月刊フルコンタクト KARATE (カラテ) 2007年 09月号 [雑誌]
ブランド JOY (ジョイ) 2007年 09月号 [雑誌]
VoCE (ヴォーチェ) 2007年 09月号 [雑誌]
Body+ (ボディプラス) 2007年 09月号 [雑誌]
月刊 BOSS(ボス) 2007年 09月号 [雑誌]
ManMan (マンマン) 九州版 2007年 09月号 [雑誌]
マダム X (エックス) 2007年 09月号 [雑誌]
marie claire (マリ・クレール) 2007年 09月号 [雑誌]
Ranzuki (ランズキ) 2007年 09月号 [雑誌]
PRESIDENT (プレジデント) 2007年 8/13号 [雑誌]
クッキングパパ 93 (93) (モーニングKC)
ヒストリエ 4 (4) (アフタヌーンKC)
宙のまにまに 3 (3) (アフタヌーンKC)
ナチュン 2 (2) (アフタヌーンKC)
ミミア姫 1 (1) (アフタヌーンKC)
ラブやん 8 (8) (アフタヌーンKC)
ウルトラマンSTORY0 5 (5) (マガジンZコミックス)
シュヴァリエ 5 (5) (マガジンZコミックス)
極東綺譚 2 (2) (マガジンZコミックス)
恋咲忍伝おもいっきりハヤテさま 2 (2) (マガジンZコミックス)
ヒロイック・エイジ 1 (1) (マガジンZコミックス)
天地開闢 1 (1) (マガジンZコミックス)
ツレビト 1 (1) (マガジンZコミックス)
レッド 1 (1) (KCデラックス)
湘南爆走族 7 完全版 (7) (KCデラックス)
湘南爆走族 8 完全版 (8) (KCデラックス)
おとぎのまちのれな 1 (1) (KCデラックス)
ジパング 30 (30) (モーニングKC)
ドラゴン桜 20 (20) (モーニングKC)
特上カバチ!!-カバチタレ2 9 (9) (モーニングKC)
実録!関東昭和軍 3 (3) (モーニングKC)
専務島耕作 2 (2) (モーニングKC)
GIANT KILLING 2 (2) (モーニングKC)
その男、淫乱につき~ONE LOVE 1st.~ (アクアノベルズ ONE LOVE 1st.)
月下の華盗人 (プリズム文庫 hm- 1)
不機嫌なピアニスト (アクアノベルズ)
会社という砂漠がオアシスに変わる100滴
阿波DANCE
構造計算[図解雑学] (図解雑学)
星座の事典
双月巫女3 (MFコミックス)
ネフィリム 2 (2)
陰からマモル! 3 (3)
神ぷろ。　2
セカンドライフの儲け方 (セカンドライフ簡単登録講座CD-R付)
一夜漬け伝わる!プレゼン

(追記:27日) タスクスケジューラに登録した

毎日 01:00前に自動更新。リストは Amazon.co.jp NewReleasesにアップ。