Google Fusion Tables API v1.0 Tips

※2013/5/3追記
その後気付いた点を追記、編集したTipsのRev2を作りました。
http://www.slideshare.net/awwa500/google-fusion-tables-api-v10-tips-rev2
どうせ見るならこっちの方がよさげです。

----
Google Fusion Tables API v1.0を使ってみました。そこそこTipsが溜まったのでブログにまとめようと思ったら、勢い余ってスライド作ってしまいました。
http://www.slideshare.net/awwa500/google-fusion-tables-api-v10-tips

発表する場の予定はありませんが、あったら是非ご紹介お願いします。ネタトーク的な感じでならやりたいです。


元々はAndroidアプリでSQLiteとFusion TablesのデータのSynchronizeの仕組みを作成する途中でできた成果物です。なので、Fusion TablesのStylesやらTemplatesやらの機能は含まれていません。そのうちまた踏み抜いたドブ板が溜まってきたらまとめるかもしれません。

コメント

  1. あわ2013年4月25日 18:00

    その後、気付いた点をばコメント。

    同じテーブルに大量なレコードのImport Rowsを連続的に投げると以下のエラーが返る。せつない。

    {
    "error": {
    "errors": [
    {
    "domain": "fusiontables",
    "reason": "cannotExecuteIncompatibleTask",
    "message": "Cannot execute ImportRows because another task of type ImportRows is still running."
    }
    ],
    "code": 417,
    "message": "Cannot execute ImportRows because another task of type ImportRows is still running."
    }
    }

    返信削除
  2. あわ2013年4月25日 18:06

    その後気づいた点をばコメント。

    Google提供のFTライブラリ、スッキリしているかと思いきや全然スッキリしていない。
    依存するライブラリ数が14個、合計3MB。
    個人的にはアウト。
    使いたい人は止めないけど。

    返信削除
  3. あわ2013年4月30日 11:00

    その後気づいた点をばコメント。

    Insert rowsでsql=パラメータをQueryStringにセットしなきゃいけなくてURL長の制限を受ける、という話は、実はContentTypeをapplication/x-www-form-urlencodedにしてやることでbodyのsql=パラメータが有効になる。
    ちなみに戻りはrowidのリストが返ってくるので、大量Insert時にrowIdを受け取れることになる。500レコードまでだったらこっちの方がパフォーマンスが良さそうだ。

    返信削除
  4. あわ2013年5月1日 10:31

    その後気づいた点をばコメント。

    Insert rows(POSTでbodyにsql=パラメータをセットする方法)でレコード数の挿入上限を確認した。
    17.8万レコードまでは登録できることを確認。
    方法としては、全レコード数25万を500レコードずつループでInsert rowsした。
    リクエスト前のスリープは100ms。
    リクエストのサイズによって影響をうけるのかはわからないが、とりあえず、実績としてはこんなところ。

    返信削除
  5. あわ2013年5月1日 10:52

    その後気づいた点をばコメント。

    ちなみに17.8万レコードを超えて挿入しようとすると503 BackendErrorが出る。
    その後、リクエストを投げると以下のエラーが返ってくる。
    「30秒後にリトライしてね！」って言ってるけど、実際には30秒経ってリトライしても状況は変わらない。

    Error 502 (Server Error)!!1
    502.That’s an error.
    The server encountered a temporary error and could not complete your request.
    Please try again in 30 seconds.
    That’s all we know.

    返信削除

コメントを投稿

このブログの人気の投稿

Execノードを使う

イメージ
ここのところずっと Node-RED のサンプルを見ながら各ノードの使い方を確認しています。 頭出しの記事はこちら をご確認ください。今回はExecノードです。Execノードを使うと外部のコマンドを実行することができます。コマンドが出力した、標準出力や標準エラー出力などをノードから出力できます。 標準出力の内容を出力する 最初に確認するサンプルは「 flows > node-red > function > exec > 01 - Get standard output from external command 」です。 Execノードのプロパティを見ると以下の通りになっています。 実行コマンドは「 echo 」 msg.payload で受け取った値を引数として利用 出力モードは「 コマンド終了時 - execモード 」 コマンド終了時に結果を出力します Execノードには出力ポートが3つあります。 標準出力 標準エラー出力 返却コード 実行すると、標準出力には「 Hello World! 」、返却コードには「 {code : 0} 」が出力されます。この挙動は特に説明することはないかと思います。 標準エラー出力の内容を出力する 次に確認するサンプルは「 flows > node-red > function > exec > 02 - Get error output from external command 」です。外部コマンドのエラーをポートに出力します。中身は先程のサンプルフローとほぼ同じですが、Execノードで存在しないコマンドを実行しています。 実行すると、以下のログが出力されます。これも説明不要かと思います。 実行中に出力する 最後に確認するサンプルは「 flows > node-red > function > exec > 03 - Run external command in spawn mode 」です。出力がコマンド実行中に行われるのがこれまでのサンプルと違う点です。 コマンドはwhieループ内で2秒おきに「 Hello 」を標準出力に出力し続けます。Spawnモードで実行するとループ内でechoコマンドが実行されるたびにログが出力されます。サービスっぽい...
続きを読む

SendGridのX-SMTPAPIヘッダの使い方（Section Tags、Substitution Tags編）

イメージ
前回に引き続き SendGrid についてです。 今回は SMTP API を使ってみました。 SMTP APIについて SendGridのSMTP APIは基本的には普通のSMTPプロトコルに則ったものですが、X-SMTPAPIヘッダというカスタムヘッダを使うことで機能を拡張することができます。 X-SMTPAPIヘッダについて X-SMTPAPIヘッダはSMTPプロトコルの拡張ヘッダです。 X-SMTPAPI: { "category": "newuser" } みたいな感じでJSON形式でパラメータを与えることで機能を拡張します。 Section TagsとSubstitution Tagsについて 今回はSMTP APIで使える機能のうちSection TagsとSubstitution Tagsを使ってみました。 Section TagsとSubsitution Tagsは送信メールの内容を宛先毎に特定の文字列を置換するための機能です。toと合わせて使うことで機能します。 例えば、X-SMTPAPIヘッダの値を以下のような形にします。 { "to": ["test1@xxx.xxx", "test2@yyy.yyy"], "sub": { "-body-": [ "-bodyFemale-", "-bodyMale-" ], "-favorite-": [ "バナナ", "カツオ" ], " "-nickname-": [ "ミキ", "サブロー" ] }, "section": { " "-bodyFemale-": "-nickname-さん！女性向けの商品のご紹介です。", "-bodyMale": "-nickn...
続きを読む

Joinノードを使う（その4）

イメージ
ここのところずっと Node-RED のサンプルを見ながら各ノードの使い方を確認しています。 頭出しの記事はこちら をご確認ください。今回はJoinノードの4回目です。終わらねぇ。 確認するサンプルは、 前回 に引き続き「 読み込み > サンプル > flows > node-red > sequence > join > 02 - Manual join mode 」です。 メッセージを結合してkey/valueオブジェクトにする 5段目のフローから見ていきます。ざっくりとした流れは以下のとおりです。 DataノードでCSVデータを送信する CsvノードでCSVデータをJSONオブジェクトに変換する msg.payloadには以下のような値が指定されたメッセージ4つに分解される { name: "Apple", price: 100 } Changeノードでmsg.payload内の値を以下のプロパティに設定する msg.topic = "Apple"（msg.payload.nameの値） msg.payload = 100（msg.payload.priceの値） Joinノードで、2個の受信メッセージごとにmsg.topicの値をキーとしてkey/valueオブジェクトに結合して送信する これを実行すると、以下のようにmsg.payloadにJSONオブジェクトが指定されていることを確認できます。 メッセージを結合して結合オブジェクトにする 先ほどは結合した値がkey/valueオブジェクトでしたが、6段目のフローでは単純にオブジェクト結合します。ざっくりとした流れは以下のとおりです。 DataノードでJSON配列を送信する nameをキーに持つオブジェクトとpriceをキーに持つオブジェクトを交互に含んでいます（実際、こんなに都合の良いデータが生成されることはあるんだろうか） Splitノードで配列データを個別のメッセージに分割します Joinノードで、2個の受信メッセージごとにオブジェクトに結合して送信する これを実行すると、以下のようにmsg.payloadに2個ずつのオブジェクトがJSONオブジェクトに結合されたものが指定されていることを確認できます。ちなみに、Joinノード...
続きを読む