Talend Open Studio (ETLツール) でデータ統合（12）～kintoneの添付ファイルをごっそり抜く：komlog：SSブログ

	ブログをはじめるログイン

Hyper-V 3.0 の仮想HDD(V..｜Talend Open Studio (.. ブログトップ

Talend Open Studio (ETLツール) でデータ統合（12）～kintoneの添付ファイルをごっそり抜く　[BI] [編集]

社内でとあるアイデアコンテストを開催し、投稿先をkintoneにしていたのですが、思いのほか件数が集まってしまったのでちまちまやるのは面倒くさいな～ということで一念発起でジョブを作りました。

○処理内容：以下の（１）、（３）を
（１）とあるアプリのid,fileKey,ファイル名を取得し、テキストファイルで保存
（２）ファイル名に重複がある場合はリネームする（これは手動）
（３）上記のテキストファイルを元にファイルを連続ダウンロードする

○参考URL
https://developers.cybozu.com/ja/kintone-api/apprec-readapi.html

（１）とあるアプリのid,fileKey,ファイル名を取得し、テキストファイルで保存
全体はこんな感じです

○RESTコンポーネント(tREST)
・URL
ここにアプリID、クエリをエンコードして記述します。例ではid=511のアプリに対して2つのフィールド（"レコード番号($id)"と"filename"）をOffset100をかけて持ってくるクエリを記述しています。
"https://(要変更).cybozu.com/k/v1/records.json?app=511&fields%5b0%5d=filename&fields%5b1%5d=$id&query=offset%20100"
※注意点1：&field[0]=ファイルのような形でエンコードしますが、
・"="や"&"はエンコードしない
・日本語のフィールドコードはUTF8でエンコードする
※注意点2：$idはtalendのJSONパーサーでエラーになりますので後段にtReplaceを配置。
・HTTPメソッド
　GETを指定
・HTTPヘッダー
ログイン方法に応じてAuthorizationを指定、base64でユーザー名:パスワードをエンコードします。Hostも必須。

○tReplace
talendのJSONパーサーが"$"を扱えないので変換をかけます。ここではレコード番号の$idをidに変更しました。

○JSON変換(tExtractJSONFields)
・kintoneのJSONはトップにrecords（複数レコード抽出の場合）、その下にフィールドの構造がありますので、"フィールド名/value"のように指定します。

○テキスト保存
UTF8で3カラム分保存します。

これを実行すると、fileKey、ファイル名、IDが出力されます。100件以上ある場合はtRESTのクエリでoffsetをかけながらループをしてテキストファイルに追記モードで追加してください。

（２）ファイル名に重複がある場合はリネームする（これは手動）
上手く動いた！と思ったらファイル名重複でファイル数不足、、、的なことがあったのでご注意ください。
面倒なので今回は手でリストをリネームしました。

（３）上記のテキストファイルを元にファイルを連続ダウンロードする
テキストファイルをUTF8でInputから流します
○tFlowToIterate
テキストファイルのデータをグローバル変数に入れて繰り返しを発生させます。後段とはIterateで繋いでください。