Microsoft Computer Vision にアルバムジャケットの画像を説明してもらう

概要

Microsoft の Computer Vision にアルバムジャケットの画像を説明してもらう、という Twitter の bot を作りました。

鳥の隣に立っている人https://t.co/mAnpI7TIQ4 pic.twitter.com/AjC7g7lE82

— ＡＩがアルバムジャケットを説明するbot (@ai_explain) 2017年2月18日

Microsoft Computer Vision とは

Microsoft の Computer Vision というのは、画像の認識をしてくれるサービスです。こちら から試すことができます。

上の例は佐野元春のアルバムジャケットの画像ですが、例えばこの画像を Computer Vision のサービスにアップロードすると、「person standing next to a bird」という結果が英語で返ってきます。すごい認識精度ですね。

Microsoft のサイトを見ていただければわかるんですが、サービスのサンプル画像として、下のような水泳をしている男性の画像が使われています。

この画像は「a man swimming in a pool of water」と認識されるんですが、そんなことよりも、私はこの画像を見たときに、ちょっとニルヴァーナのアルバムっぽいなと思いました。そこで、私はいろんなアルバムジャケットの認識結果を見たくなってしまったので、いきおいこの bot を作りはじめました。

bot の仕組み

Amazon の商品画像
    ↓
[Microsoft Computer Vision]
    ↓
画像の説明文（英語）
    ↓
[Translator]
    ↓
画像の説明文（日本語）
    ↓
ツイート

ツイートの都度、この一連の流れが自動で行われます。

アルバムの選び方

単に Amazon の売り上げランキングから選ぶのが簡単なんですが、そうすると、ジャニーズの無地画像（緑）だらけになるのでやめました。かといって自分の好みで選んでもだいぶ偏りそうだったので、これもやめました。

ある程度の客観性がほしかったので、いろいろな名盤ランキングを参考にしてアルバムを登録することにしました。

• ローリング・ストーン誌が選ぶオールタイムベストアルバム500
• 日本のロック名盤ベスト100（講談社現代新書）
• 邦楽名盤特集（HMV）
• 邦楽名盤100選（ブックオフオンライン）
• ･･･

今のところ、このようなランキングに登場するアルバムから選ばれるようになっています。今後もちょこちょこ追加していこうと思っています。

感想

bot は変な説明も多いです。ですが、特に抽象的なアルバムジャケットは、人間が説明しようと思ってもまあまあ難しいのではないでしょうか。この Computer Vision は説明を放棄することもなく、とりあえず何かは返してくれるので、そういう姿勢は見習いたいなと思いました（いい話）。