前回の挑戦でいまいちな結果に終わってしまった「画像ベースのレコメンドシステム」ですが、この度、別の方法を利用した記事を見つけたので試してみました。

元ネタはこちら
https://medium.com/@vinayakvarrier/recommendation-systems-based-on-deep-learning-9e6802c04b28

結果：まだまだ改良の余地あり

GitHubよりダウンロードしたプログラムを動くように改修後、学習データを夏コミのサークルカットに変更、有効性を検証してみました。

その1：アニメ系サークルカット

最も多いであろうサークルカットの種類ですね。
何パターンか試していました。

左上の赤枠が入力画像、それ以外が返却された画像です。
ケモミミの女の子の入力画像に対して、4件ほどケモミミな女の子が返答されていますね！
それ以外もイラストのタッチや雰囲気などはなんとなく似ている印象を受けます

その2：実写系

コスプレイヤーさんのサークルカットで試すとこんな感じ。
一部二次元が混ざりつつも、ほかのコスプレイヤーさんのサークルカットが抽出されました。
ドールを扱っているサークルさんも抽出されているのが興味深いですね・・・
よく誉め言葉として「お人形さんみたい」と言うことがありますが、コスプレイヤーさんの美もそのレベルに達しているということなのかもしれません

その3：動物系

コミケでは動物の写真集なんかも取り扱ってたりするので、動物系でレコメンドしてみました

サーバルキャットの入力画像に対して、見事に サーバルキャット を扱うサークルさんが返却されたときは感動ものですね！
ただ、ほかは関連性のある画像ではなさそうで、これは「画像は必ず9枚返却する」という仕様で動いている関係上、返却されたように思えます

その4:文字系

番外編的な位置づけですが、サークルカットが文字のサークルさんでも試してみました

ちゃんと文字系サークルさんが抽出されました！
コンピュータから見れは、文字と画像では明らかに構成が異なるので、特徴を見分けるのも簡単なのでしょう

以上です

ということで、画像ベースのリコメンドを引き続き実験していますよというお話でした。
精度自体は個人の主観が強いため、なかなか「これが正解！」というものがないのですが、面白い結果になったのではないのでしょうか？
この仕組みをもとに、何かしらの方法でWebアプリ化できればいいなぁというのが今後の目標ですね

ただ、精度も大事ですが、個人的には「いろんなサークルさんがいろいろなものを作っている」ということをもっと知ってもらえたらな、という思いで作ってます。
自分自身、最近はイベントに行っても周るサークルさんが固定化しちゃってます。
でもせっかく数万サークルも出展しているので、趣味が合いそうな、新しいサークルさんも発掘してみたいなと思い、画像ベースのレコメンドを動かしています。
このアプリが新しいサークルさんの発掘につながれば、毎朝早起きして実験した甲斐もあるというものです！