元ネタは「Recommendation systems using image similarity powered by deep learning」という記事で、ショッピングサイトを題材にした画像ベースのレコメンドシステムが紹介されてました。
今回のアプリは、上記のプロジェクトをコミケ向けにカスタマイズ、画像データにコミケサークルカットを利用することでコミケ参加サークルを画像を使って検索(リコメンド)できるようにしたものです。
機械学習部分はPythonで作られているので、Laravel(PHP)からのつなぎ込みのため、Flaskを利用したり、uwsgiを使ってPythonアプリを動かしたりと、何かと初めてが多くていろいろ苦戦しました。

まだまだ難しい機械学習

今回思ったことが、幾何学習を利用したアプリは、やはり難しいということ。
これはプログラム的な難しさもありますが、実際に動作させると動きが重すぎ & メモリ食いすぎでそこそこのスペックのサーバをレンタルしないと、まともに動作しなさそう・・・
自作のLoto7予測アプリ「Lottery Analyzer」も番号予測に機械学習を利用していますが、こちらは一度計算してしまえば予測番号は使いまわせるのですが、今回のImage Recommenderは一回ごとに計算が必要なので、どうしても処理が重くなります。
強いサーバをレンタルすればある程度は改善されると思いますが、いかんせんお金が・・・

また夏に

ということで、冬コミのサークルを画像を利用してレコメンドしてくれるアプリを作りましたというお話でした。
お金の関係でこのアプリは冬コミ終了までの期間限定公開となります。
一応、仕組みはできたので、また夏コミ時にでも同じように公開できるといいな、なんて思ったりしてます。

投稿 機械学習を利用した画像ベースのレコメンドシステムを公開しました は Sheltie's Garage に最初に表示されました。

元ネタはこちら
https://medium.com/@vinayakvarrier/recommendation-systems-based-on-deep-learning-9e6802c04b28

結果：まだまだ改良の余地あり

GitHubよりダウンロードしたプログラムを動くように改修後、学習データを夏コミのサークルカットに変更、有効性を検証してみました。

その1：アニメ系サークルカット

最も多いであろうサークルカットの種類ですね。
何パターンか試していました。

左上の赤枠が入力画像、それ以外が返却された画像です。
ケモミミの女の子の入力画像に対して、4件ほどケモミミな女の子が返答されていますね！
それ以外もイラストのタッチや雰囲気などはなんとなく似ている印象を受けます

その2：実写系

コスプレイヤーさんのサークルカットで試すとこんな感じ。
一部二次元が混ざりつつも、ほかのコスプレイヤーさんのサークルカットが抽出されました。
ドールを扱っているサークルさんも抽出されているのが興味深いですね・・・
よく誉め言葉として「お人形さんみたい」と言うことがありますが、コスプレイヤーさんの美もそのレベルに達しているということなのかもしれません

その3：動物系

コミケでは動物の写真集なんかも取り扱ってたりするので、動物系でレコメンドしてみました

サーバルキャットの入力画像に対して、見事に サーバルキャット を扱うサークルさんが返却されたときは感動ものですね！
ただ、ほかは関連性のある画像ではなさそうで、これは「画像は必ず9枚返却する」という仕様で動いている関係上、返却されたように思えます

その4:文字系

番外編的な位置づけですが、サークルカットが文字のサークルさんでも試してみました

ちゃんと文字系サークルさんが抽出されました！
コンピュータから見れは、文字と画像では明らかに構成が異なるので、特徴を見分けるのも簡単なのでしょう

以上です

ということで、画像ベースのリコメンドを引き続き実験していますよというお話でした。
精度自体は個人の主観が強いため、なかなか「これが正解！」というものがないのですが、面白い結果になったのではないのでしょうか？
この仕組みをもとに、何かしらの方法でWebアプリ化できればいいなぁというのが今後の目標ですね

ただ、精度も大事ですが、個人的には「いろんなサークルさんがいろいろなものを作っている」ということをもっと知ってもらえたらな、という思いで作ってます。
自分自身、最近はイベントに行っても周るサークルさんが固定化しちゃってます。
でもせっかく数万サークルも出展しているので、趣味が合いそうな、新しいサークルさんも発掘してみたいなと思い、画像ベースのレコメンドを動かしています。
このアプリが新しいサークルさんの発掘につながれば、毎朝早起きして実験した甲斐もあるというものです！

投稿 続・画像ベースのレコメンドシステム は Sheltie's Garage に最初に表示されました。

気が付けば今週末からコミケです！しかも今年は4日間開催とのことで過去最高の来場者を記録するんじゃないでしょうか？

ただ、今年は仕事が忙しく1日も参加できずに終わると思いますが。
9日は会社、10 – 12日は休日出勤。絶望しかない

先日作ったレコメンドシステムをサークルカットに適用してみる

先日作ったCNN, KNNを利用した画像のレコメンドシステム。
何に使おうかなと考えていたのですが、コミケのサークルカットに使用すると面白いのでは？と思い、即席で適用してみました。
狙いとして、今まで知らなかった自分好みのサークルが発掘できるかもしれない！というものがあります。
もし自分好みの絵柄や構図などが類似しているサークルカットを判別することができれば、新しいサークルの発掘にもなりますしね

で、適用した結果がこれ

いきなり結論から行きます。

ダメっす！

上記は１日目に参加されるサークルさんの画像を利用した結果です。
自分はケモノキャラが好きなので、入力画像としてケモノ作品を作成されているサークルさんの画像を選択しました。
その結果返却されたのが青枠内の画像です。
せめてケモノキャラか、ケモミミキャラがレコメンドされるのかと思いきや、ぱっと見あまり関連なさそうな画像が返却されてしまいました・・・

この辺りはまだまだ研究の余地がありそうで、例えば利用する特徴検出機の変更や、画像の前処理などで結果を改善できるかもしれません・・・

あと、作ったからにはアプリとして公開したかったのですが、今レンタルしているConohaのメモリ1GBプランでは、明らかにメモリが足りないのでどうしたものか・・・　というところです。
何か良い方法は無いか考え中なので、公開は・・・冬コミまでにはできるといいなぁ・・・ (遠い目

もう一度わんこ画像でやってみた

念のため、もう一度わんこ画像でレコメンドシステムの有効性を見てみることにしました

やっぱりわんこ画像でやるとそこそこよさそうな結果が返ってきます。
左向きの画像を入力したところ、左向きの写真が検出されたので・・・
この手法だとイラストのレコメンドには不向きということなのかな？

投稿 画像ベースのレコメンドシステムをコミケ96のサークルカットに適用してみた は Sheltie's Garage に最初に表示されました。

画像ベースのレコメンド

最近、画像系の機械学習をまたやりたいなぁと思っていて、以下の記事をもとにプログラムを作っていました。

Creating a movie recommender using Convolutional Neural Networks
https://towardsdatascience.com/creating-a-movie-recommender-using-convolutional-neural-networks-be93e66464a7

という記事で紹介されていた方法です。直訳すると「CNNを利用した映画のリコメンドの作成」ということになるのかな・・・

CNNで画像特徴量を抽出し、KNNでグルーピングを行う手法のようです

記事の内容は英語、そして、紹介されているプログラムについても部分的にしか紹介されていないため、コピペで動かせないのがつらいところ。
ここ数週間、試行錯誤しながらプログラムの歯抜け部分を記述し、ひとまず動くようにしてみました。

プログラムの内容ですが、Kerasに組み込まれているInception V3というモデルを利用して画像の特徴量を抽出し、そのデータをKNNにかけることで似たような画像を抽出するというもの。
記事では映画のパッケージ以外にも、ショッピングサイト(靴の画像)に適用して、似たようなデザインの靴が抽出されることが記述されていました。

わんこの画像でやってみた

ということで、自分はわんこの画像でやってみました。
わんこ画像のデータセットは以下のものを利用しました。
http://vision.stanford.edu/aditya86/ImageNetDogs/

結果

シェットランドシープドッグのデータセットを使用し、選択した画像に類似する画像を抽出するように設定しました

下記画像の赤枠のわんこを入力情報とし、そのわんこに類似する画像を抽出した結果がこちら

ぱっと見、類似した画像が抽出されたのではないかなと思います。
ただ、作者の方が公開していない部分のプログラムは試行錯誤で作成したため、原案者の意図が正しくプログラムに反映されてない可能性もあります・・・
まぁ、結果だけ見ると正しく動いているみたいだし、いいか・・・

今後

CNNといえば、MNISTのように「画像を分類したり、識別するために利用される」ことが多いような気がしていますが、KNNを組み合わせることでリコメンドにも利用できるというのが面白いですね！
これを応用すれば、アニメキャラのレコメンドなんかにも使えそうなので、これをもとに何かしらのアプリは作ってみたいと思います。

Amazonで機械学習の本を探す

投稿 CNNとKNNを利用した画像ベースのレコメンド は Sheltie's Garage に最初に表示されました。

ということで、他愛のない話題でとりあえず週1くらいでブログを更新する目標を果たそうというわけ・・・

地味に稼働中のLoto7予測プログラム

https://lab.sheltie-garage.xyz/lottery/front/#/loto7/predicthis/1

ここで最新の予測結果が閲覧できるのですが、26を基準とした数値予想で4等(7個のうち、5個の数字が的中)が的中していました。
購入していれば、当選金額は9800円でした。

うれしいことはうれしいが、問題もあり

予測の的中金額としては過去最高！　7個のうち、5個の数字が的中したということで、意外と良い結果が出ました。これなら、山勘で数値を選ぶよりは、より説得力のある数値が予測出来ているのではなかろうか。

が、現在の予測は、1～37の数値すべてで予測を出しているので、37パターンの予測を表示しています。
本当に知りたいことは、いったいどの予測が一番当たる確率が高いのか？ということなので、37個の予測のうち、「どの予測が当たるか」というのをさらに予測するプログラムが必要となるわけで・・・
仮に37パターンすべての予測を購入すると、1口300円なので37口 = 11100円費用がかかる。
今回のように4等が当たったとしても、-1300円の赤字。これでは使い物にならない

予測結果をさらに予測するプログラムが必要だ！

ということで、次の改修は37個の予測から、おすすめできる予測を選び出す改修を行おうかなと思います。
この仕組みを使って、Loto6やナンバーズの予測もしてみたいし、何よりUIも改修したいし、やりたいことだけは山積みだ・・・

投稿 Loto7予測プログラムで4等が当たっていた は Sheltie's Garage に最初に表示されました。

予想は当たっているのか？

初回予想で大外れを連発し、37組み合わせの購入分11100円の損害を出した当プログラム。
この記事を書いている時点で計3回の予測を行っています。

早くもあたりが出ました！

ただし5等ですが・・・　でも2口も出たんですよ！
当選したのは319回の予想で、23を基準にした予想と、31を基準にした予想が5等を引き当てていました。
当時の当選金額は1200円なので、計2400円の金額が的中したことになりますね！

果たして実用性はあるのか・・・

ということで、無事にあたりが出たことは、素直にうれしい！
が、現在の仕組みでは37個の数字で総当たりの組み合わせを出しているので、今後はお勧め数値なんかを出せるとよいかも。
後当選履歴はボーナス数字を考慮していないので、もしかしたらもう少し金額が上振れするかもしれません。

ということで、次はボーナス数字を考慮した当選履歴を出したいところ。
その他とはLoto6に展開かな？
Loto6はすでに1300回以上開催されているため、このデータをレコメンドシステムにかけるとどうなるのか、ちょっと楽しみではあります。

AmazonでLoto7関連の商品を見てみる
https://amzn.to/31klAUD

投稿 LotteryAnalyzerに機能を追加しました は Sheltie's Garage に最初に表示されました。

LotteryAnalyzerの中身

先日公開したLotteryAnalyzerですが、まだ完全体ではありません！
LotteryAnalyzerは大きく4つのプログラムが組み合わさって稼働しています。
・フロントエンドのCoreUI(VueJS)
・サーバサイドのLaravel(PHP)
・抽選結果を取得するScrayper(Python)
・抽選結果を予測するPrediction(Python)
このうち、ScrayerとPredictionは毎週決まった時間に実行させたいので、jenkinsから実行できるように設定してみました。

Jenkinsの設定内容

Jenkinsからシェルを実行する。
やりたいことはシンプルですが、以下の点が分からず苦戦しました。
・jenkinsでシェルを呼び出す方法がわからない
・shellの中でのconda環境の切り替え方がわからない

jenkinsからのshell呼び出し

方法として、「sudoを利用して実行権限を持つユーザーで実行」する方式をとりました。

visudo設定

jenkinsから「whoami」コマンドを実行したところ、実行ユーザが「tomcat」となっていたため、tomcatユーザに対してsudoが利用できるように設定しました。

visudo:
tomcat ALL=(ALL) NOPASSWD: /home/ユーザ/batch/lottery/scrayper/exec_lottery.sh
tomcat ALL=(ALL) NOPASSWD: /home/ユーザ/batch/lottery/prediction/exec_prediction.sh
Defaults:tomcat !requiretty

Jenkinsのジョブ内容は以下の通り。
フリースタイルプロジェクトを作成し、設定したシェルを実行するようにします

これでひとまず、jenkinsからシェルを実行できるようになりました。

conda環境を切り替える

pythonの実行環境の制御にanacondaを利用しています。
スクレイピング用、番号予測用でそれぞれ環境が異なります。
端末からは「conda activate」コマンドで切り替えできますが、シェルスクリプト内部からはなぜか切り替えができない事象が発生しました。

以下の方法で解決

>>> conda initialize >>>
 !! Contents within this block are managed by 'conda init' !!
 __conda_setup="$('/home/ユーザ/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
 if [ $? -eq 0 ]; then
     eval "$__conda_setup"
 else
     if [ -f "/home/ ユーザ /anaconda3/etc/profile.d/conda.sh" ]; then
         . "/home/ ユーザ /anaconda3/etc/profile.d/conda.sh"
     else
         export PATH="/home/ ユーザ /anaconda3/bin:$PATH"
     fi
 fi
 unset __conda_setup
 <<< conda initialize <<<

cd /home/ ユーザ /batch/lottery/scrayper/
conda activate scraping37
python lottery_loto7.py

かなり強引ですが、anaconda3をインストールしたときに設定される環境設定スクリプトをシェルの中に埋め込み、実行できました。
参考
https://qiita.com/tori_taro/items/ad3a4f488a49400fd457

自動化完了

これでJenkinsからシェルを実行できるようになりました。
と同時に、当初の目標でもあった、LotteryAnalyzerの自動更新の仕組みも出来上がったわけです。
今後は自動で更新されていくので、毎週の更新が楽しみですね！

Jenkinsは導入当初、左上のおじさんをシャロちゃんに変更して放置していましたが、やっと有効活用できた気がする。

投稿 JenkinsからConda環境を切り替えてPythonスクリプトを実行する は Sheltie's Garage に最初に表示されました。

Loto7の統計情報を閲覧

LotteryAnalyzerの機能として
・最新の当選番号確認
・過去の当選番号閲覧
・統計情報
・KNNを使用した番号予測
が用意されています。

統計情報なんかは、意外と数字に偏りがあったりして、見ているだけで楽しめるかと思います。

目玉の番号予測は残念な精度ですが・・・

目玉の機能として作成した番号予測は散々な精度ですが・・・、まぁ簡単に予測出来たら1等当選が増えて最高10億円の夢も薄れてしまいますかね・・・
過去分の予測の答え合わせをしたら、最高でも2つしか数字が一致していなかったので、人間がカンで予測するのと変わらない精度かな・・・
今後データが増えていくことで、予測精度も向上するといいなと思っております

投稿 LotteryAnalyzerを公開しました は Sheltie's Garage に最初に表示されました。

結果、かすりもせず・・・

まぁ、このエントリを書いている時点でお察しですよね。
本当に当たっていたら黙っておきます・・・

残念ながらすべてはずれで、まさかの6等(数字3個が一致、かつ、ボーナス数字に1個、または2個一致)すら当たらず散々な結果でした。

世の中そんなに甘くない

ということで、Loto7予測プログラムを救ってみたけど、全くダメでしたねというお話でした。まぁ、冷静に考えれば当たり前で、自分レベルの予測であれば多くの人がすでに行っているはず。それでも、1等の当選が全然増えていないのは、それだけ予測が難しいということなのでしょう。
裏を返せば、Loto7の抽選は予測が難しいくらいパターン性というものが排除されているともとれるので、偏りが出ないようにきちんと考えられているとも取れます

公開に向けていろいろ準備中です

ということで、予測精度の低さが判明したところで、このプログラムの公開は予定通り行おうと準備中です。
サーバの設定に四苦八苦していますので、もう少しかかりそうですが、公開した暁にはぜひ使っていただければと思います！

ちなみに

Loto7は全国の窓口以外にもインターネットから購入可能です。
https://www.takarakuji-official.jp/

ただ、上記の公式サイトでは利用できるクレジットカードに大幅な制限が設けられており、自分の所有している楽天カードは利用不可でした。

各銀行のオンラインバンキングからも購入可能なようで、自分は三菱UFJ銀行のオンラインバンキングから購入しました。

投稿 Loto7盛大に外れる は Sheltie's Garage に最初に表示されました。

毎朝の習慣で、「出社前の1時間は趣味の開発に充てる」ということをしています。
で、その時間を使ってコツコツとLoto7予測プログラムを作っていました。
要するに、ろくなことをしていないということです

Laravel + VueJS + 機械学習の練習です

今後の自分の方向性として、「Unity」「PHP」「機械学習」を主軸にして勉強していきたいなという思いがあります。
UnityはスマホゲームやVRゲーム開発で、今回のLoto7予測プログラムはPHP + 機械学習の練習で作りました。

早速ですが、予測結果を

ちょっと長いですが、37の数字でそれぞれの組み合わせ予測は以下の通りになりました

1を基準にした予測<br>番号予想1,5,11,16,18,28,35<br>ボーナス数字20,25<br>2を基準にした予測<br>番号予想2,9,11,18,23,34,36<br>ボーナス数字1,21<br>3を基準にした予測<br>番号予想1,3,22,26,29,34,36<br>ボーナス数字8,23<br>4を基準にした予測<br>番号予想4,15,24,29,32,34,36<br>ボーナス数字8,19<br>5を基準にした予測<br>番号予想1,5,15,19,27,30,32<br>ボーナス数字20,31<br>6を基準にした予測<br>番号予想6,7,27,28,31,32,36<br>ボーナス数字15,21<br>7を基準にした予測<br>番号予想6,7,10,15,23,24,37<br>ボーナス数字9,35<br>8を基準にした予測<br>番号予想8,23,24,27,28,29,32<br>ボーナス数字4,13<br>9を基準にした予測<br>番号予想2,9,13,15,33,36,37<br>ボーナス数字23,24<br>10を基準にした予測<br>番号予想4,7,10,18,21,28,30<br>ボーナス数字23,35<br>11を基準にした予測<br>番号予想1,11,21,26,28,35,36<br>ボーナス数字2,18<br>12を基準にした予測<br>番号予想11,12,17,23,24,35,36<br>ボーナス数字21,34<br>13を基準にした予測<br>番号予想9,13,14,15,21,22,26<br>ボーナス数字8,17<br>14を基準にした予測<br>番号予想7,13,14,21,23,25,31<br>ボーナス数字17,24<br>15を基準にした予測<br>番号予想7,15,19,23,25,26,35<br>ボーナス数字5,13<br>16を基準にした予測<br>番号予想1,9,16,26,27,28,34<br>ボーナス数字2,35<br>17を基準にした予測<br>番号予想12,13,14,15,17,21,24<br>ボーナス数字29,31<br>18を基準にした予測<br>番号予想1,2,9,11,18,21,26<br>ボーナス数字10,13<br>19を基準にした予測<br>番号予想4,13,15,19,30,33,35<br>ボーナス数字5,22<br>20を基準にした予測<br>番号予想1,20,28,29,30,31,34<br>ボーナス数字6,21<br>21を基準にした予測<br>番号予想11,13,14,17,21,23,28<br>ボーナス数字6,18<br>22を基準にした予測<br>番号予想3,6,9,13,22,24,36<br>ボーナス数字12,26<br>23を基準にした予測<br>番号予想7,8,14,15,23,25,31<br>ボーナス数字9,28<br>24を基準にした予測<br>番号予想4,7,8,9,24,27,31<br>ボーナス数字12,15<br>25を基準にした予測<br>番号予想1,8,15,23,25,30,35<br>ボーナス数字14,27<br>26を基準にした予測<br>番号予想11,13,15,26,27,32,34<br>ボーナス数字3,18<br>27を基準にした予測<br>番号予想6,8,24,26,27,28,30<br>ボーナス数字21,29<br>28を基準にした予測<br>番号予想1,8,10,27,28,29,30<br>ボーナス数字21,23<br>29を基準にした予測<br>番号予想4,8,15,20,28,29,34<br>ボーナス数字3,27<br>30を基準にした予測<br>番号予想7,10,20,25,27,28,30<br>ボーナス数字21,24<br>31を基準にした予測<br>番号予想6,14,20,23,24,31,37<br>ボーナス数字28,32<br>32を基準にした予測<br>番号予想4,5,6,8,26,32,36<br>ボーナス数字15,31<br>33を基準にした予測<br>番号予想4,9,13,19,21,33,37<br>ボーナス数字27,34<br>34を基準にした予測<br>番号予想4,9,20,26,34,35,36<br>ボーナス数字16,29<br>35を基準にした予測<br>番号予想1,7,11,12,15,34,35<br>ボーナス数字19,36<br>36を基準にした予測<br>番号予想2,3,4,6,9,32,36<br>ボーナス数字11,34<br>37を基準にした予測<br>番号予想7,9,21,29,31,33,37<br>ボーナス数字28,36 <br>

ざっくりな仕組み

上記の予測には「K近傍法」という手法を利用しています。
説明については外部サイトに委ねますが、おすすめ商品表示のようなレコメンドシステムにも利用されている、意外と身近な手法でもあったりましす。
今回のプログラムの元ネタは以下のサイトとなります
https://www.codexa.net/collaborative-filtering-k-nearest-neighbor/

Loto7予測プログラムでは、過去315回(記事作成時点)の当選履歴を取得し、それぞれの組み合わせを「sklearn」というpythonプログラムを利用して予測値を取得しています。
元ネタのcodexaでは「アニメとレビュー」のデータからおすすめアニメを予測する内容となっていますが、この内容を「37の数字と当選番号」の関係に置き換えてKNNを利用しています。

もし当たったらVyrus買います

ということで、Loto7予測プログラムを作りました。という話でした。
若干詰め切れていない部分がありますが、プログラムはほぼほぼ動くので、5月中には公開したいな～と考えております。
同じ仕組みでLoto6、Numbersにも利用できると思うので、プログラムを整理したら、ほかの宝くじにも適用していきたいですね

当然ですが・・・

予測値は、あくまで意思決定を助けるためのものであり、当選を保証するものではありません。
宝くじの購入は、購入者自身の責任で番号を選択してください。
当たり前のことですが、なんとなく書いておかないといけないような気がした・・・

投稿 K近傍法を利用したLoto7予測プログラムを作る は Sheltie's Garage に最初に表示されました。