Dockerfileとdocker-composeについて

Docker Composeを利用して仮想サーバを管理します。
どちらのファイルも以下のGitHubから取得可能です。

今回のディレクトリ構成は、以下のような感じです。

Docker buildからlaravelを動かすまで

イメージのビルド

docker-compose.ymlファイルがあるディレクトリへ移動し、以下のコマンドでイメージのビルト、コンテナの起動を行います。

$ docker-compose build
$ docker-compose up -d

litespeed管理画面へのログイン

コンテナが無事に起動したら、コンテナにログインし、初期パスワードを確認します。

$ winpty docker-compose exec web bash
[root@6c71de6daed0 lsws]# cat /usr/local/lsws/adminpasswd

初期パスワードを確認したら、以下のURLから管理画面にログインします。
https://localhost:7080/login.php

初回アクセス時、SSL証明書の警告が表示されますが、自身の開発サーバなので構わずアクセスします。

php7.4のインストール、バーチャルホスト、リスナーの設定

デフォルトでphp7.3が入っていましたが、せっかくなのでphp7.4のバイナリをインストールします。
Dockerfileでは、php7.4バイナリのインストールに必要なパッケージも同時にインストールしています。
具体的な手順は、下記画像を参照してください。

phpのコンパイルシェルはセキュリティの関係でターミナルから実行してくれとのこと。
といっても、親切に実行シェルがフルパスで書いてあるので、コンテナに接続後、コピペしてエンターを押せばよいだけです。

上記表示になればコンパイル終了です。画面的にはあと1ステップ残ってそうですが、作業はこれで終わりです。

バーチャルホストの作成

laravel実行用にバーチャルホストを作成します。下記画像を参照してください。

画面に映っている部分以外はすべてデフォルトです

保存時にファイルがないエラーが出ますが、CLICK TO CREATE をクリックしファイル作成後に再度保存すれば大丈夫です。

リスナーの作成

ユーザーからのアクセスを受け付けるためのリスナーを作成します。設定は画像をば・・・

バーチャルホストで利用するphpバージョンを指定

デフォルトでphp7.4を利用するように設定を変更します。

設定を保存し、以下のURLにアクセス。
http://localhost:8088/

Test PHPでバージョンが7.4.3になっていることが確認できます。

Laravelを動かす

設定ファイル系をlaravel用に書き換えます。
(GUIからの変更方法がわからなかったので、ターミナルから直接編集しました)

Example バーチャルホストを参考に、以下の設定を挿入
編集ファイルは「/usr/local/lsws/conf/vhosts/laravel/vhconf.conf」です。

docRoot $VH_ROOT/public

context / {
  allowBrowse 1
  location $DOC_ROOT/
  rewrite  {
    RewriteFile .htaccess
  }
}

.htaccessにlaravel公式のリライト設定を挿入します。
ファイルの場所は「/var/www/laravel/public/.htaccess」ですね。
litespeedはapacheのリライトと互換性があるとのことで、apache用の設定がそのまま使えます。

Options +FollowSymLinks -Indexes
RewriteEngine On

RewriteCond %{HTTP:Authorization} .
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^ index.php [L]

ファイル設定後はGUIから再起動を行います。

後は、laravelプロジェクトを作成し、ホスト側のlaravelアプリケーションディレクトリにファイルを設置します。
今回はlaravel 配下に設置すればOK

やっとLaravelのデフォルト画面が拝めます

以上の設定でlitespeedでlaravelアプリが動くはずです。以下のURLにアクセスし、画面が表示されるか確認します。
http://localhost:8080/

やっとlaravelアプリが動きました！　隙間時間とはいえ、調査に1週間、この記事を書くのに3時間・・・長かった。

でも、使うかどうかはわかりません

まだ解決していない問題として、「サーバ設定の永続化」が残っています。
Dockerはご存じの通り、コンテナを破棄すれば内部のデータは消えてしまいます。そのためにVolumeなどを設定しデータの永続化を行いますが、litespeedはどこを永続化すればよいのかいまだにわからず・・・
今回行った設定も、コンテナを破棄したときに一緒に消えてしまうのです。
もうしばらく調べて、わからなかったらnginx続投かな・・・

投稿 DockerでLiteSpeed Webサーバを構築してLaravelを実行する は Sheltie's Garage に最初に表示されました。

現在趣味で作っているWebアプリはSPAとして作成しており、LaravelはAjax通信を処理するためのAPIを実装しています。
Laravelの場合、DebugBarやdd()などで簡単に変数の中身を確認できますが、APIとして作成している場合、どちらも値の確認には利用できませんでした。(自分が試した限りでは・・・)

そこで、ClockWorkの出番です

ClockWorkはブラウザの拡張機能と連携してプログラムのパフォーマンスや実行されたSQLクエリの確認、変数の確認などが簡単に行えるためのツールです。
以下のサイトを参考にさせていただきました。
参考サイト:
https://cpoint-lab.co.jp/article/201905/9566/

公式サイト：
https://github.com/itsgoingd/clockwork

Laravel5.5以上のバージョンであれば、以下のコマンドでインストール + ブラウザ拡張機能のインストールだけで利用できます。

$ composer require itsgoingd/clockwork

現在はLaravel6.0なので簡単に利用できますね。

特徴的な機能

ClockWorkの画面は3カラム構成となっており、左がリクエストの履歴、中央が各種情報、一番右がリクエスト情報となっているようです。
左側のリクエスト履歴を選択することで、その時のパラメータやログ、パフォーマンスを閲覧することができます。
以下の画像はパフォーマンスの情報で、それぞれの処理におおよそどの程度の処理時間がかかっているのか確認することができます。

次はログ画面で、PHPプログラム内の任意の位置にログ出力を挟むことで、変数の情報などを参照できます。
ログ出力も簡単で「clock()->info()」メソッドを任意の場所に記述するだけです。

次がクエリ情報で、Eloquentで実行されたSQL等が確認できます。どのようなSQLが発行されているのか確認することができるので、結構便利！

そしてキャッシュ。こちらは・・・まだ調べられていないのですが、Laravelに備わっているキャッシュの利用状況が出ていると思います(未確認)

ということで

LaravelでのAPI開発を強力にバックアップしてくれるClockWorkの紹介でした。
やはり、変数の中身やSQLを簡単に確認できると、開発効率も上がりますね。今後も活用していきたいと思います。

ちなみに

Clockworkは結構ログを出力するようで、本番稼働時は無効にしておいたほうが良いです。
https://github.com/itsgoingd/clockwork/issues/358

.envファイルの CLOCKWORK_ENABLE、APP_DEBUGのどちらかにfalseを設定してあげると良いそうです。お忘れなく・・・

投稿 ClockWorkを利用してLaravel APIをデバッグする は Sheltie's Garage に最初に表示されました。

[Composer\Exception\NoSslException]                                           
  The openssl extension is required for SSL/TLS protection but is not available. 
If you can not enable the openssl extension, you can disable this error, 
at your own risk, by setting the 'disable-tls' option to true.

原因はphpのアップデート作業でした

phpはwindows環境で実行しています。
phpのアップデートのため、一度phpディレクトリの中をすべて削除し、新しいバージョンを上書きしました。
その際「php.ini」も消してしまい、結果としてopensslのエクステンションも無効になってしまっていました。

OpenSSLの有効化

php.iniを以下の通り編集しました

; Directory in which the loadable extensions (modules) reside.
; http://php.net/extension-dir
;extension_dir = "./"
; On windows:
extension_dir = "ext"　←この行のコメントを外し、有効化

;extension=bz2
・・・省略・・・
;extension=odbc
extension=openssl ←この行のコメントを外して有効化

以上

以上の設定でComposerが動くようになりました。

投稿 ComposerでNoSslExceptionが発生したときの対応方法 は Sheltie's Garage に最初に表示されました。

以下の設定を利用すればアクセス可能
参考：https://docs.docker.com/docker-for-windows/networking/

host.docker.internal

アクセス例:
http://host.docker.internal:5000/webapi/

事の発端

現在、画像ベースのレコメンドシステムを作成しており、以下のような構成で動いています。

Webアプリ:
　Laravelで作成、Dockerコンテナで動作
リコメンドエンジン：
　Python + Flaskで作成、ホストマシン(Windows上) で動作

この時、Dockerコンテナで動いているLaravelアプリケーションから、ホストマシンで動ているPythonへアクセスする必要が出てきました。

リコメンドエンジンはPython + Flaskで動いており、WebAPIとして動作しています。
Laravelから「 file_get_contents 」関数を利用しホストのWebAPIへアクセス、レスポンスを取得する方法を用いることにしました。

ホストにアクセスする

いろいろ調べたところ、冒頭で紹介した「host.docker.internal」が利用できることが分かりました。
試しにDockerコンテナ内からpingを実行してみると・・・

きちんとpingが通りましたね

プログラム内では、以下のような記述でアクセス可能でした

public function recommend(RecommendRequest $request)
    {
        $imagefile = $request->file('img');
        $temp_path = $imagefile->store('public/upload');
        $filenameArr = explode('/', $temp_path);

        // 外部APIを呼び出し、リコメンド結果を受け取る         
        $html = file_get_contents('http://host.docker.internal:5000/imgPath/' . $filenameArr[2]);
    }

以上でDockerコンテナからホストへアクセスする方法の紹介は終了です。
Dockerは便利でよく利用はしていますが、まだまだ知らないことばかりです。

投稿 Dockerコンテナからホストで動いているWebAPIにアクセスする は Sheltie's Garage に最初に表示されました。

・confファイルを追加したが、そちらの設定が有効にならない
・rewrite_log on; を利用し、URL書き換え状態を調査
・別ファイルのリライトルールが有効になっていることを発見
・名前付きロケーションは、設定ファイルごとに独立していない

1アプリに対して1つのコンフィグファイルで対応しています

という設定で、現在labが運用されているのです。
今まではKindleUnlimitedSearchしか稼働していなかったので設定ファイルも1つで済んでいたのですが、今回新規でLotteryAnalyzer用の設定を追加したところ、なぜかこちらの設定はうまく動きませんでした。

@の名前付けに注意

nginxの設定で「名前付きロケーション」を使用しています。
自分の勘違いとして

設定ファイルが分かれていれば、同じ名前を利用しても構わない

とかってに思っていました。
javaプログラムなんかだと、別ファイルごとにクラスを作って、その中で同じ変数名を利用しても大丈夫！みたいな、そんなノリです。(伝わるかな？）

実際には2重で定義されている扱いになっていた

location /lottery/back {
     try_files $uri $uri/ @nest;
 }
 location @nest {
     rewrite /lottery/back/(.*)$ /lottery/back/index.php?/$1 last;
 }

上記のような感じで設定ファイルを作りました。nginxの内部リダイレクトを利用しており、laravel側の処理を呼び出すための設定が書いてあります。

ただ、実際に動作確認をとってみると、なぜかLotteryAnalyzerへのアクセスがKindleUnlimitedSearchに向かって飛んでいました。
rewrite_logを出力し、URLがどのように処理されているのか調査し、原因を特定することができました。

参考
https://qiita.com/iaoiui/items/595ecddb9e7064279fd0

思い込みは良くないということですね

今回は思い込みで作業を行っていたため、解決に時間がかかってしまいました。
ちゃんと仕様を理解して使いましょう！　ということですね

Amazonでnginxの商品を探す
https://amzn.to/2WugZAB

投稿 複数のnginx設定ファイルを読み込んだ時の思い込み は Sheltie's Garage に最初に表示されました。

LotteryAnalyzerの中身

先日公開したLotteryAnalyzerですが、まだ完全体ではありません！
LotteryAnalyzerは大きく4つのプログラムが組み合わさって稼働しています。
・フロントエンドのCoreUI(VueJS)
・サーバサイドのLaravel(PHP)
・抽選結果を取得するScrayper(Python)
・抽選結果を予測するPrediction(Python)
このうち、ScrayerとPredictionは毎週決まった時間に実行させたいので、jenkinsから実行できるように設定してみました。

Jenkinsの設定内容

Jenkinsからシェルを実行する。
やりたいことはシンプルですが、以下の点が分からず苦戦しました。
・jenkinsでシェルを呼び出す方法がわからない
・shellの中でのconda環境の切り替え方がわからない

jenkinsからのshell呼び出し

方法として、「sudoを利用して実行権限を持つユーザーで実行」する方式をとりました。

visudo設定

jenkinsから「whoami」コマンドを実行したところ、実行ユーザが「tomcat」となっていたため、tomcatユーザに対してsudoが利用できるように設定しました。

visudo:
tomcat ALL=(ALL) NOPASSWD: /home/ユーザ/batch/lottery/scrayper/exec_lottery.sh
tomcat ALL=(ALL) NOPASSWD: /home/ユーザ/batch/lottery/prediction/exec_prediction.sh
Defaults:tomcat !requiretty

Jenkinsのジョブ内容は以下の通り。
フリースタイルプロジェクトを作成し、設定したシェルを実行するようにします

これでひとまず、jenkinsからシェルを実行できるようになりました。

conda環境を切り替える

pythonの実行環境の制御にanacondaを利用しています。
スクレイピング用、番号予測用でそれぞれ環境が異なります。
端末からは「conda activate」コマンドで切り替えできますが、シェルスクリプト内部からはなぜか切り替えができない事象が発生しました。

以下の方法で解決

>>> conda initialize >>>
 !! Contents within this block are managed by 'conda init' !!
 __conda_setup="$('/home/ユーザ/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
 if [ $? -eq 0 ]; then
     eval "$__conda_setup"
 else
     if [ -f "/home/ ユーザ /anaconda3/etc/profile.d/conda.sh" ]; then
         . "/home/ ユーザ /anaconda3/etc/profile.d/conda.sh"
     else
         export PATH="/home/ ユーザ /anaconda3/bin:$PATH"
     fi
 fi
 unset __conda_setup
 <<< conda initialize <<<

cd /home/ ユーザ /batch/lottery/scrayper/
conda activate scraping37
python lottery_loto7.py

かなり強引ですが、anaconda3をインストールしたときに設定される環境設定スクリプトをシェルの中に埋め込み、実行できました。
参考
https://qiita.com/tori_taro/items/ad3a4f488a49400fd457

自動化完了

これでJenkinsからシェルを実行できるようになりました。
と同時に、当初の目標でもあった、LotteryAnalyzerの自動更新の仕組みも出来上がったわけです。
今後は自動で更新されていくので、毎週の更新が楽しみですね！

Jenkinsは導入当初、左上のおじさんをシャロちゃんに変更して放置していましたが、やっと有効活用できた気がする。

投稿 JenkinsからConda環境を切り替えてPythonスクリプトを実行する は Sheltie's Garage に最初に表示されました。

Loto7の統計情報を閲覧

LotteryAnalyzerの機能として
・最新の当選番号確認
・過去の当選番号閲覧
・統計情報
・KNNを使用した番号予測
が用意されています。

統計情報なんかは、意外と数字に偏りがあったりして、見ているだけで楽しめるかと思います。

目玉の番号予測は残念な精度ですが・・・

目玉の機能として作成した番号予測は散々な精度ですが・・・、まぁ簡単に予測出来たら1等当選が増えて最高10億円の夢も薄れてしまいますかね・・・
過去分の予測の答え合わせをしたら、最高でも2つしか数字が一致していなかったので、人間がカンで予測するのと変わらない精度かな・・・
今後データが増えていくことで、予測精度も向上するといいなと思っております

投稿 LotteryAnalyzerを公開しました は Sheltie's Garage に最初に表示されました。

最近Dockerの調子が悪く、何度かFactory Resetを繰り返し行っていました
で、Factory Resetの度にコンテナやらイメージやらボリュームやらが全部リセットとなり
結果、DBのデータやテーブル構造なども失われていたわけです

今まではMySql Workbench上から作り直していたのですが、さすがに何度も続くとめんどくさくなってきたので Laravelに組み込まれている「Migration」という機能を利用してDB管理を行うことにしました

そもそもMigrationとは？

Migration(マイグレーション)とは、「データベースの管理をコードで行える仕組みのこと」と、自分は解釈しています

実際にやってみる

公式マニュアルはこちら
https://readouble.com/laravel/5.8/ja/migrations.html

LaravelでMigrationを行うには以下の通り

Laravelプロジェクトに移動し、以下のコマンドを実行

php artisan make:migration loto7

上記のコマンドを実行すると、以下のディレクトリにファイルが作成されます

(Laravelプロジェクトフォルダ)\database\migrations\2019_03_31_085703_loto7.php

中を見ると、 up と down の2つのメソッドが準備されています

up : 新規テーブルやカラムの作成
down : up時の操作を戻す

という役割があります

基本的に up にはcreate table などを記述し、 down には drop tableなどを記述することになるかと思います

実際に記述してみる

今回は宝くじ情報のサイトを作る想定でいるので、その情報を保存できるようにテーブルを作成します

<?php

use Illuminate\Support\Facades\Schema;
use Illuminate\Database\Schema\Blueprint;
use Illuminate\Database\Migrations\Migration;

class Loto7 extends Migration
{
    /**
     * Run the migrations.
     *
     * @return void
     */
    public function up()
    {
        Schema::create('loto7', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedInteger('holding_date');
            $table->timestamps();
        });

        Schema::create('loto7_winning_numbers', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedInteger('number');
            $table->timestamps();
        });

        Schema::create('loto7_bonus_numbers', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedInteger('number');
            $table->timestamps();
        });

        Schema::create('loto7_winning_count', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedInteger('1st');
            $table->unsignedInteger('2nd');
            $table->unsignedInteger('3rd');
            $table->unsignedInteger('4th');
            $table->unsignedInteger('5th');
            $table->unsignedInteger('6th');
            $table->timestamps();
        });

        Schema::create('loto7_winning_money', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedInteger('1st');
            $table->unsignedInteger('2nd');
            $table->unsignedInteger('3rd');
            $table->unsignedInteger('4th');
            $table->unsignedInteger('5th');
            $table->unsignedInteger('6th');
            $table->timestamps();
        });

        Schema::create('loto7_carryover', function (Blueprint $table) {
            $table->increments('holding_count');
            $table->unsignedBigInteger('carry_over');
            $table->timestamps();
        });

    }

    /**
     * Reverse the migrations.
     *
     * @return void
     */
    public function down()
    {
        Schema::drop('loto7');
        Schema::drop('loto7_winning_numbers');
        Schema::drop('loto7_bonus_numbers');
        Schema::drop('loto7_winning_count');
        Schema::drop('loto7_winning_money');
        Schema::drop('loto7_carryover');
    }
}

こんな感じの内容で作ってみました

マイグレーションを実行する

artisanコマンドを実行すれば、先ほど作成したファイルの内容が実行され、テーブル類が作成されます
気を付けるのはLaravelプロジェクトの.envファイルの設定で、このファイルに書かれているDBの接続設定が使用されます

DB_CONNECTION=mysql
DB_HOST=mysql
DB_PORT=3306
DB_DATABASE=lottery
DB_USERNAME=root
DB_PASSWORD=root

今回、.envファイルはDockerネットワーク内で実行される想定で作ったので、Laradockのworkspaceからマイグレーションを実行します
ちなみに、ホストから実行する場合は.envファイルを

DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=lottery
DB_USERNAME=default
DB_PASSWORD=default

のように変更する必要があります

また、マイグレーションを実行するとき、 information_schemaへのアクセスが可能なユーザーで行う必要があるようで、自分の環境では以下のエラーが発生しました

そのため、設定ファイルでrootユーザーを指定し、実行しています

Docker workspaceへ

PortainerというDocker管理ツールを利用し、Laradockのワークスペースに入りました
ここでマイグレーションを実行します

php artisan migrate

これでマイグレーションが実行されます

成功すると、このようなログが出力されます

MySQL Workbenchで確認すると、きちんとテーブルが出来ていますね

以上です

これでマイグレーションの紹介は以上です
DBをコードで管理できるので、元に戻したり、環境の作り直しも簡単に行えそうですね
ただ、簡単にdropもできてしまうため、本番運用では気を使いそうです

投稿 Laravel5.8でMigrationを行う は Sheltie's Garage に最初に表示されました。

いつものようにDockerを起動すると、今まで見えていたファイルが見えなくなりました
自分はセキュリティソフトに「カスペルスキー」を利用していますが、どうやらこいつのファイアウォールが悪さをしている模様

以前のエントリで似たような事象を紹介しましたが、やっと根本解決ができたので改めて紹介します　　

追記: やっぱり解決できませんでした・・・
Dockerを再起動したタイミングで設定が初期化されてしまうので、Docker再起動時は常にカスペルスキーの設定を確認したほうがよさそうです

カスペルスキーの設定

上記の設定を行うことでDockerネットワークへのアクセスが常に許可されます
今まで何かのタイミングで設定が戻ってしまっており、何度もファイルが見えなくなるとはまっていたのですが
ひとまずこれでDockerに振り回されることは減りそうです

終わりに

セキュリティソフトは入れておくと安心ですが、開発マシンで使用するとこういう弊害も出るのですね
そういえば昔ネトゲにはまった時も、セキュリティソフトの設定でうまくネットワークにつながらない時があったりしたなぁ・・・

投稿 Docker利用時のカスペルスキーの設定について は Sheltie's Garage に最初に表示されました。

カメラ、バイクが壊れ、そしてLaradockの環境も壊れました (´・ω・｀)
一応復旧が出来たので、試したことをつらつら書いていこうと思います

症状について

自分は以下の環境で開発しています

• Windows10 Pro
• Docker Engine 18.09.02

症状として、「コンテナからホストのファイルが参照できなくなった」というもの
具体的には、Dockerでボリュームを設定し、共有フォルダ内にファイルを置いたにも関わらず、コンテナ内からファイルが参照できない
逆に、コンテナ内で生成されたファイルが、ホスト側から参照できない
というもの
ファイルの共有が全くできなくなってしまったため、作成したLaravelプロジェクトにアクセスしても、動作確認が行えなくなってしまいました　　 　　

試したこと

現在は無事に復旧し、Laradockの環境を復活できたわけですが、いかんせん決定打となったものが不明なので、試したことをすべて書き出していきます

カスペルスキーファイアウォールの設定確認

使用しているアンチウィルスソフトが「カスペルスキー」なので、まずはファイアウォールの解除を確認

許可するネットワークに設定が変更されていればOK

Factory ResetとShare Drive再設定

症状としては
https://qiita.com/Targityen/items/2c4840fc900d8f9ce11f
https://mosapride.com/index.php/2017/02/16/post-70/
と同じ状況だったので試してみるも改善せず
DockerでFactory Resetを行うと、作成したイメージやコンテナ、ボリュームがすべて消えてしまうため要注意です

Docker仮想ドライブの移動

もしかして、Dockerの仮想ドライブが書き込み不可の場所にあったりするのか？　という考えから「Disk Image Location」をユーザーディレクトリ配下に移動するも、効果なし

PowerShellでコマンド実行

DockerのShared Drivesの設定の下部にシェルコマンドが記載されているのですが、試しにPower Shell上から実行するもエラーに・・・

上記で紹介した設定を一通り試した後、再度コマンドを実行して見たらちゃんと実行されました　　

無事にコンテナ内からホストのファイルを参照できるように!

結局のところ原因は？

今まで使用できていたLaradockが急に使えなくなってしまったことも、Dockerの共有フォルダが使えるようになったことも、正直なところ何が良くて何がダメだったのか原因がわからず・・・
Dockerは便利なツールですが、意外なところでハマったりするもですね・・・

投稿 Laradock壊れる は Sheltie's Garage に最初に表示されました。