ただ、検索機能に不満あり

一般的なキーワードサーチ、あいうえお順、大まかな作品ジャンルは検索機能としてあるのですが、例えば人気順の並べ替えや、あらすじ内のキーワード検索、キャラクタの容姿 etcのような検索機能は、見た感じ準備されていません。

不思議なのは、内部的にデータを持っているので、もっといろいろな作品の見せ方ができるはずなのに、それをやっていないことです。

なので、勉強がてら作り始めました

Dアニメをもっと楽しみたいので自分仕様の検索機能を作ることにしました。
スクレイピングを行いDアニメの作品をelasticsearchに登録、kotlin + Springbootの構成で組むことにしました。

SpringbootからElasticsearchに検索を行う

ここからやっと本題です。Springbootからelasticsearchに対して検索をかけます。手順は以下の通り。

依存関係に以下を追加

dependencies {
	implementation("org.springframework.data:spring-data-elasticsearch:4.1.7")
	・・・
}

リポジトリクラスを作成

package xyz.sheltiegarage.dAnimeApi.repository

import org.springframework.data.domain.PageRequest
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository
import xyz.sheltiegarage.dAnimeApi.data.DAnimeData

interface DAnimeRepository : ElasticsearchRepository<DAnimeData, Int> {
}

データクラスを追加

package xyz.sheltiegarage.dAnimeApi.data

import org.springframework.data.annotation.Id
import org.springframework.data.elasticsearch.annotations.Document
import org.springframework.data.elasticsearch.annotations.Field

@Document(indexName = "d_anime")
data class DAnimeData(
    @Id
    @Field(name="work_id")
    val workId: Int,
    @Field(name="work_title")
    val workTitle: String,
    @Field(name="link")
    val link: String,
    @Field(name="main_key_visual_path")
    val mainKeyVisualPath: String,
    @Field(name="main_key_visual_alt")
    val mainKeyVisualAlt: String,
    @Field(name="my_list_count")
    val myListCount: Int,
    @Field(name="favorite_count")
    val favoriteCount: Int
)

サーチメソッドを呼び出し

@RestController
class SearchController(val dAnimeRepository: DAnimeRepository) {

    @GetMapping("/search")
    fun getAll() :List<DAnimeData> {

        val data: List<DAnimeData> = dAnimeRepository.findAll(Sort.by(Sort.Order.desc("favorite_count"))).toList()

        return data
    }
}

application.propertiesに設定を追加

spring.elasticsearch.rest.uris=localhost:9200

参考にしたのは以下のサイトです
https://raphaeldelio.medium.com/how-to-connect-elasticsearch-to-kotlin-using-spring-boot-spring-data-and-ssl-f261a08727d8

リポジトリクラスを作成することで自動的に「selectAll（全検索）」といった基本的な検索が行なえます。リポジトリクラスは「メソッド名に基づき検索を行う」ことができるため、メソッド名の規約さえ守れば、メソッドの実装を行わずに検索を行うことができるので便利ですね。詳細は以下からご確認ください。
https://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/#elasticsearch.query-methods

複雑な検索はどうする？

上記のクエリメソッドを利用すれば検索は行なえますが、例えば「お気に入りが1000以上、声優にに「長縄」を含む、配信終了間近の作品」といったような複雑な検索を行う場合、クエリメソッドの仕組みでは対応できないため、別の検索手段を探す必要があります。その方法は・・・只今調査中です。（https://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/#elasticsearch.operations.queries あたりを使えばできそうな気がするが・・・）

以上

雑な解説ですが、以上です。なぜなら自分もまだちゃんと理解していないから、きちんとした説明が行えないのです。とにかくkotlin + Springboot + elasticsearchの情報が少なく、何をするにも詰まってしまいますが、自分仕様の検索システムができるまでコツコツ開発は続けようと思っています。

お気に入り順に並び替えてみると「呪術廻戦」って「鬼滅の刃」超えのお気に入り登録数なのですね。無職転生やスライムなども人気が高いですね

投稿 kotlin + Springbootでelasticsearchを使ってみる は Sheltie's Garage に最初に表示されました。

Docker版を使ってみる

公式ページにいろいろなタイプ（ブラウザエクステンション、Docker、バイナリなど）が提供されているので、お好きなものをどうぞ
https://elasticvue.com/

自分はDocker版を利用することにしました。

起動からアクセスまで

公式ページにDockerの起動コマンドが書いてあるので使用します
(自分の環境では8080ポートが使用されていたため、8880ポートで起動しています)

docker run -p 8880:8080 \
           -d cars10/elasticvue

コンテナ起動後は「http://localhost:8880」で管理画面にアクセスできます

CORSの設定が必要

elasticvueのページにアクセスすると「最初にCORSの設定が必要」という注意書きが出てきますので、設定します。
設定先はlaradockのelasticsearchになります。elasticsearchもDockerで起動しているので、コンテナに入って作業します。

% docker-compose exec elasticsearch bash
-- ここからコンテナ内での操作 --
[root@1f4250529341 config]# pwd
/usr/share/elasticsearch/config
[root@1f4250529341 config]# vi elasticsearch.yml
  以下2行を追加
  http.cors.enabled: true
  http.cors.allow-origin: "http://localhost:8880"

ファイル保存後、コンテナから抜けてdocker-composeからコンテナの再起動をかけました

% docker-compose restart

再度 elasticvueの管理画面にアクセスし、TEST CONNECTIONをクリックします。
接続に成功すれば右下に「SUCCESS」を表示されます。
次に「CONNECT」ボタンを押してelasticsearchに接続します

elasticvueでできること

elasticsearchに接続できると、ノードやクラスターのヘルスやインデックス一覧が確認できます。
REST APIへアクセスするためのエディタも準備されており、簡単なドキュメントの管理もできそう

ただ、GUIを使用してインデックスの追加や、マッピングの定義は行えないようで、それらの設定は自分でJSONを作ってREST API経由でリクエストを行う必要があるみたい・・・

以上

elasticvueの紹介でした。サクッとelasticseearchの状態を確認するには良さそうですが、本格的に管理/運用を行うなら、もう少し機能が充実したツールを探す必要がありそうですね。
自分の場合、あくまで個人開発なので、とりあえずelasticvueを使ってドキュメント作成や管理を進めていこうと思います

投稿 Elasticvueを使ってみる は Sheltie's Garage に最初に表示されました。

今まで全文検索エンジンはSolr派だったのですが、トレンドでいうとElasticSearchのほうが世界的には人気のようで・・・　ということで勉強も兼ねて、今回は全文検索エンジンにElasticSearchを使ってみようと思います。

ElasticSearchにIndexを作成する

Solrの場合、コマンドを実行することでコア(index)を作成しますが、ElasticSearcの場合、HTTP-APIにリクエストを投げて作るようなので、公式ページにある以下のコマンドを実行

% docker-compose up -d elasticsearch

上記のコマンドでElasticSearchを起動して

curl -X PUT "http://localhost:9200/d_anime"

上記のコマンドでコアを作成できます

とりあえず動作確認

http://localhost:9200/d_anime/

結果

{
  "d_anime": {
    "aliases": {},
    "mappings": {},
    "settings": {
      "index": {
        "creation_date": "1631425258572",
        "number_of_shards": "1",
        "number_of_replicas": "1",
        "uuid": "7jtaoMllRkGOpTKATtC2UA",
        "version": {
          "created": "7090199"
        },
        "provided_name": "d_anime"
      }
    }
  }
}

ひとまずインデックスは作成されました。
次は検索結果

http://localhost:9200/d_anime/_search

結果

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  }
}

まだ中身が空っぽなのでデータの返却はないですが、人まずは検索が動いているようです。

とりあえず以上です

ひとまずElasticSearchが動いたところまで確認できました。本当はlogstashを利用したデータ取り込みまでやってみたかったのですが、理解が追いつかず、次回に持ち越しです・・・

投稿 とりあえずElasticSearchを始めてみる は Sheltie's Garage に最初に表示されました。