GASでスクレイピングする

monodon — Sun, 02 Mar 2025 13:12:29 +0000

かなり久しぶりのTechブログ
書きたいことは色々あるんですが、なかなか書く時間が取れず久しぶりの更新となりました

業務でGASを使う機会が増えました

業務改善で「サーバー上にあるファイルを自動取得したい」という相談が来ました
調べてみるとGASでスクレイピングしてURLを抽出できそうだったので、GASでスクレイピングしてみることにしました

ライブラリ導入から実際のスクレイピングまで

まずはパーサー(構文解析)の追加を行います
ライブラリの「+」ボタンをクリックし、以下のIDを入力して検索をクリックします

1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw

追加をクリックすると、以下のようにPaserが追加されます

以上で事前準備は完了です

スクレイピングしてみる

このライブラリは非常にシンプルで「fromメソッド、toメソッドで指定された範囲の文字列を取得する」という動作をします
サンプルプログラムは以下になります

function myFunction() {
  // URLを指定してスクレイピングする場合
  // var url = "https://example.com";
  // var content = UrlFetchApp.fetch(url).getContentText("UTF-8");

var content = '' +
  '' +
  '' +
  '  ' +
  '  サンプルページ' +
  '' +
  '' +
  '  見出し1' +
  '  これはサンプルのHTMLページです。' +
  '  ' +
  '    ここはコンテンツエリアです。' +
  '    もう一つの段落です。' +
  '  ' +
  '  ' +
  '    © 2025 サンプルサイト' +
  '  ' +
  '' +
  '';

  
  // ------------------------
  // build() を利用して、 タグの中身を1回だけ抽出
  var titleText = Parser.data(content)
                        .from("<title>")
                        .to("")
                        .build();
  Logger.log("タイトル: " + titleText);
  
  // ------------------------
  // iterate() を利用して、すべての  タグの中身を抽出
  var paragraphs = Parser.data(content)
                         .from("
")
                         .to("")
                         .iterate();
  
  Logger.log("抽出された段落の数: " + paragraphs.length);
  paragraphs.forEach(function(text, index) {
    Logger.log("段落 " + (index + 1) + ": " + text);
  });
}