Google Apps Script (GAS) でスクレイピング～気象庁のページにあるブロックのデータをスプレッドシートに書き込んでマスタを作る実験～

function getData_meteologicalms(){
//変数宣言(スプレッドシート側) masterが取得したいデータを記載したマスタ、dataが取得したいデータを取っていくデータシート。
var bookurl_work = "https://docs.google.com/spreadsheets/●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●”;
var book_work = SpreadsheetApp.openByUrl(bookurl_work);
var sheet_data = book_work.getSheetByName("data");
var sheet_master = book_work.getSheetByName("master");
var data_startRow = sheet_data.getLastRow()+1;

//変数宣言(HTML取得関係)
var opt = {"contentType":"text/html;","method":"get"};
var data_html = "";
var content_html ="";
var postText = "";
var searchRow = sheet_master.getRange(1,5).getValue();//地方名を選択する変数
var url_gethtml = sheet_master.getRange(searchRow,3).getValue();

//変数宣言(分割処理と書き込み関係)
var Middle_Arr=[];
var table_Arr = [];
var master_endRow = 0;
var data_endRow = table_Arr.length;
var master_endcolumn = 0;
var precblock = [];
var nextAreaRow = sheet_master.getRange(1,4).getValue();//次のスクリプト動作のため
if(nextAreaRow=="x"){
return;
}

//html取得
data_html = UrlFetchApp.fetch(url_gethtml ,opt);
content_html = data_html.getContentText();
postText = getStringSlice(content_html, '
<map name="point">','</map>

');

//html整形。onmouseover の中にある値がそのままデータベースに使えそうなので今回持ってきています。
postText = postText.replace(/onmouseover\=\"javascript:viewPoint\(/g , "" );
postText = postText.replace(/\'\'/g,"'-'");
postText = postText.replace(/\);\".*javascript:initPoint\(\);\"\>/g,"");
postText = postText.replace(/\
<area shape="" />    postText = postText.replace(/\
<area shape="" />/g,"");
postText = postText.replace(/\r?\n/g,"xxxyyy");//変換先はHTML内に存在しない文字列であれば何でも良いのですが、改行コードを変換。
postText = postText.replace(/xxxyyy(xxxyyy)*/g,"xxxyyy");//空白行を削除
//ブロックコードはHTML取得のためにURLに入れる際、0も含む必要があるため、ここで保護っぽいことを行います。yyyxxはマスターの中に存在しない文字列であればOK
postText = postText.replace(/\'s\'\,\'0/g,"'s',yyyxx");
postText = postText.replace(/\'a\'\,\'0/g,"'a',yyyxx");
postText = postText.replace(/\'/g,"");
postText = postText.replace(/yyyxx/g,"'0");
postText = postText.replace(/xxxyyy/g,"\n");

//Logger.log(postText);
Middle_Arr = postText.split( /\n/g );
table_Arr = [];
for( var i = 0 , l = Middle_Arr.length / 2 ; i < l ; i++ ){
table_Arr[i] = Middle_Arr[i*2+1].split(",");
for( var j = 0 , m = table_Arr[i].length ; j < m ; j++ ){//trimも同時に行っておく
table_Arr[i][j] = table_Arr[i][j].replace( /(^\s+)|(\s+$)/g , ""  );
}
}
table_Arr.pop();//最後にnull行ができるので削除
master_endcolumn = table_Arr[0].length;
master_endRow = table_Arr.length;
precblock = sheet_master.getRange(2,5,master_endRow,2).getValues();
sheet_data.getRange(data_startRow,1,master_endRow,2).setValues(precblock);
sheet_master.getRange(1,5).setValue(nextAreaRow);
sheet_data.getRange(data_startRow,3,master_endRow,master_endcolumn).setValues(table_Arr);
/**/
}

function getStringSlice(content, startStr, endStr){
var indexStart = content.indexOf(startStr);
if(indexStart == -1){
return "";
} else {
indexStart += startStr.length
return content.slice(indexStart, content.indexOf(endStr, indexStart));
}
}