スクレイピング

スクレイピングはPythonがよくつかわれるようです。 調べてみたところ、サイト上でさまざま情報が入手できるようです。
https://takahiromiura.github.io/web_scraping.html
上記のリンクを参照させていただきました。javascriptの扱いや認証、ダウンロードも含めて、必要な内容がコンパクトにまとめてあるようです。