このチュートリアルの概要

このチュートリアルでは、Herokuを利用して、ファイルを自動実行する方法を学びます。

このチュートリアルを学習する前に

以下のチュートリアルを完了しておいてください。

PythonでSeleniumの環境構築をしてみよう | DAINOTE オリジナルアプリを作ろう
Webスクレイピングライブラリ「Selenium」の環境構築を行います

 

PythonでSeleniumの環境構築をしてみよう
Webスクレイピングライブラリ「Selenium」の環境構築を行います

前回までのおさらい

まず、Seleniumの環境構築編で、AWS Cloud9上でSeleniumを起動できるようになりました。

PythonでSeleniumの環境構築をしてみよう
Webスクレイピングライブラリ「Selenium」の環境構築を行います

また、こちらで、ログインが必要なサイトの自動ログインについて学びました。

スクレイピング案件③ファイルをアップロードしよう | DAINOTE オリジナルアプリを作ろう
スクレイピングしたデータを、ファイルに自動アップロードできるように、Slack APIを利用してファイルをアップロードする方法について学びます。

最後に、ファイルアップロードを、毎日夜に自動で実行できるようにしていきましょう。

 

Herokuに登録する

Herokuに登録します。Herokuは、クラウド上で簡単に環境構築を行い、ファイルを実行できるプラットフォームです。今までは、AWS Cloud9に自分のパソコンからアクセスして、コードを実行していました。

しかし、Herokuを使うと、ファイルをアップロードして、そのファイルをHeroku上で自動実行を行うことができます。

Heroku はインフラストラクチャ管理が不要なクラウドベースの PaaS(サービスとしてのプラットフォーム)で、開発チームがアプリの開発、配信、監視、スケールに集中できます。

まずは、以下の記事にしたがって、Herokuに登録してみましょう。

Heroku初心者がHello, Herokuをしてみる
https://qiita.com/arashida/items/b2f2e01259238235e187

 

AWS Cloud9でHerokuを使えるようにする

Herokuに登録したら、AWS Cloud9上で、※CLIベースでHerokuを扱えるようにします。
以下のコマンドを利用して、Herokuを使えるようにしてください。

curl -OL https://cli-assets.heroku.com/heroku-linux-x64.tar.gz
tar zxf heroku-linux-x64.tar.gz && rm -f heroku-linux-x64.tar.gz
sudo mv heroku /usr/local
echo 'PATH=/usr/local/heroku/bin:$PATH' >> $HOME/.bash_profile
source $HOME/.bash_profile > /dev/null

参考)
※CLI(Console Interface Interface): AWSのターミナルのように、コマンド操作ができるインターフェイスのこと。ぽちぽちとサイトをいじって操作するものを、GUI(Graphic User Interface)といいます
※CURL(Command URL, カール):HTTPリクエストを送ることができる。Curlコマンドについてはこちらの記事を参考に。
※「tar」は、複数のファイルを1つにまとめた“アーカイブファイル”を作成/展開するコマンド。
※rmは削除コマンド