AWS(Amazon Web Service)で定時バッチを起動する方法　の調査

私は日頃はフツーの業務アプリのＰＧです。

まだバッチの作成業務にあたったことはありません。

ですが、バッチって便利だと思うんですよね。

例えば、WEBを自動でクロールしてAタグを拾って、

href属性の中身=URLをどんどんため込んでいく。

これがプログラム１。

プログラム２は、プログラム１がため込んだURLを取得して、

内容を解析して役立つデータに加工する。

プログラム２をバッチで毎日１回なり２回なり、

起動できるようになればいいですよね。

AWSに設置するにはどうすればよいのでしょうか？

「aws バッチ」で検索してみた。

■ アマゾン公式サイト

・バッチ処理PDF

よーく読まないと意味が分かりません。

■一般の方のサイト

レベルが高い。

今はパターンよりも、どのサービスを使って、

どうやって動かすかを知りたい。

30Pに「SQSを使う」とある。

36Pに「シンプルな並列処理はSQSのみで実装するのが楽」とある。

やはりSQSが出てきた。

Simple Queue Service (=SQS)のことらしい。

バッチオペレーション、遅延キュー、タイマー、 AWS Management Console のサポート, CloudWatchメトリクス が使えるらしい。

バッチオペレーションやタイマーは関係ありそう。

明日はSQSについて調べてみよう。

Webエンジニアの開発記