デジタルロジック: JAVAでスクレイピングを実現するための覚書 １ 接続→取得→解析 というシンプルな流れで、実際に使えるソースが掲載されていました。 多分、すべての基本となる原理なので、 まずはココを見て簡単なスクレイピングをやってみよう。 bj リー…

ただSlideshareで検索しただけです。 Webクローリング＆スクレイピングの最前線 公開用 from Lumin Hacker 画像を大量取得しています。 実践スクレイピング from mogya エンジョイ☆スクレイピング from Kazufumi Ohkawa ブラウザ操作についても言及していま…

ネット上からキーワードを自由に拾えるようになる ということをアプリで実現するために何が必要か。 要はグーグルがやってるようなことをやらないといけないですね。 自動でリンクをたどってＨＰを収拾してくれたり、 キーワードだけを抽出するようなこと。 …

アフィリエイトではキーワード発掘が重要。 キーワードってどこからでも拾えますよね。 楽天ランキングからも拾えるし、 検索急上昇キーワードを発表しているサイトはもちろん、 テレビ局のＨＰからも拾えるし、 ネット上にはごろごろ落ちています。 まずは…

Tera Termを起動した最初の画面で、 サービスっていう項目にSSHとTelnetってありますよね。 あれってどう違うんですかね？ 開発の現場で、何回かSSHとTelnetっていう言葉聞きました。 果たしてどっちをどうだったのだろうか？ TCP/IP - Telnet/SSHとは ばっ…

私は業務アプリ開発のエンジニアです。 もうすぐ2年半が経ちますが、Linux環境での開発経験なし。 全部Windows。 でも転職の面接では、Linux経験ある？って聞かれます。 そんなとき、「ありません。これから勉強しようと思っています。」 ではNGなんですよね…

今はヤフーとGoogleって基本的に同じ検索結果です。 一昔前はヤフーは独自のヤフカテというリストをもっていて、 そこに載っているWebサイトが優先表示されたりしていた。 ヤフー独自の検索エンジンをYSTって呼んだりしていた。 しかしそれがGoogleの検索エ…

公開APIが激増しているみたいです。 ＞＞変わるAPIのエコシステム ヤフーはなぜ、検索APIを有料にしたか (1/3) - ITmedia ニュース 昨日の HTMLを100個作るプログラム～基礎研究続編～ - 世界旅行家兼Webエンジニアの開発記 を思い出しながら、 「自作PCおも…

もっと個数増やしたらどうなるかやってみました。 Javaの力を感覚として自分にインプットするためです。 ↓↓1000個のHTMLを作ったところ、7秒かかりました。 結構かかりますね。全部で54.1KBでした。 では、10000個なら？ 7秒×10=70秒でしょうか？ ↓↓10000個…

ネットビジネスを少しかじったことがあったり、 APIを活用してビジネスを考えている人なら、 一度はHTMLを自動生成すること考えたことがあるかもしれません。 プログラムを使えば、HTMLは無限に作りだすことができますね。 SEO上、自動生成されたHTMLはスパ…

AWSの解説サイト見ていてよく出てくる。 １．VPC…Amazon Virtual Private Cloud（Amazon VPC） これはセキュリティも関連しているようで、 意味を理解していないといろんな所で分からなくなる。 予備知識として、ネットワーク関連、インフラ関連も基礎は必要…

Amazon RDSにPostgreSQLのインスタンスを追加しました。 よし、まずはEclipseのDBViewerでテスト接続！ と思ってやってみたのですが、ダメでした。↓↓ ネットで調べてみると、どうやらセキュリティの問題らしい。 とある作業が必要みたいです↓↓ Amazon RDSを…

AWSって、いろんなサービスがありますよね。 EC2 に S3に、Beanstalkに。 どれがどれなのか、何ができるのかよく分からなかった。 でも今日、AWS Management Controleを見ていて気付いた。 Compute & Networking Storage & Content Delivery Database Deploy…

ちょっとJavaサーブレットを基礎から勉強していて、 DB接続の部分をやろうと思っています。 せっかくなので、AWSにDB構築する方法もまとめて勉強します。 まずはオンラインで情報収集しましたよ。 「AWS DB」で検索です。 ■公式 ・Amazon RDS（リレーショナ…

私は日頃はフツーの業務アプリのＰＧです。 まだバッチの作成業務にあたったことはありません。 ですが、バッチって便利だと思うんですよね。 例えば、WEBを自動でクロールしてAタグを拾って、 href属性の中身=URLをどんどんため込んでいく。 これがプログラ…

参考サイト SAStruts/propertiesファイルから設定を読み出す [俺の基地] リクルートAPIのキーやアプリの文字コードなど、 プロパティ化しておいて、適宜それを取り出す場合。 １．プロパティファイルを作る。 /hoge/src/main/resources/config.properties フ…

API使ってプログラミングして、 WEBサービス立ち上げる計画をたてた。 手始めに、リクルート 中古車検索APIを使って、 自分のＨＰに張り付ける中古車情報取得一覧を書いてみる。 使い方としては、本プログラムをAWSに設置しておく。 別の独自ドメインのＨＰ…

参考サイト HttpURLConnectionを使用してHTTP通信を行う | Tech Booster 商品検索API サンプルソース (Java) | 楽天ウェブサービスセンターブログ - 楽天ブログ Java 入門 | BufferedReader Class 作ってみました。 URLを受け取って、レスポンス内容を返却す…

不満をしっかり感じれば、前にすすむエネルギーになる。だから、不満を不満としてぶちまけるのではなく、 目をつぶってイライラの中に飛び込んでみる。そこからエネルギーを得て、 自分を改善するための原動力にするのだ。その意味で不満は悪くないし。 むし…

前回の記事で、望んでいるものがあれば、その対極をまず受け取ろうと話しました。ちょっと気になったのですが、対極って人それぞれなのかな？って思います｡今私は給料もっと欲しいのですが、その時の対極は、残業とか土日出社を思い浮かべます。ですが人によ…

望んでいるものを手にいれるには、 望みの対極を考えて、 その対極を先に受け取る。 と、心屋仁之助さんは教えている。 では、対極ってなに？ 望むと同時に、自分が拒否しているもの。 それが対極になります。 給料もっと欲しい。 でも残業や土日出社は嫌。 …

心屋仁之助さんの本を読んで、考えました。金持ち父さんのキャッシュフロークワドラントの、右側から左側にいくには？はっきり言って簡単ですね。 右側にあって、左側にないもの。 それは失敗。失敗を受けとれば、成功も受け取れるので左側に行けます。大き…

心屋仁之助さんの本から、いろいろ考えています。サラリーマンは安定しています。 毎月必ず給料をもらえます。 一方で残業や土日出社だとか、理不尽に耐えるとか、不自由な事が多いですね。私は給料をあげようと思ったら、そういう不自由を受け取らないとい…

望んでいるものが手に入らない本当の理由 という本を買いました。ナイナイが出ているテレビで、川島直美さんのカウンセリングをやっている所を見て、心屋さんを知りました。テレビの最後にこの本の宣伝をやっていたので、すぐにアマゾンで購入。私ははづきこ…

よく似た問題を解決する構造のこと。 それだけ覚えておけばOK。

デザインパターンっていう発想自体が素晴らしいですね。 それってどこかフレームワークと似ている気がします。 要は枠組みですよね。 既に完成された枠組みを使って問題を解決する。 言い換えるなら経験知。 賢人の知恵を貸借することで、 難しい問題を分析…

デザインパターンの本、読み始めたばかりですが、 ワクワクしています。デザインパターンをもつことによって、 自分の設計に軸ができるはずです。それによって、客観的にいつも同じ視点から問題を分析することがでかるので、 設計のばらつきが減ります。デザ…

一応、javaの現場に来て1年半経ちますが、 未だにオブジェクト思考のなんたるやを得ず。一応、javaとstrutsを使って、動く業務アプリを作れてはいる。 しかし、おお！オブジェクト思考すげえ！ とか、これはオブジェクト思考じゃないとダメだね。 って思った…

私は業務アプリを作っている、 こてこての派遣エンジニアなんです。 ですが自分ではここ1年間、Struts系の現場を踏んできたことで、 普通のアプリならなんとかできるな～ というレベルまで来ている気になっていました。 ですが、それは低い視点だったようで…

ウェブスクレイピングという言葉があるみたいです。 自動巡回して情報を収集するような事を指すみたいです。 面白いですね。 最近、どうやってもっとお金を稼げるか考えています。 私たちって、技術者なわけじゃないですか？ だったらやっぱり、技術を磨かな…