はじめに 前回までの記事で、urllib編、BeautifulSoup編、requests編と行ってきましたが、今回はブラウザを使った操作が可能なライブラリSeleniumについてメモしていきます。このSeleniumを使えば、スクレイピングも然り、GUI部分のテストなんかも自動化が可能になるのでぜひ使えるようになっておきたいライブラリとなります。 実務で使うことを考えるとLinux環境で作ったほ […]
はじめに 前回までで、urllib、BeautifulSoupを使った処理を試しました。しかし、ログインを伴うスクレイピングなどはやっていません。そこで今回はクッキーを利用したアクセスが可能になるrequestsパッケージを使った例をメモしていきます。 例題として、このサイト(wordpress)にログインし、下書き状態の記事一覧を取得するというプログラムを作っていきます。本来下書きの記事一覧はロ […]
はじめに 前回の記事ではurllibを使ったスクレイピング、というよりはWeb上のデータを取得という部分をやりました。今回はよりスクレイピングっぽい作業をしていきます。 前回との違いは、APIのように予め用意されたものを取得するのではなく、Webページ上の好きな部分を取得するという方法になります。 BeautifulSoup(なんかおいしそう)というライブラリを使っていきます。 Beautiful […]
初めに 先日からpython入門を進めている私ですが、pythonと言ったらスクレイピングや機械学習、AIといったイメージが多いかもしれません。そこで今回は、djangoを使ったWeb開発をお休みし、超初心者向けにpythonでのスクレイピング方法をメモしていきます。 pythonでスクレイピングを行うためにはいくつか方法があるようです。 主なものは以下。 標準ライブラリ「urllib」を使う。ラ […]
はじめに 前回の記事から引き続きpythonのチュートリアルを進めています。今回は昔からあるbootstrapの最新バージョン5.xをdjangoで使いたいときの手順をメモします。 準備 bootstrapのcssとjsを入手https://getbootstrap.com/docs/5.0/getting-started/download/ jQueryも入手https://jquery.com […]
環境構築(Windows) 鬼簡単です。以下サイトからインストーラーをダウンロードhttps://www.python.org/ 多分その時のstable版がここに載ると思うのでバージョン番号はこの記事と違う可能性があります。 インストーラーを実行すると“Add Python 3.9 to PATH”というチェックボックスがあるので(デフォルト未チェック)、こちらにチェック […]