SeleniumでFirefoxブラウザのプロファイルを読み込む【Recaptcha突破、Cookie+アドオン読み込み】 作成日時: 2021年3月29日 08時37分 最終更新日時: 2021年3月29日 08時37分 Categories: web全般 Tags: python selenium スクレイピング Pythonライブラリ めったに使うことのないSeleniumではあるが、いざ使おうとするとかなり手間取る。 特にログイン。Django等の管理サイトでログインする際にはパスとIDを控えておけば良いが、GoogleのRecaptchaとかボット対策をしていると当然突破できない。そこで予めブラウザでログインをしておいて、そのプロファイルを読み込めば良い。 プロファイルを読み込みするコード 下記コードをコピペすれば良いだけである。 ... 続きを読む
DjangoにPythonスクレイピングを実装した簡易検索エンジンの作り方【BeautifulSoup】 作成日時: 2020年10月24日 12時25分 最終更新日時: 2020年10月24日 12時25分 Categories: サーバーサイド Tags: django スクレイピング BeautifulSoup 初心者向け DjangoにPythonスクレイピングを実装させるだけで簡易的な検索エンジンを作ることができる。 しかも、モデルの定義は不要でビューとテンプレートだけなので初心者の演習におすすめ。 流れ Djangoの環境構築、プロジェクトの作成等は割愛します。 アプリを作る urls.pyを修正 views.pyを作る テンプレートを作る スクレイピングのコードを作る views.pyを修正 テンプレートを修正 開発サーバーを起動 ... 続きを読む