スクレイピングとは、Webページに表示されている情報から、必要な項目を決まった形で取り出し、表やCSVへまとめる方法です。商品名、価格、更新日、一覧のURLなどを、人が何度もコピーする代わりに、プログラムが同じ手順で読めるようにします。
AIを使えば、プログラムを一行ずつ自分で書かなくても、目的を日本語で伝えて小さな道具のたたき台を作れるようになりました。ただし、コードが作れたことと、その対象サイトで実行してよいことは別です。便利さを急ぐほど、対象・利用規約・公式の取得手段・アクセス量を先に確認する必要があります。
この記事では、スクレイピングでできること、AIを使うとどこが変わるか、そして実サイトへ触れる前に止まって確認したい順番を整理します。特定サービスの制限を回避する方法や、ログインが必要な画面の取得は扱いません。最初は外部サイトに接続しない練習用データで、情報を表にする流れだけを理解するのが安全です。
スクレイピングは「画面を見る作業」を表に戻す方法
たとえば、公開が許可されたカタログや自分で管理するページに、商品名、カテゴリ、価格が20件並んでいるとします。人が確認するなら、ページを開き、必要な場所を探し、表へコピーし、前回の表と見比べます。件数が少なければ問題ありませんが、毎週同じ確認をするなら、探すこと自体に時間がかかります。
スクレイピングでは、ページの中で「商品名」「価格」が置かれている目印をプログラムへ教えます。プログラムはその目印を使い、同じ形の情報をまとめてCSVへ書き出します。CSVはExcel、Numbers、Googleスプレッドシートなどで開ける表形式です。価値は情報を大量に取ることではなく、前回との差分や条件に合う項目を、人が判断できる形に戻せることにあります。
ただし、プログラムはページの意味を人のように理解しません。見た目やHTMLの構造が変われば、同じ場所を見つけられなくなることがあります。完成したCSVを開き、件数、列、値が元のページと合っているかを確認する工程は残ります。自動化は確認をなくすためではなく、繰り返す転記を減らすためのものです。
AIで変わるのは「コードを書く入口」、判断の責任ではない
従来は、対象ページの構造を調べ、Pythonなどで取得処理を書き、エラーを読み、保存形式を整える必要がありました。AIコーディング支援を使うと、「このローカルHTMLから商品名・カテゴリ・価格をCSVへ保存したい」と伝え、コードのたたき台や実行手順を作ってもらえます。最初の壁が低くなったのは確かです。
一方で、AIへ任せてよいのは、目的に沿ったコード案、ファイル名の提案、結果の整形などです。人が決めるのは、どのページを対象にするか、そのサイトが自動取得を認めているか、必要な頻度はどれくらいか、出力に個人情報や誤った値が混ざっていないかです。AIが「取得できます」と答えても、それは許可の確認にはなりません。
副業や日々の情報整理では、いきなり大きな仕組みを作らない方が続きます。まずは自分のメモ、架空の商品一覧、許可されたCSVの整理など、外部サイトに接続しない題材で試します。入力と完成形が固まってから、公式APIや正規のエクスポート機能を検討する順番なら、作った仕組みをやり直す可能性も減らせます。
実サイトへ触れる前に確認する4つの順番
初めに見るのは、対象サービスが用意している公式API、CSV出力、ダウンロード機能です。必要なデータを正規の機能で取れるなら、それを優先します。仕様が明示され、アカウントやサーバーへの負荷も管理しやすいからです。ログイン画面の裏側を読ませる方法や、見つけにくい経路を探す方向へ進む必要はありません。
次に、利用規約や開発者向けの案内を読みます。誰が、何の目的で、どのデータを、どの頻度で取得してよいかはサービスごとに異なります。規約に判断できる記述がない、業務利用や再配布が関わる、取得後の扱いが決められない場合は、その場で実行しない方が安全です。問い合わせ先があるなら、目的と頻度を具体的にして確認します。
robots.txt も確認材料の一つです。Robots Exclusion Protocolは、自動クライアントに対するアクセスルールを示す仕組みですが、IETFの仕様でもアクセス認可そのものではないと説明されています。許可の根拠をrobots.txtだけで済ませず、利用規約・公式APIの有無・対象データの扱いを合わせて判断します。
最後に、許可されている場合でもアクセス量を最小限にします。必要な列だけ、必要な頻度だけを取り、エラー時に短時間で何度も再試行しない設計にします。ページを何度も開くより、公式APIや提供された一括データを一度利用する方が適切なこともあります。技術的に動くかより、相手のサービスと利用者を困らせないかを基準にします。
robots.txtを「許可証」と誤解しない
robots.txtは通常、サイトのトップ階層に置かれ、自動クライアントへどのパスに関するルールを示すかを記述します。IETFのRFC 9309では、クローラーが従うことを求められるルールとして定義されています。一方で同じ文書は、これらのルールがアクセスの認可ではないとも明記しています。
そのため、「Disallowがないから自由に大量取得してよい」「Allowがあるから利用規約を読まなくてよい」とは考えません。逆に、robots.txtだけを見て技術的な可否を断定する必要もありません。目的、データの種類、アカウントの有無、APIの利用条件、再利用・保存の条件を分けて確認し、曖昧なら止めることが大切です。
初心者はローカルの練習ページから始める
最初の練習は、外部サイトを対象にしなくて構いません。自分のパソコン内に、架空の商品を4件だけ置いたHTMLファイルを作り、商品名、カテゴリ、価格をCSVにする。それだけで、ページの目印を決める、AIへ依頼する、プログラムを実行する、CSVを確認するという一連の流れを体験できます。
この練習で大切なのは、コードの意味をすべて暗記することではありません。出力ファイルがどこにできたか、4件すべてが入ったか、元のHTMLと価格が一致するかを確認することです。AIへ任せた処理でも、入力と出力を照合する習慣があれば、後から小さな自動化を増やすときにも安全性を保ちやすくなります。
外部サイトへ広げる段階では、先に公式の手段を探し、利用条件を確認し、少量の試行から始めます。表示されているデータに個人情報、著作物、アカウント情報が含まれるなら、保存先や共有範囲も決めずに収集しません。自分の作業を楽にするための仕組みが、別の問題を増やさないようにするためです。
副業の時間を増やすなら、取得後の判断まで設計する
情報収集を自動化しても、毎朝たくさんの行を眺めるだけなら、時間は戻りません。「前回から価格が変わったものだけ」「条件に合う新着だけ」のように、表にした後で何を判断するかを先に決めます。最初は3項目をCSVにして、週に一度だけ差分を見る程度で十分です。
副業では、新しいツールや確認作業を足すほど、中心の制作が後回しになりやすくなります。会社員が副業時間を作るための考え方でも触れたように、作業を増やす前に、何を残し何を減らすかを決める方が現実的です。スクレイピングは、目的のない情報収集を増やすためではなく、必要な判断へ使う時間を戻すために使います。
ストックフォトやブログのように、制作と確認が並行する副業では、いきなり全工程を自動化しないことも重要です。データの保存形式と確認手順が安定してから仕組みにする方が、あとで修正しやすくなります。制作前の整理については、ストックフォト副業を自動化する前に整理すべきことも参考になります。
まとめ｜「取れるか」より先に「何のために、許されているか」を決める
スクレイピングは、Webページの情報を表やCSVへ戻し、差分や条件を判断しやすくする方法です。AIを使えばコード作成の入口は低くなりますが、対象の選定、利用規約・公式APIの確認、アクセス量の調整、出力の照合まで自動的に正しくなるわけではありません。
最初はローカルの練習用データで、情報を取り出してCSVを確認するところから始めます。実サイトを対象にするなら、公式APIやCSV出力を先に探し、利用規約とデータの扱いを確認し、robots.txtは補助的な判断材料として扱います。迷う対象は実行しない。この順番を守る方が、長く使える小さな自動化につながります。
noteでは、スクレイピングの基本と、実行前に確認したいルールをより詳しく整理しています。まずは「何を自動化したいのか」を一文で決め、外部接続のない小さな練習から始めてみてください。
