cron 自動実行

エントリポイント： cron/run_cron.php。Web 画面ではなく、サーバの cron や CLI から呼び出します。1 時間に 1 回叩く前提で組まれています。

新仕様の考え方

クヌギスキーマの cron は 「日に何度叩いても、その日にまだ取っていない URL だけを上限件数まで処理する」 設計になっています。これにより、URL 数の多いプロダクトでも 1 回あたりの cron を有限時間で終わらせ、残りは次の毎時起動に持ち越すことができます。

1 起動の流れ

cron/run_cron.php が起動されると、次の処理が走ります。

1. CLI 経由なら無条件で先に進む。Web 経由の場合は data/cron_secret.txt が存在し、かつ ?secret=<値> が一致しないと 403 forbidden で停止。
2. set_time_limit(0) と ignore_user_abort(true) でタイムアウト抑制。
3. 本日の日付（YYYY-MM-DD）と日（j= 1〜31）を取得。
4. Repository::getCronMaxUrlsPerRun() で「この cron 実行で処理する URL 数の上限」を取得（Cron スケジュール 画面で設定。既定 500、0 で無制限）。 $remaining 変数として保持。
5. Repository::allSchedulesDueToday() で「enabled=1 ＋ 今日の日が days_json に含まれる」プロダクトを product_id ASC 順に抽出（last_triggered_date による日次ロックは撤廃済み）。
6. 該当プロダクトを product_id の小さい順に処理：
   1. $remaining が 0 以下になったら「URL 予算を使い切ったので残りプロダクトはスキップ」して終了。
   2. Repository::listUrlsNotCrawledOnDate($pid, $today) で「当日まだクロール結果が無い URL」だけを取得（id ASC 順）。
   3. 0 件なら「pending なし」としてスキップ（ただし last_triggered_date は更新）。
   4. 1 件以上なら、残り予算分だけ array_slice() で切り出して Crawler->run($pid, $batch, $delay, 'cron')。
   5. 消化した件数を $remaining から引く。
   6. cron_log へ 1 行 INSERT、cron_schedule.last_triggered_date を本日に更新。
7. 最後に「cron finished: processed=N url(s)」を出力して終了。

CLI からの呼び出し（推奨）

# 毎時 0 分に実行（1 時間に 1 回）
0 * * * * /usr/bin/php /<配置先絶対パス>/cron/run_cron.php >> /<配置先絶対パス>/data/cron.log 2>&1

• 共用レンタルサーバでは、サーバ管理画面の「Cron 設定」から登録するのが手っ取り早いです（Xserver の手順）。
• VPS / 専用サーバでは crontab -e で直接編集。
• PHP の実行パスは which php または which php8.3 等で確認してください。
• 毎時はあくまで一例です。サイトの URL 数 × 1 回あたり上限 × 1 日に流せる時間枠から逆算して、間隔を 30 分（0,30 * * * *）にする・夜間だけ走らせる（0 1-5 * * *）など、自由に調整してください。

Web 経由での呼び出し（トークン保護必須）

cron デーモンが使えない環境では、外部の死活監視サービスやUptimeRobot のような HTTP 監視ツールから定期的に叩く構成も可能です。ただし必ずトークン保護を有効にしてください。

1. サーバ上で十分長いランダム文字列を生成： openssl rand -hex 32
2. その文字列を data/cron_secret.txt に 1 行で保存（末尾改行はあってもなくても OK）。
3. 外部監視から https://<サーバ>/cron/run_cron.php?secret=<その文字列> を 1 時間に 1 回叩く。
4. data/cron_secret.txt が存在しない、あるいは ?secret= が一致しない場合は 403 を返します。Basic 認証の認可情報を URL に含められない外部監視サービスでも、この方式なら使えます。

cron_log での実行履歴の見方

cron が動いた痕跡は次の 3 か所に残ります。

• data/cron.log： >> data/cron.log 2>&1 リダイレクト先。cron start: today=YYYY-MM-DD, max_urls_per_run=500、product N (...): pending=X, batch=Y (delay=Zs, remaining_budget=...)、cron finished: processed=N url(s) のような行が時系列で並びます。
• cron_log テーブル： 各プロダクトの実行サマリー（成功・失敗件数）。SQLite を直接見れば確認可能。
• crawl_runs ＋ crawl_results： クロール 1 回分の詳細データ。結果一覧 画面で確認できます（最新クロール）。

うまく動かないときのチェックポイント