☰

キューwgetスクリプト

tag-icon • tag-icon ssh wget
キューwgetスクリプト

wgetスクリプトを書くことができるPHPウェブサイトクローラがあります。

crontabこのコマンドはフォルダを開き、PHP経由ですべてのファイルを構築するために使用されます。

cd /home/sen/public_html/akwam/orders/
for i in *
do
      sh /home/sen/public_html/akwam/orders/"$i"
    rm -rf /home/sen/public_html/akwam/orders/"$i"
done

phpはフォルダに.txtで終わるファイルを作成し、sshを使用して実行します。

  $ddd = " wget -b -nc --no-check-certificate   $newcommand  \"$url\"  -q -o  /dev/null      ";


  file_put_contents( './orders/' . $t . '.txt', $ddd );

同時にURLがあふれないようにwgetスクリプトをキューに追加する方法はありますか（高い読み込み）

答え1

キューのように動作させる方法を見つけました。

まず-bwgetコマンドから削除

2番目の改善点shスクリプトは1つずつ実行されません。

すべてを1行ずつファイルに収集します。

do
      cat /home/sen/public_html/akwam/orders/"$i" >>  /plex/final.txt
         echo >> /plex/final.txt
      rm -rf /home/sen/public_html/akwam/orders/"$i"
done

関連情報