wget

wget -I='/my/subpath,/my/subpath/*' (/my/subpath/) は除外/含まれません。ロードしないことにしました
wget

wget -I='/my/subpath,/my/subpath/*' (/my/subpath/) は除外/含まれません。ロードしないことにしました

文書に対応する一部のページを索引付けしようとしています。 私の考えでは、これのために wget --no-parent -r -l 5 https://developer.mozilla.org/en-US/docs/Web/JavaScript/ ただし、リクエストは古いURLの親URLにリダイレクトされるため、https://developer.mozilla.org/en-US/docs/Web/JavaScriptダウンロードされません。 したがって、この問題を解決するには -I を使用する必要があります。私が知る限り wget \ `## Bas...

Admin

単一の接続でwgetと並列にファイルをダウンロードする
wget

単一の接続でwgetと並列にファイルをダウンロードする

この質問は後続の質問です。wgetを使用して複数のファイルを同時にダウンロードする方法は? この質問と同様に、多くのファイルをダウンロードする必要があります。上記の回答によるとお勧めですcat url-list | parallel -j8 wget {}。ただし、これには各URLのTCP接続とhttps / TLSネゴシエーションが必要です。これはクライアントとサーバー側の両方で無駄です。 すべてのURLが同じサーバーにある場合は、GET /object.txt単一のTCP / HTTP接続を介して複数のクエリを実行できます。 Q:wgetでこれを行う方法...

Admin

WgetとChromeのダウンロード
wget

WgetとChromeのダウンロード

Chrome経由でHTTPリンクファイルをダウンロードできますが、フォーマットは http://someplace.some/get.php?username=myusername&password=mypass&type=m3u_plus&output=ts wgetを使用して同じ操作を実行しようとすると、404エラーが発生します。 wget --user=myusername --password=mypass "http://someplace.some/get.php?type=m3u_plus&output=ts" ...

Admin

ダウンロードしたファイルがファイル名の最初の文字を含むサブフォルダに分割されるように、非常に大きなURLリストをダウンロードするにはどうすればよいですか?
wget

ダウンロードしたファイルがファイル名の最初の文字を含むサブフォルダに分割されるように、非常に大きなURLリストをダウンロードするにはどうすればよいですか?

たくさんのファイル(>数千万個)をダウンロードしたいです。各ファイルのURLがあります。私のファイルにURLのリストがありますURLs.txt。 http://mydomain.com/0wd.pdf http://mydomain.com/asz.pdf http://mydomain.com/axz.pdf http://mydomain.com/b00.pdf http://mydomain.com/bb0.pdf etc. を介してダウンロードできますが、wget -i URLs.txt1時間以上かかります。最高フォルダに入れることができるフ...

Admin

wgetはうまくいきますが、特定のREST URLに対してカールが失敗するのはなぜですか?
wget

wgetはうまくいきますが、特定のREST URLに対してカールが失敗するのはなぜですか?

答えとして一つの質問他のウェブサイトからこのURLからデータを取得しようとすると、curl次のような奇妙な違いが表示されます。wgethttps://www.uniprot.org/uniprot/A2Z669.fasta 何らかの理由でファイルを正しくインポートするcurlと、自動的にダウンロードが失敗します。wgetA2Z669.fasta $ ls -la total 300 drwxr-xr-x 2 terdon terdon 266240 Dec 11 12:22 . drwxr-xr-x 202 terdon terdon 32768 De...

Admin

wget で検索されたファイル名の前に --content-disposition オプションを使用します。
wget

wget で検索されたファイル名の前に --content-disposition オプションを使用します。

URLパターンを介していくつかのファイルをダウンロードする必要があります。https://www.server.org/data/2021/{i}ここでは1から1000までさまざまです。 ファイルはPDFファイルで、すべて一意の名前を持ちます。例: https://www.server.org/data/2021/1 ====> document_about_feature.pdf https://www.server.org/data/2021/2 ====> "activity report.pdf" https://www.s...

Admin

wgetと同時にダウンロードできますか?
wget

wgetと同時にダウンロードできますか?

wget私はこれを使用してリストから複数のファイルをダウンロードしています。 wget -nc --input-file=list この方法の問題は、ファイルを順次ダウンロードして時間がかかることです。 ファイルを複数の小さなファイルに分割し、複数のコマンドを手動で実行できることを知っています。自動でできるかと聞きました。 ...

Admin

wget - クラスタ内の複数のノードから複数のファイルをダウンロードします。
wget

wget - クラスタ内の複数のノードから複数のファイルをダウンロードします。

こんにちは。正確には、279個のファイルを一度にダウンロードしようとしています。それぞれはBAMサイズです(〜90GB)。私が作業しているクラスタには複数のノードがあり、幸いにも一度に複数のインスタンスを割り当てることができます。 このような状況では、wgetバッチファイル(バラより以下の例)独立した実行のために各ダウンロードを別々のノードに割り当てます。 バッチファイル.txt <https_link_1> -O DNK07.bam <https_link_2> -O mixe0007.bam <https_link_3&gt...

Admin

wgetバージョンを更新できません。
wget

wgetバージョンを更新できません。

私のwgetバージョンを1.22に更新したいです。現在、次のコマンドを使用すると1.19です。 curl -O https://ftp.gnu.org/gnu/wget/wget-1.21.tar.gz ただし、次のエラーが発生します。 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 ...

Admin

wgetの文書化されていない-Yオプションは何ですか?
wget

wgetの文書化されていない-Yオプションは何ですか?

wget -Y off ...(bunch of stuff)...以前に触れたことのないスクリプトを見つけました。 マニュアルページを見てもwget --help何も見つかりませんでした。 ただし、これはオプションとして存在します。存在しないオプションと対照してください-Z。 # wget -Y wget: option requires an argument -- 'Y' Usage: wget [OPTION]... [URL]... Try `wget --help' for more options. # wget -Z wget: inval...

Admin

Geckodriverのインストールエラー
wget

Geckodriverのインストールエラー

このファイルをダウンロードする必要があります: "https://github.com/ curl -s https://github.com/mozilla/geckodriver/releases | grep -E -o '/mozilla/geckodriver/releases/download/[a-z0-9/.-]{5,}linux64.tar.gz' | head -n 1" これは私のコマンドです: wget -O geckodriver-linux64.tar.gz echo "https://github.com/`curl -s ht...

Admin

wgetエラー:証明書の所有者がホスト名と一致しません。
wget

wgetエラー:証明書の所有者がホスト名と一致しません。

wget「証明書の所有者がホスト名と一致しません。」エラーとともにコマンドはファイルをダウンロードできません。 完全なコマンド出力は次のとおりです。 wget --continue --directory-prefix=/download https://server.example.com/repo/software-1.0.rpm Resolving server.example.com (server.example.com)... 10.77.66.27 Connecting to server.example.com (server.examp...

Admin

FCC ECFSサイトからドキュメントをダウンロードするためにwgetまたはカールを使用できますか?
wget

FCC ECFSサイトからドキュメントをダウンロードするためにwgetまたはカールを使用できますか?

FCCのECFS(Electronic Comment Filing System)を使用して個々の訴訟ファイルを一括ダウンロードしようとしています。訴訟のすべての申請書を返すAPIがあります。単一文書の URL を次の形式で返します。 https://www.fcc.gov/ecfs/document/10809709027819/1 ただし、これがブラウザで動作している間にwgetまたはカールを使用するときにJavaScriptが必要であることを示すプレースホルダHTMLファイルのみをダウンロードします。ブラウザでページを調べてみましたが、実際のP​​D...

Admin