uniqとagrepの組み合わせ?
1行に1つずつ長いSQLクエリでいっぱいのファイルがあります。独自のクエリリストを作成する必要がありますが、ほとんどのクエリにパラメータ値が含まれているため、正確な一致ツールを使用uniqできません。たとえば、一意の行を「パージ」する方法はありますかagrep? ...
1行に1つずつ長いSQLクエリでいっぱいのファイルがあります。独自のクエリリストを作成する必要がありますが、ほとんどのクエリにパラメータ値が含まれているため、正確な一致ツールを使用uniqできません。たとえば、一意の行を「パージ」する方法はありますかagrep? ...
不正確な検索に加えて、grepこれに似ているか、ユーティリティもありますか?それとも自分で書く必要がありますか?uniq 私の言葉は、90%(数字は異なる場合があります)一致するか、それと似ているようです。たとえば、複数の文字列を含むファイルがあります。 abc123 abd123 abc223 qwe938 この場合、そのユーティリティは最初の3つの文字列を返すか、類似していると言わなければなりません。もちろん、grepまたはを使用している場合など、ファイルの内容のパターンはわかりませんuniq。 ...
使っていますtre-agrep (マンページ)、実装agrep (マンページ)、おおよそのパターンマッチングを実行します。ユーティリティは、以下に基づいて一致を検索します。距離を編集、ユーザーは編集内容を置き換え、挿入、または削除するために適用されるペナルティを設定できます。 しかし、クエリの長さに応じて異なる重みを適用したいと思います。つまり、クエリの先頭(左端)の削除は、右削除よりも重みが低くなります。このユーティリティページでは、manこのレベルの制御が可能であることを示唆していません。 おおよそのマッチングを達成し、不一致ペナルティをより適切...
編集:テキストフィールドのスペースをよりよく処理するために、ファイルがtsvに変更されました。 次の形式のcsvファイルが2つあります。 ファイル1:availableText.csv(サイズが大きくなる可能性があります) 「id1」、「text1-1」 、「id1」、「text1-2」、 「id1」、「text1-3」、 「id1」、「text1-4」 、「id2」、「text2-1」、 「id2」、「text2-2」 「id2」、「text2-3」 「id2」、「text2-4」 ... ファイル2:エ...