☰

そのIDで生物の数を抽出しますか？

tag-icon • tag-icon bash shell ubuntu bioinformatics
そのIDで生物の数を抽出しますか？

たとえば、次のような多くの列を含むファイルがあります。

ID1 XP_026389348.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Papaver_somniferum]
ID2 XP_026389348.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Papaver_somniferum]
ID3 XP_026389348.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Papaver_somniferum]
ID4 XP_026389348.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Papaver_somniferum]
ID5 XP_026389348.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Papaver_somniferum]
ID6 XP_022013305.1_60S_ribosomal_protein_L36-2-like_[Helianthus_annuus]
ID7 XP_022033863.1_60S_ribosomal_protein_L36-2-like_[Helianthus_annuus]
ID8 XP_022033864.1_60S_ribosomal_protein_L36-2-like_[Helianthus_annuus]
ID9 XP_022033865.1_60S_ribosomal_protein_L36-2-like_[Helianthus_annuus]
ID10    NP_850400.1_Plant_stearoyl-acyl-carrier-protein_desaturase_family_protein_[Arabidopsis_thaliana]
ID11    XP_015383392.1_60S_ribosomal_protein_L36-3-like_[Citrus_sinensis]
ID12    XP_015383392.1_60S_ribosomal_protein_L36-3-like_[Citrus_sinensis]
ID13    XP_019051818.1_PREDICTED:_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_isoform_X2_[Nelumbo_nucifera]
ID14    XP_019051818.1_PREDICTED:_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_isoform_X2_[Nelumbo_nucifera]
ID15    XP_019051818.1_PREDICTED:_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_isoform_X2_[Nelumbo_nucifera]
ID16    XP_021982111.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Helianthus_annuus]
ID17    NP_001150213.1_uncharacterized_protein_LOC100283843_[Zea_mays]
ID18    XP_027164486.1_stearoyl-[acyl-carrier-protein]_9-desaturase,_chloroplastic_[Coffea_eugenioides]
ID19    XP_009419937.1_PREDICTED:_60S_ribosomal_protein_L36-3-like_[Musa_acuminata]
ID20    XP_020267482.1_60S_ribosomal_protein_L36-2-like_[Asparagus_officinalis]

[]の2番目の列から生物名を抽出し、そのIDで数を計算したいと思います。たとえば、次のようになります。

5   Papaver somniferum       ID1
                             ID2
                             ID3
                             ID4
                             ID5
4   Helianthus annuus        ID6
                             ID7
                             ID8
                             ID9
1   Arabidopsis thaliana     ID10
2   Citrus sinensis          ID11
                             ID12
3   Nelumbo nucifera         ID13
                             ID14
                             ID15
1   Helianthus annuus        ID16
1   Zea mays                 ID17
1   Coffea eugenioides       ID18
1   Musa acuminata           ID19
1   Asparagus officinalis    ID20

私はいくつか試しました：

cat file | cut -f2 | rev |awk -F "[" '{gsub("]", "");print $1 | "rev"}' | sed '/#/d' | sort |uniq -c| sort -nr

出力は次のとおりです。

5   Papaver somniferum
4   Helianthus annuus
1   Arabidopsis thaliana
2   Citrus sinensis
3   Nelumbo nucifera
1   Helianthus annuus
1   Zea mays
1   Coffea eugenioides
1   Musa acuminata
1   Asparagus officinalis

ありがとうございます。

答え1

$ datamash -t' ' -g2 count 1 collapse 1 < <(sed 's/^\(ID[0-9]*\).*\[\([^]]*\)\]$/\1 \2/' file) \
   | awk '{ print $2,$1,$3 }' \
   | sed 's/,\(ID[^,]*\)/\n# # \1/g' \
   | column -t \
   | tr '#' ' '
5  Papaver_somniferum     ID1
                          ID2
                          ID3
                          ID4
                          ID5
4  Helianthus_annuus      ID6
                          ID7
                          ID8
                          ID9
1  Arabidopsis_thaliana   ID10
2  Citrus_sinensis        ID11
                          ID12
3  Nelumbo_nucifera       ID13
                          ID14
                          ID15
1  Helianthus_annuus      ID16
1  Zea_mays               ID17
1  Coffea_eugenioides     ID18
1  Musa_acuminata         ID19
1  Asparagus_officinalis  ID20

ステップ1：以下を使用してIDと生物の名前を抽出しますsed。

$ sed 's/^\(ID[0-9]*\).*\[\([^]]*\)\]$/\1 \2/' file
ID1 Papaver_somniferum
ID2 Papaver_somniferum
ID3 Papaver_somniferum
ID4 Papaver_somniferum
ID5 Papaver_somniferum
ID6 Helianthus_annuus
ID7 Helianthus_annuus
...

ステップ2：sed出力をGNUに供給しdatamash、2番目のフィールドでグループ化し、1番目のフィールドで計算して縮小します。

$ datamash -t' ' -g2 count 1 collapse 1 < <(sed 's/^\(ID[0-9]*\).*\[\([^]]*\)\]$/\1 \2/' file)
Papaver_somniferum 5 ID1,ID2,ID3,ID4,ID5
Helianthus_annuus 4 ID6,ID7,ID8,ID9
Arabidopsis_thaliana 1 ID10
Citrus_sinensis 2 ID11,ID12
Nelumbo_nucifera 3 ID13,ID14,ID15
Helianthus_annuus 1 ID16
Zea_mays 1 ID17
Coffea_eugenioides 1 ID18
Musa_acuminata 1 ID19
Asparagus_officinalis 1 ID20

ステップ3：出力を表形式に変換するには、いくつかの形式を追加してください。

  • awk '{ print $2,$1,$3 }'列2（個数）と列1（生物名）を変更します。
  • sed 's/,\(ID[^,]*\)/\n# # \1/g'各コンマとIDを改行、スペースで区切られた2つのダミー文字、および#ID（GNUを使用sed）で置き換えます。
  • column -t表形式の指定
  • tr '#' ' '#ダミー文字をスペースに置き換える

答え2

awkGNUとGNUの使用column：

awk -F'[][ ]*' '{print ($(NF-1)==n?OFS:$(NF-1)),$1; n=$(NF-1)}' OFS=, file \
 | awk -F, -v OFS=, 'NF==3{line=line RS $0;i++} NF==2{if(line)print i,line; line=$0; i=1}' \
 | column -t -n -s,

最初の awk コマンドは、次の形式で必須フィールドを抽出して表示します。

Papaver_somniferum,ID1
,,ID2
,,ID3
...

2番目のawkコマンドは、同じ名前のすべてのフィールドで構成される新しい行を作成し、その数を先頭に追加します。

最後に、列コマンドはオプションを使用して3つの列に結果を表示します-n。

5  Papaver_somniferum    ID1
                         ID2
                         ID3
                         ID4
                         ID5
4  Helianthus_annuus     ID6
                         ID7
...

関連情報