Linuxでxmlファイルのbase64テキストをデコードする方法は？

私がいつも何をしているのか話しましょう。 XML の解析に正規表現を使用しないでください。これは悪いニュースです。 XMLはさまざまな形式で提供されます。これは、意味的に同じXMLが特定の正規表現に一致するか一致しないことを意味します。改行、単項タグなどのような単純なものです。

これは、上流のデータフローの完全に有効な変更があるため、ある日未知の理由で壊れる可能性がある脆弱なコードを生成することを意味します。

解析のためあなたのXMLの使用をお勧めperlし、かなり良いです。XML::Twig基準寸法。

#!/usr/bin/perl
use strict;
use warnings;

use XML::Twig;
use MIME::Base64;

#we take a "value" element, check it for an "encoding=base64" and if it is
#we rewrite the content and delete that attribute in the XML. 
sub decode_value {
    my ( $twig, $value ) = @_;
    if (    $value->att('encoding')
        and $value->att('encoding') eq "base64" )
    {
        my $decoded_text = decode_base64( $value->text );
        if ( $decoded_text =~ m/[^\s\d\w\=\-\,\.]/ ) {
            $decoded_text = "decoded";
        }
        $value->set_text($decoded_text);
        $value -> del_att('encoding');

    }
}


#twig handlers 'fires' a piece of code each time you hit a 'value' element. 
#it passes this piece of code that chunk of XML to handle, which means
#you can do things like dynamic XML rewrites 
#pretty print controls output XML rendering - there's a variety of options
#check the manpage. 
my $twig = XML::Twig->new(
    pretty_print  => "indented",
    twig_handlers => { 'value' => \&decode_value, }
);
$twig->parsefile('your_xml_file');
$twig->print;

これにより、以下が提供されます。

<directory-entries>
  <entry dn="ads">
    <attr name="memberof">
      <value>CN=VPN-employee</value>
      <value encoding="base64">hello world</value>
      <value encoding="base64">decoded</value>
      <value encoding="base64">decoded</value>
    </attr>
  </entry>
</directory-entries>

次のように変換することもできます$decoded_text。

$decoded_text =~ s/[^\s\d\w=,-. ]+/_/g;

（URI::EscapeここにあるモジュールはテキストURLスタイルを「パーセントエンコード」するので、見てみる価値があります。）

これにより、以下が提供されます。

  <value encoding="base64">CN=Floppy - _ _,OU=Device Control,OU=Groups,OU=_,DC=hq,DC=bc</value>
  <value encoding="base64">CN=USB-_ - _ _,OU=Device Control,OU=Groups,OU=_,DC=hq,DC=bc</value>

Net::LDAPただし、用途を使用すると要件が満たされる可能性があります。

#!/usr/bin/perl
use strict;
use warnings;

use Net::LDAP;

my $ldap   = Net::LDAP->new('host');
my $result = $ldap->bind(
    'CN=informatica,OU=Accounts for System Purposes,OU=System Accounts,DC=hq,DC=bc',
    'password'
);
if ( $result->code ) { die "Error connecting to LDAP server"; }

my $ldap_search = $ldap->search(
    base   => 'DC=hq,DC=bc',
    scope  => 'subtree',
    filter => '(&(objectClass=organizationalPerson)(CN=*))',
    attrs  => [ 'employeeID', 'memberOf' ],
);

foreach my $entry ( $ldap_search->entries ) {
    print "dn:\t", $entry->dn(), "\n";
    foreach my $attr ( $entry->attributes ) {
        print "$attr:";
        foreach my $value ( $entry->get_value($attr) ) {
            next unless defined $value;
            if ( $value =~ m/[^\s\d\w,-=+@\'.()]/ ) { $value = "binary_data" }
            chomp($value);
            print "\t$value\n";
        }
    }
}

コンパクトスクリプト

xmlがにあるとし、file.xml次のようにします。

sed -r 's/("base64">)([[:graph:]]+)/\1'"`grep -oP '"base64">\K[[:graph:]]+' file.xml | base64 -d`"'/g' file.xml 

以下は、操作を実行する単純な正規表現です。分解して説明します。

崩れる

まず、grepを使用してBase64文字列を選択してデコードします。

grep -oP '"base64">\K[[:graph:]]+' file.xml | base64 -d

変数に保存できます。

baseString=`grep -oP '"base64">\K[[:graph:]]+' file.xml | base64 -d`

次に、sedbase64を変数に格納されているデコードされた文字列に置き換えます。

sed -r 's/("base64">)([[:graph:]]+)/\1'"$baseString"'/g' file.xml

を使用するのが正解ですxmlstarlet。これはXMLの解析と編集のためのツールです。まず、このパッケージをシステムにインストールします。 Debian ベースのシステムを使用している場合は、次の手順を実行します。

sudo apt-get install xmlstarlet

今、

1. まず、base64でエンコードされた文字列の値を読み取ります。
2. その後、この文字列をデコードします。
3. 次に、対応するタグ値を変更します。

完全なスクリプトは次のとおりです。

#!/bin/bash

for i in $(seq 3)
do
    #Find the string and decoded it and save it in a variable
    decodedString=`xmlstarlet sel -t -v "/directory-entries/entry/attr/value[@encoding='base64'][$i]" file.xml | tr -d \r\n[:space:] | base64 -d`

    #Now modify the xml document
    xmlstarlet ed -L -u "/directory-entries/entry/attr/value[@encoding='base64'][$i]" -v "$decodedString" file.xml
done

私はこれを3ループ実行しました。必要な数の要素でこれを行うことができます。

xq以下で使用https://kislyuk.github.io/yq/:

xq -x '( .. | select(type == "object" and ."@encoding" == "base64")."#text" )
    |= ( gsub("\n"; "") | @base64d )' file.xml

これは文書全体を再帰的に検索し、値が..の属性をencoding持つbase64ノードを見つけます。これらの各ノードのノードの値を取得し、すべての改行を削除し（使用gsub()）、演算子を使用してbase64文字列をデコードします@base64d。デコードされた値は元のBase64データを置き換えます。

問題の文書が与えられた場合、出力は次のようになります。

<directory-entries>
  <entry dn="ads">
    <attr name="memberof">
      <value>CN=VPN-employee</value>
      <value encoding="base64">hello world</value>
      <value encoding="base64">CN=Floppy - доступ закрыт,OU=Device Control,OU=Groups,OU=БАНК,DC=hq,DC=bc</value>
      <value encoding="base64">CN=USB-диски - только чтение,OU=Device Control,OU=Groups,OU=БАНК,DC=hq,DC=bc</value>
    </attr>
  </entry>
</directory-entries>

このツールには、「内部」編集を実行するxqオプションもあります。-i--in-place