混合テキストファイルの言語X文字数は何ですか？

Question 1

Unicode文字列の長さを決定するのに問題がある可能性があります。バラよりこのページ正規化の詳細については、Twitter開発者のドキュメントをご覧ください。

文字数は、構成するロケールによって異なります。locale以下を実行して、UTF-8ロケールが設定されていることを確認できます。これが完了すると、@stephen-rauchのコードが機能します。

使用する正規表現ライブラリに応じて、名前付きスクリプトを使用することもできます。たとえば、\p{Hebrew}以下はヘブライ語以外のすべての文字を削除する例です\P{Greek} 。\P{Hebrew}協会

編集：初期結果は、誤って設定されたロケールが原因で発生しました。

Answer

Unicode文字列の長さを決定するのに問題がある可能性があります。バラよりこのページ正規化の詳細については、Twitter開発者のドキュメントをご覧ください。

文字数は、構成するロケールによって異なります。locale以下を実行して、UTF-8ロケールが設定されていることを確認できます。これが完了すると、@stephen-rauchのコードが機能します。

使用する正規表現ライブラリに応じて、名前付きスクリプトを使用することもできます。たとえば、\p{Hebrew}以下はヘブライ語以外のすべての文字を削除する例です\P{Greek} 。\P{Hebrew}協会

編集：初期結果は、誤って設定されたロケールが原因で発生しました。

Question 2

これらは私に近いようです(Ubuntu 16.04でテスト)

$ perl -0777 -MEncode -ne 'print decode("UTF-8",$_) =~ tr/\x{0590}-\x{05ff}//,"\n"' input
62
$ perl -0777 -MEncode -ne 'print decode("UTF-8",$_) =~ tr/\p{Hebrew}//,"\n"' input
63

「正しい」答えが何であるかよくわかりません。

Answer

これらは私に近いようです(Ubuntu 16.04でテスト)

$ perl -0777 -MEncode -ne 'print decode("UTF-8",$_) =~ tr/\x{0590}-\x{05ff}//,"\n"' input
62
$ perl -0777 -MEncode -ne 'print decode("UTF-8",$_) =~ tr/\p{Hebrew}//,"\n"' input
63

「正しい」答えが何であるかよくわかりません。

Question 3

Pythonを使用すると、次のことができます。

パスワード：

# coding: utf-8
import re
import codecs

#find_hebrew = re.compile(ur'[\u0590-\u05ff]+')  # python 2
find_hebrew = re.compile(r'[\u0590-\u05ff]+')   # python 3

count = 0
with codecs.open('text_file', 'rU', encoding='utf-8') as f:
    for line in f.readlines():
        for n in find_hebrew.findall(line):
            count += len(n)
print(count)

結果：

Answer

Pythonを使用すると、次のことができます。

パスワード：

# coding: utf-8
import re
import codecs

#find_hebrew = re.compile(ur'[\u0590-\u05ff]+')  # python 2
find_hebrew = re.compile(r'[\u0590-\u05ff]+')   # python 3

count = 0
with codecs.open('text_file', 'rU', encoding='utf-8') as f:
    for line in f.readlines():
        for n in find_hebrew.findall(line):
            count += len(n)
print(count)

混合テキストファイルの言語X文字数は何ですか？

答え1

答え2

答え3

パスワード：

結果：

関連情報