NEologdをインストールする

MeCabで開示関係の文書の形態素解析をすると、色々不便なことにぶつかることの一つが複合語対応。
開示文書は、法律の名前に始まり漢字を寄せ集めて一つの言葉を定義していることが多く、形態素解析でそれがバラバラに分解され(過ぎ)てしまう。
例えば、「連結貸借対照表」は一つの単語だが、形態素解析では、連結 貸借 対照 表という具合に4つに分解されてしまう。
そこで専門用語の辞書を追加してやる必要があるのだが、会計用語辞書なる気の利いたものはあるわけではないので、自前で用意するしかない。
自前の前に現代用語を集積してMeCab用に加工された、mecab-ipadic-NEologdを使うことにした。

https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md

インストール方法は、上記のgithubに掲載されているが、自分用のメモ。

1.自分のgitディレクトリで、neologdをクローンする

cd ~./git
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git

※サイトからコピペするときは、$を消去しましょう(笑)

2. NEOLOGDのディレクトリに移ってコンパイル

cd mecab-ipadic-neologd/
sudo ./bin/install-mecab-ipadic-neologd -n # このコマンドで二回目以降は更新されるらしい。

メモリが足りなくなるなどの注意が書いてあったが、自分の環境ではそういった事象はなく、10秒ほどで終わった。

3.辞書を指定して分析する

mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/

(例文)
当社の連結貸借対照表日は令和元年12月31日ですが、連結会計年度の開始日は平成31年10月1日で、個別財務諸表の会計年度の開始日である平成31年1月1日とは異なります。

MeCabのデフォルト(IPADIC)

当社 名詞,一般,,,,,当社,トウシャ,トーシャ
の 助詞,連体化,,,,,の,ノ,ノ
連結 名詞,サ変接続,,,,,連結,レンケツ,レンケツ
貸借 名詞,サ変接続,,,,,貸借,タイシャク,タイシャク
対照 名詞,サ変接続,,,,,対照,タイショウ,タイショー
表 名詞,接尾,一般,,,,表,ヒョウ,ヒョー
日 名詞,接尾,一般,
,,,日,ビ,ビ
は 助詞,係助詞,,,,,は,ハ,ワ
令 名詞,一般,,,,,令,リョウ,リョー
和 名詞,一般,,,,,和,ワ,ワ
元年 名詞,一般,,,,,元年,ガンネン,ガンネン
12月 名詞,副詞可能,,,,,12月,ジュウニガツ,ジューニガツ
31 名詞,数,,,,,*
日 名詞,接尾,助数詞,,,,日,ニチ,ニチ
です 助動詞,
,,,特殊・デス,基本形,です,デス,デス
が 助詞,接続助詞,,,,,が,ガ,ガ
、 記号,読点,,,,,、,、,、
連結 名詞,サ変接続,,,,,連結,レンケツ,レンケツ
会計 名詞,サ変接続,,,,,会計,カイケイ,カイケイ
年度 名詞,一般,,,,,年度,ネンド,ネンド
の 助詞,連体化,,,,,の,ノ,ノ
開始 名詞,サ変接続,,,,,開始,カイシ,カイシ
日 名詞,接尾,一般,,,,日,ビ,ビ
は 助詞,係助詞,
,,,,は,ハ,ワ
2 名詞,数,
,,,,2,ニ,ニ
0 名詞,数,
,,,,0,ゼロ,ゼロ
1 名詞,数,
,,,,1,イチ,イチ
9 名詞,数,
,,,,9,キュウ,キュー
年 名詞,接尾,助数詞,
,,,年,ネン,ネン
10月 名詞,副詞可能,,,,,10月,ジュウガツ,ジューガツ
1 名詞,数,,,,,1,イチ,イチ
日 名詞,接尾,助数詞,,,,日,ニチ,ニチ
で 助動詞,
,,,特殊・ダ,連用形,だ,デ,デ
、 記号,読点,,,,,、,、,、
個別 名詞,形容動詞語幹,,,,,個別,コベツ,コベツ
財務諸表 名詞,一般,,,,,財務諸表,ザイムショヒョウ,ザイムショヒョー
の 助詞,連体化,,,,,の,ノ,ノ
会計 名詞,サ変接続,,,,,会計,カイケイ,カイケイ
年度 名詞,一般,,,,,年度,ネンド,ネンド
の 助詞,連体化,,,,,の,ノ,ノ
開始 名詞,サ変接続,,,,,開始,カイシ,カイシ
日 名詞,接尾,一般,,,,日,ビ,ビ
で 助動詞,
,,,特殊・ダ,連用形,だ,デ,デ
ある 助動詞,,,,五段・ラ行アル,基本形,ある,アル,アル
平成 名詞,固有名詞,一般,
,,,平成,ヘイセイ,ヘイセイ
31 名詞,数,,,,,*
年 名詞,接尾,助数詞,,,,年,ネン,ネン
1月 名詞,副詞可能,
,,,,1月,イチガツ,イチガツ
1 名詞,数,
,,,,1,イチ,イチ
日 名詞,接尾,助数詞,
,,,日,ニチ,ニチ
と 助詞,格助詞,引用,,,,と,ト,ト
は 助詞,係助詞,
,,,,は,ハ,ワ
異なり 動詞,自立,
,,五段・ラ行,連用形,異なる,コトナリ,コトナリ
ます 助動詞,
,,,特殊・マス,基本形,ます,マス,マス
。 記号,句点,,,,,。,。,。
EOS

NeoLogDを使用した解析

当社 名詞,一般,,,,,当社,トウシャ,トーシャ
の 助詞,連体化,,,,,の,ノ,ノ
連結貸借対照表 名詞,固有名詞,一般,,,,連結貸借対照表,レンケツタイシャクタイショウヒョ,レンケツタイシャクタイショーヒョ
日 名詞,接尾,一般,
,,,日,ビ,ビ
は 助詞,係助詞,,,,,は,ハ,ワ
令和元年 名詞,固有名詞,一般,,,,2019年,レイワガンネン,レイワガンネン
12月 名詞,副詞可能,
,,,,12月,ジュウニガツ,ジューニガツ
31日 名詞,固有名詞,一般,
,,,31日,サンジュウイチニチ,サンジュウイチニチ
です 助動詞,,,,特殊・デス,基本形,です,デス,デス
が 助詞,接続助詞,
,,,,が,ガ,ガ
、 記号,読点,
,,,,、,、,、
連結会計 名詞,固有名詞,一般,
,,,連結会計,レンケツカイケイ,レンケツカイケイ
年度 名詞,一般,,,,,年度,ネンド,ネンド
の 助詞,連体化,,,,,の,ノ,ノ
開始 名詞,サ変接続,,,,,開始,カイシ,カイシ
日 名詞,接尾,一般,,,,日,ビ,ビ
は 助詞,係助詞,
,,,,は,ハ,ワ
2 名詞,数,
,,,,2,ニ,ニ
0 名詞,数,
,,,,0,ゼロ,ゼロ
1 名詞,数,
,,,,1,イチ,イチ
9 名詞,数,
,,,,9,キュウ,キュー
年 名詞,接尾,助数詞,
,,,年,ネン,ネン
10月 名詞,副詞可能,,,,,10月,ジュウガツ,ジューガツ
1 名詞,数,,,,,1,イチ,イチ
日 名詞,接尾,助数詞,,,,日,ニチ,ニチ
で 助動詞,
,,,特殊・ダ,連用形,だ,デ,デ
、 記号,読点,,,,,、,、,、
個別財務諸表 名詞,固有名詞,一般,,,,個別財務諸表,コベツザイムショヒョウ,コベツザイムショヒョー
の 助詞,連体化,
,,,,の,ノ,ノ
会計年度 名詞,固有名詞,一般,
,,,会計年度,カイケイネンド,カイケイネンド
の 助詞,連体化,,,,,の,ノ,ノ
開始 名詞,サ変接続,,,,,開始,カイシ,カイシ
日 名詞,接尾,一般,,,,日,ビ,ビ
で 助動詞,
,,,特殊・ダ,連用形,だ,デ,デ
ある 助動詞,,,,五段・ラ行アル,基本形,ある,アル,アル
平成31年 名詞,固有名詞,一般,
,,,平成31年,ヘイセイサンジュウイチネン,ヘイセイサンジュウイチネン
1月 名詞,副詞可能,,,,,1月,イチガツ,イチガツ
1 名詞,数,,,,,1,イチ,イチ
日 名詞,接尾,助数詞,,,,日,ニチ,ニチ
と 助詞,格助詞,引用,
,,,と,ト,ト
は 助詞,係助詞,,,,,は,ハ,ワ
異なり 動詞,自立,,,五段・ラ行,連用形,異なる,コトナリ,コトナリ
ます 助動詞,,,,特殊・マス,基本形,ます,マス,マス
。 記号,句点,
,,,*,。,。,。
EOS

割といいかも。
連結貸借対照表が一つの単語になっている。

おしい
連結会計、会計年度はあるが連結会計年度は複合語として認識されない。

課題
全角の数字は分割されてしまうので、分析前に半角変換が必要かも。
財務情報の分析に使うなら、数字の文章内での分析の仕方は自分で工夫しなければいけない。

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


計算式を埋めてください * Time limit is exhausted. Please reload CAPTCHA.