KH Coderへの医療用語辞書導入の方法

[pharmaceuticals1]

お使いのKH Coderのバージョン
3.01 official-package

■お使いのOS
Windows 11
■分析しようとしているのは何語のテキストですか？
医療記録（日本語）
■使用しているプラグイン
否定語チェッカー、クレンジング
■ご質問の内容
お世話になっております。
先日、このスレッド内で質問させて頂き、頂いたご助言を基にKH Coder(正式版）で解析を行っております。
使用しているデータ（医療記録）が専門用語（疾患名、薬剤名、規格、検査値等）、略記や英語名も多く、どのように形態素解析すべきか課題を感じています。
先生の著書を始め、様々なテキストマイニングや自然言語処理関係の著書を読み、データの性質にあった辞書を導入する必要があると考えております。使用データが病名、薬剤に関する情報が多いため、医療用のMecab用辞書の導入を検討しています。
「Mecab用辞書データ J-MedDic for MeCab」
https://sociocom.naist.jp/j-meddic-for-mecab/

先生のtwitterを拝見させて頂き、それを基に行ったのですが、エラーメッセージが出て作動しませんでした。
辞書の導入には、twitterで紹介して頂いた手順以外に、何か手法が必要なのでしょうか。
お手数をおかけしますが、ご教授いただければ幸いです。
どうぞよろしくお願いいたします。

「参考にしたtwitter」
KH Coder on X: "古文用UniDicsをインストール・設定すれば、これらの古文をKH Coderで分析できるということになります！　以前書いた中古和文用の手順と、大筋では同じ手順でできるはずです。https://t.co/G0zsdhXP1T" / X (twitter.com)

mecabrc　コードの書き足し.pdf

[ko-ichi-h]

「システム辞書」と「ユーザー辞書」

MeCabの辞書には2種類あるようです。UniDicはすべての単語を入れかえる「システム辞書」です。それに対して「Mecab用辞書データ J-MedDic for MeCab」は、もともとの辞書の内容はそのまま使い、そこへ医療用語を追加する「ユーザー辞書」です。辞書の種類が違いますので、設定方法もだいぶ変わってきます。

したがって、まずは加えた変更をすべてもとに戻してください。もとに戻すことが難しい場合は、一度アンインストールして、インストールし直すのが確実かと思います。もしmecabrcのみ編集されている場合については、後掲のmecabrcをお使いいただけば、インストールし直しの必要はないと思います。

「ユーザー辞書」の保存

「Mecab用辞書データ J-MedDic for MeCab」をダウンロード・解凍して、すべてのファイルを C:\KHCoderOfficialPackage\dep フォルダへコピーします。

「ユーザー辞書」を利用するようMeCabを設定

「ユーザー辞書」をMeCabが使えるように、C:\KHCoderOfficialPackage\dep\mecab\etc\mecabrc に次のような行を加えます。

userdic = C:\KHCoderOfficialPackage\dep\HYAKUYAKU_MecabDict_utf8_v20210712.dic,C:\KHCoderOfficialPackage\dep\MANBYO_202106.dic

この変更加えたmecabrcファイルをここに置いておきます。
mecabrc.zip

ただし

これで一応、百薬辞書・万病辞書を使えるようになります。ただ、ぱっと見た限りでも若干の副作用があるように見えます。

1. 百薬辞書には「か」1文字の固有名詞が登録されており、たとえば「憚かる」の「か」も固有名詞（薬名）と認識されるため、語の抽出がいくぶん不正確になりそうです

2. 万病辞書では、語の基本形として「へんずつう/icd=G439/freq=85-90%/片頭痛」のような長い文字列が入力されていますので、解析結果にもこうした長い語が出てきしまいます

3. 万病辞書の影響で、「自分」「平気」「自身」「知れません」などの基本形が「nan/icd=-1/freq=0-5%/-1」と認識されてしまう

4. 同様に「表現」「二度目」「返事」「無言」などの基本形が「nan/icd=/freq=0-5%/」と認識されてしまう。

なので、「か」を省いたり、「へんずつう/icd=G439/freq=85-90%/片頭痛」を「片頭痛」に短縮するといった編集を加えたバージョンを作れば良いのかなと、素人的には思います。ここで「icd=G439」「freq=85-90%」のような情報は残すべき有用なものだったりしますでしょうか？　また3.や4.のような語は、万病辞書から削除してしまって差し支えないでしょうか。

[ko-ichi-h]

作ってみました

「万病辞書データ」および「百薬辞書データ」をもとに、KH Coder（MeCab）で使いやすいであろう形式の医療用語辞書を作ってみました。よろしかったらお試しください。

私が手を加えたのは以下の点です。

• 出現形がひらがな1文字の語を削除（百薬辞書データ）
• 基本形（一般名）が[AMB]となっている語は、出現形をそのまま基本形とした（百薬辞書データ）
• 基本形（標準病名）が空白または「-1」となっている語は、出現形をそのまま基本形とした（万病辞書データ）
• 掲載されているすべての語の品詞を「名詞-固有名詞-一般」として、IPADICにもとづくコスト推定を行ない、MeCabで使用可能な辞書形式にした

使用法

1. こちらのZipファイル内の辞書データ（*.dicファイル）を、kh_coder.exeと同じ場所の「dep」フォルダ内においてください。
   mecab_medical_dics_kh1.zip
2. kh_coder.exeがある場所から「dep」「mecab」「etc」とフォルダをたどり、「mecabrc」ファイルをテキストエディタで開き、次の1行を加えてください。

userdic = C:\KHCoderOfficialPackage\dep\hyakuyaku_kh.dic,C:\KHCoderOfficialPackage\dep\manbyo_kh.dic

もしKH Coderのインストール先がC:\KHCoderOfficialPackageではない場合、インストール先に合わせて修正してください。

3. プロジェクト作成時にChaSenではなくMeCabを選択してください。

解析例

たとえば次のような解析結果となります。

「抗生剤」「抗生物質」などの基本形が「抗生物質製剤」となっています。

ライセンスについて

「万病辞書データ」および「百薬辞書データ」は、奈良先端科学技術大学院大学 ソーシャル・コンピューティング研究室によって開発・公開されたものです。

クリエイティブ・コモンズ 表示 4.0 国際 ライセンスの下に提供されています。
https://creativecommons.org/licenses/by/4.0/

次の免責事項が表示されています。

本成果物は，可能な限り細心の注意を払って開発しました．しかし，完全な信頼性や堅牢性を保証しているわけではありません．結果的に本成果物を使用して何らかの問題が発生した場合，提供元である奈良先端科学技術大学院大学 ソーシャル・コンピューティング研究室は一切の責任を負いかねます．ご使用になる場合には自己責任でご活用いただくようお願いいたします．

[pharmaceuticals1]

樋口先生

お世話になっております。
ご多忙のところ、貴重なご助言に加え、KH Coder（MeCab）の医療用語辞書まで作成して頂き、深く感謝申し上げます。
最初に頂いたレス（ファイル・コード）でMecabが起動せず、初期設定、アンインストール・別PCでの動作確認など、様々な試行を繰り返しても上手くいかず悩んでおりましたが、昨日頂いたご指示通りに設定したところ、見事動作いたしました。
これから詳細な比較を行いますが、解析結果も手動で強制抽出していた時と違い、かなり整然とまとまりそうです。本当にありがとうございます！
先生のKH Coderを用いた医療情報テキストマイニングとして、なるべく早い時期に成果を論文等で公開できるよう、努めて参りたいと存じます。
またご相談させて頂くことがあると思いますが、何卒よろしくお願いいたします。
繰り返し、御礼申し上げます。

[ko-ichi-h]

改善版を作成しました

「万病辞書データ」と「百薬辞書データ」に加えて、「ComeJisyo」を使わせていただいて、KH Coder（MeCab）で利用しやすいと考えられる医療用語辞書を作ってみました。もしよろしかったらご利用ください。

使用法

1. こちらのZipファイル内の辞書ファイル（*.dicファイル）を、kh_coder.exeと同じ場所の「dep」フォルダ内においてください。
   mecab_medical_dics_kh2.zip

2. kh_coder.exeがある場所から「dep」「mecab」「etc」とフォルダをたどり、「mecabrc」ファイルをテキストエディタで開き、次の1行を加えてください。

userdic = C:\KHCoderOfficialPackage\dep\hyakuyaku_kh.dic,C:\KHCoderOfficialPackage\dep\manbyo_kh.dic,C:\KHCoderOfficialPackage\dep\comejisyo_kh.dic

もしKH Coderのインストール先がC:\KHCoderOfficialPackageではない場合、インストール先に合わせて修正してください。

3. プロジェクト作成時にChaSenではなくMeCabを選択してください。

前のバージョンからアップデートする場合は、辞書ファイル（*.dicファイル）を今回のもので上書きしてください。またmecabrcについては、前回加えた「userdic = 」で始まる行を削除して、かわりに今回の行を加えてください。

手を加えた点

以下の点は以前と同様です。

• 出現形がひらがな1文字の語を削除（百薬辞書データ）
• 基本形（一般名）が[AMB]となっている語は、出現形をそのまま基本形とした（百薬辞書データ）
• 基本形（標準病名）が空白または「-1」となっている語は、出現形をそのまま基本形とした（万病辞書データ）
• 掲載されているすべての語の品詞を「名詞-固有名詞-一般」として、IPADICにもとづくコスト推定を行ない、MeCabで使用可能な辞書形式にした（百薬辞書データ・万病辞書データ）

今回の変更は以下の通りです。

• 「ｔーＰＡ」のような語のハイフンが音引き（ー）だったり、全角ハイフン（－）だったりと、必ずしも統一されていなかった。そこで、音引きと全角ハイフンの語を両方辞書に登録しておくことにした。これで、入力データ中で音引き（ー）であっても、全角ハイフン（－）であっても、問題なく1つの語として抽出される（全辞書）
• NFD正規化の文字はNFCに変換した。ごく少数だが、仮名「カ」と濁点「゛」を内部的に2文字で表現するNFD形式の文字があったので、NFCへの変換を行なった（全辞書）
• ComeJisyoに掲載されている語の中で、「万病辞書データ」と「百薬辞書データ」に未掲載のものを取り出してcomejisyo_kh.dicに集めた。その際にはIPADICにもとづくコスト推定を行なった。
• 半角の数字・アルファベット・記号（_/）などは全角に変換した。ただし未変換の記号が残っているかもしれない（ComeJisyo）。

解析例

ライセンス

「万病辞書データ」および「百薬辞書データ」は、奈良先端科学技術大学院大学 ソーシャル・コンピューティング研究室によって開発・公開されたものです。

クリエイティブ・コモンズ 表示 4.0 国際 ライセンスの下に提供されています。
https://creativecommons.org/licenses/by/4.0/

次の免責事項が表示されています。

本成果物は，可能な限り細心の注意を払って開発しました．しかし，完全な信頼性や堅牢性を保証しているわけではありません．結果的に本成果物を使用して何らかの問題が発生した場合，提供元である奈良先端科学技術大学院大学 ソーシャル・コンピューティング研究室は一切の責任を負いかねます．ご使用になる場合には自己責任でご活用いただくようお願いいたします．

ComeJisyoのライセンスは、

無償で提供される辞書ComeJisyoは、GPL/LGPL/BSD Licenseのトリプルライセンスに従うものとします。

とのことです。したがって無保証です。そのほかに、「本辞書を利用して行なった研究等の成果を公表する場合は、その旨を明記」することが要請されています。

[ko-ichi-h]

これらの辞書の内容をご覧になりたい方向けに、MeCabの辞書形式（*.dic）にする前のCSV形式のファイルをこちらに置いておきます。
mecab_medical_csv_kh2.zip

[pharmaceuticals1]

樋口先生、医療用語辞典のアップデート版も作成して頂き、ありがとうございます。
ご多忙のところ素晴らしいアップデートをして頂き、感激しております。
今日までにアップデート版を挿入して全データの再解析を行い、薬剤名、症状なども関度高く抽出できるようになりました。
重ねてお礼申し上げます。

[ko-ichi-h]

お手数をおかけいたしました。分析、ひいてはご研究のご成功を祈念しております。