MacでのR Sourceファイル実行（共起関係の強い順にリスト出力→Mac環境では旧掲示板 [No.552] の方法がうまくいかない）

[motohikochoji]

お使いのKH Coderのバージョン

3.Beta.07b

ご質問の内容をお書きください

樋口先生
みなさま

お世話になります。
macOS 14.4.1環境での日本語テキストマイニングで
「共起関係の強い順にリスト出力」
を旧掲示板 [No.552]の先生のご教示の下記要領を参照しながら試みておりますところ，mac環境のせいか悪戦苦闘中です。
描画された共起ネットワークを「R Source」形式で保存したまではよいものの，手順(4)を実行するも処理がいつまで経っても終わらない状況です。

ひょっとすると，Mac環境の場合は，日本語の文字コードの違いなどの問題で
「共起関係の強い順にリスト出力」
するには，旧掲示板 [No.552]と同じ手順ではなく，一工夫必要でしょうか。

なお，Mac環境のプロジェクトの共起ネットワークをR Source形式で保存したファイルをWindowsのKH Coder付属のRで開いてた場合には，
「構文解析中に不正なマルチバイト文字列がありました（xxxxx行）」
と表示されます。
（もちろん，Windows環境でのプロジェクトでは共起関係のリスト出力は問題なくできております。）

---

[No.552] Re: 単語と単語の組合せ 投稿者：HIGUCHI Koichi 投稿日:2009/12/05(Sat) 00:25:14

(3)そしてKH Coderに付属のRを起動します。kh_coder.exeがある場所からみて
dep\R\bin\Rgui.exeをダブルクリックして下さい。

(4)Rが起動したら「R Console」という部分に(2)で保存したファイルをドラッ
グ&ドロップします。これによってRコマンドが実行され、R上で共起ネットワ
ークが作成されます。

(5) 以下のコマンドを実行〜略

[ko-ichi-h]

どの状態で止まったのか（行き詰まったのか）、スクリーンショットを貼っていただけますか？

[motohikochoji]

[motohikochoji]

樋口先生，遅い時間にも関わらず恐れ入ります。
手順通りKH Coderのbinフォルダに格納されているR 3.1.0を立ち上げて実行してみてもここで止まってしまいます。

[ko-ichi-h]

https://khcoder.info/cgi-bin/bbs_khn/khcf.cgi?no=551&mode=allread
MacでのR Sourceファイル実行が上手くいかないということですね。

#842 の「RStudioを使わない場合」のように進めていただくといかがでしょう？

[ko-ichi-h]

もうひとつ、以下のこともお試しいただけましたら幸いです。

1. kh_coderと同じ場所にあるr.commandをダブルクリックすることでRを起動
2. quartz() を実行
3. options(keep.source=FALSE) を実行
4. source("R Sourceファイル名") を実行

[ko-ichi-h]

状況をお知らせいただきありがとうございます。ひとまず上手くいきましたようで何よりです。

現在のversion 3.02aでは、quartz()およびoptions(keep.source=FALSE)コマンドが要らないように改良しました。なので、

1. kh_coderと同じ場所にあるr.commandをダブルクリックすることでRを起動
2. source("R Sourceファイル名") を実行

これだけで、保存したR SourceファイルをRで実行できるようになりました。MacではR SourceファイルをR（ターミナル）にドラッグすると、/Users/K/Desktop/khcoder3/net.rのようなファイル名が貼り付けられます。なのでsource("と")とを書き加えてReturnキーを押すことで、source()コマンドを実行すると良いでしょう。※motohikochojiさんはすでにお分かりかと存じますが、この掲示板を後からご覧になる方向けに書き添えました。

---

なおKH Coder 3 Beta版のサポート（積極的な改修）は終了していますので、たとえば論文に掲載したり人に見せるような重要な分析については、KH Coder 3正式版（3.00以降）のご利用をお勧めいたします。おそらく、同じ分析結果になろうかとは思うのですが。

[motohikochoji]

追加のアドバイス重ねてありがとうございます。博論研究で利用することもありますが，共起関係リストを何度も試行錯誤することになりそうなので，近々にMacの正式版3.02aを導入するようにいたします！

[motohikochoji]

樋口先生

追加のご相談となり度々申し訳ございません。
当初目的の「共起関係の強い順にリスト出力」につきましては，旧掲示板 [No.552]の下記のコマンドで無事に出力できました。
改めてありがとうございます！

今度はJaccardの類似性測度である「共起の程度（weight）」に加えて，共起の出現頻度（回数）などもテキスト形式で表示/保存できることができればと考えております。

目的としましては，関連語検索の結果にある「全体」，「共起」と対比する，あるいはweightgが強くとも「共起」頻度が少なければ除外するなどを検討しております。
（関連語検索の結果「全体」はTF，「共起」は集計単位での2つの語の共起頻度と理解しております。）

Rのコマンドにn1, n2, weightに加えて「全体」，「共起」に相当する変数を加えてあげればいけそうな気もしつつ，
内部の仕組みを理解しておらずご相談となります。
なにとぞよろしくお願い申し上げます。

ep <- data.frame( 
    n1     = colnames(d)[ as.numeric( get.edgelist(n2,name=T)[,1] ) ],
    n2     = colnames(d)[ as.numeric( get.edgelist(n2,name=T)[,2] ) ],
    weight = get.edge.attribute(n2, "weight"),
    stringsAsFactors = FALSE )
 
ep <- ep[ sort.list(ep$weight, decreasing=TRUE), ]
rownames(ep) <- c(1:nrow(ep))
ep

[ko-ichi-h]

関連語検索の結果「全体」はTF...と理解しております。

TFではなくて、DF（document frequency, 文書数）ですね。同じ文書（集計単位）の中で2回以上出現していても、「1」としか数えない数値です。

ともあれ、2語それぞれの文書数と、共起した文書数を添えるコマンドは以下のようになると思います。上のコマンドの後に、下記のコマンドを実行してください。

# 共起の準備（Russel係数にNをかける）
library(proxy)
dd <- proxy::simil(dr,method="Russel") * ncol(dr)
dd <- as.matrix(dd)

# DFの準備
dr[dr > 1] <- 1
DF <- rowSums(dr)

add <- data.frame(
  n1_DF    = DF[ match(ep$n1, rownames(d)) ],
  n2_DF    = DF[ match(ep$n2, rownames(d)) ],
  co_occur = dd[
    matrix(
      c(
        match(ep$n1, rownames(d)),
        match(ep$n2, rownames(d))
      ),
      ncol=2
    )
  ]
)

ep <- cbind(ep, add)
ep # 画面表示

write.csv(ep,"~/Desktop/co-occur.csv") # デスクトップにCSV保存

「文書×抽出語」表（マニュアル A.3.5節）drをもとに、共起とDFを計算しています。

[ko-ichi-h]

蛇足ながら、Jaccard係数は、「共起の強さを測るJaccard係数とは」スライドの「語C」や「語D」の順位を下げる傾向にあります。
https://speakerdeck.com/koichih/gong-qi-noqiang-sawoce-rujaccardxi-shu-toha

なので（共起ネットワーク作成時にJaccard係数を選択していれば）、もともと、「共起」頻度が低いような語はあまり上位にはあがっていないと思います。