Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

AArch64のmacOS版で、INTRA Thread Countのデフォルトが1になっているらしい？ #888

Open
1 of 3 tasks
qryxip opened this issue Dec 8, 2024 · 3 comments
Open
1 of 3 tasks

AArch64のmacOS版で、INTRA Thread Countのデフォルトが1になっているらしい？ #888

qryxip opened this issue Dec 8, 2024 · 3 comments
Labels
OS：mac バグ

Comments

@qryxip
Copy link
Member

qryxip commented Dec 8, 2024 •
edited
Loading

不具合の内容

現象・ログ

 Exception: Failed to run inference on model: intra op thread pool must have at least one thread for RunAsync

https://github.com/qryxip/voicevox_core/actions/runs/12220063778

使われているのは、onnxruntime-builderの/onnxruntime-osx-arm64-1.17.3.tgzのはずです。

https://github.com/VOICEVOX/ort/blob/09a9fe1619c1561efafc02f68f0bda4aad879771/ort-sys/dist.txt#L1

再現手順

期待動作

VOICEVOXのバージョン

OSの種類/ディストリ/バージョン

  • Windows
  • macOS
  • Linux

その他
@qryxip qryxip added the バグ label Dec 8, 2024
@qryxip qryxip mentioned this issue Dec 8, 2024
Merged
qryxip added a commit that referenced this issue Dec 9, 2024
@qryxip
feat!: RunAsyncを使う (#889)
697e459 
非同期APIにおける推論に`ort::Session::run_async`を使うようにする。これに
より、推論がキャンセル可能になる。

#888 の影響を受け推論が失敗するので、CIを通すため、Python APIのテストと
exampleについては（すべてのプラットフォームで）
`cpu_num_threads=max(multiprocessing.cpu_cout(), 2)`とする。

Resolves: #687
Refs: VOICEVOX/ort#11
BREAKING-CHANGE: 非同期APIにおいて、INTRA Thread Countが`1`だと推論がすべてエラーになる。
See-also: https://docs.rs/ort/2.0.0-rc.4/ort/struct.Session.html#method.run_async
@qryxip
Copy link
Member Author

qryxip commented Dec 27, 2024 •
edited
Loading

VOICEVOX/onnxruntime-builder#46 を今思い出しました。 GHAのビルドログはもう残ってないだろうけど、 これ踏んでたということなのかな…？

https://github.com/pytorch/cpuinfo/blob/959002f82d7962a473d8bf301845f2af720e0aa4/CMakeLists.txt#L90-L93

@qryxip
Copy link
Member Author

qryxip commented Dec 28, 2024

ONNX Runtime v1.17.3を今ビルドしてみてログを見たところ、多分こうなっている。なので-DCMAKE_SYSTEM_PROCESSOR=aarch64を入れれば多分解決するはず？

ONNX Runtime cpuinfo
onnxruntime-win-x64 OK
onnxruntime-win-x86 OK?
onnxruntime-linux-x64 OK
onnxruntime-linux-armhf OK?
onnxruntime-linux-arm64 OK?
onnxruntime-osx-arm64 ❌
onnxruntime-osx-x86_64 ❌
onnxruntime-android_x64 OK?
onnxruntime-android_arm64 OK?
onnxruntime-ios-arm64 OK?
onnxruntime-ios-sim-arm64 OK?
onnxruntime-ios-sim_x86_64 OK?

@qryxip qryxip mentioned this issue Dec 28, 2024
Merged
qryxip added a commit to VOICEVOX/onnxruntime-builder that referenced this issue Dec 29, 2024
@qryxip
fix: iOS以外CMAKE_SYSTEM_PROCESSORを指定 (#61)
5131d1d 
将来的に新しいONNX Runtimeをビルドするときのために、`cpuinfo`が完全に
コンパイルされるようにする。

当初は VOICEVOX/voicevox_core#888 の解決を目的にしたPRだが、こちらについ
ては駄目なことがわかった。
@qryxip
Copy link
Member Author

qryxip commented Jan 21, 2025

ubuntu-22.04-armとubuntu-24.04-armでやってみたけどこっちは大丈夫っぽい。その点では VOICEVOX/onnxruntime-builder#70 のメリットは受けないことにはなりますね。cpuinfoがアホになっていることが確認できてるのは現状AArch64のmacOS版のみ。…AndroidとiOSは大丈夫だろうな？

https://github.com/qryxip/voicevox_core/actions/runs/12892262737

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
OS：mac バグ
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@qryxip