Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

iteration 5 #20

Open
seven320 opened this issue Nov 4, 2019 · 5 comments
Open

iteration 5 #20

seven320 opened this issue Nov 4, 2019 · 5 comments

Comments

@seven320
Copy link
Contributor

seven320 commented Nov 4, 2019 •
edited
Loading

アプローチ

シナリオ２（負荷85000）
インスタンスを5→10に増やすことで，エラー率が下がるかもしれない

想定インパクト

そこまでないと思われる．
結局too many open filesの部分を解決しているわけではないので，まだエラーが出ると思われる．

モニタリング項目

  • ログの200/5** 率

結果/考察

想定外にも502エラーが消えた
80000の負荷時には
51024 = 5120　＜　101024 = 10240
の間に閾値があると思われる．

スクリーンショット 2019-11-04 10 46 35

too many open filesのデフォルトが1024なので，
５台から１０台に増やしたことでこの値の中に治るようになった？

DBの中にもデータが入っていることを確認
スクリーンショット 2019-11-04 10 37 17
@seven320
Copy link
Contributor Author

seven320 commented Nov 4, 2019

WIP

まずかけるの負荷上昇に備えて，アイデアを実行する

  • bukl insert の実行
    ローカルのテストまで実行

  • too many open filesの根本的解決
    ulimitをインスタンスごとに書き換えるコマンドを作成

@seven320
Copy link
Contributor Author

seven320 commented Nov 4, 2019 •
edited
Loading

kakeru serverが強くなったので，
base lineの測定を行った．35万件くらいかかるようになった
スクリーンショット 2019-11-04 13 07 19

@seven320
Copy link
Contributor Author

seven320 commented Nov 4, 2019 •
edited
Loading

アプローチ

bulk insertを実施
len(bulk)> 10

想定インパクト

やりたかったからやった

結果/考察

エラー率下がったが，502,504ともに出ている
スクリーンショット 2019-11-04 14 01 58

@seven320
Copy link
Contributor Author

seven320 commented Nov 4, 2019 •
edited
Loading

アプローチ

ulimitを1024->4096に変更

想定インパクト

502(too many open files)が消えるはず

結果/考察

504が消えた
スクリーンショット 2019-11-04 15 43 07

@seven320
Copy link
Contributor Author

seven320 commented Nov 4, 2019

アプローチ

LBから各インスタンスへのパケット送信を使いまわせるように
keep alive する

想定インパクト

504（time out）が消えるはず

結果/考察

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@seven320