BugTrack/2422 の履歴ソース(No.11)

#author("2017-06-04T23:51:31+09:00;2017-06-04T22:59:37+09:00","","")
* アクセスカウンタが時々リセットされる [#x7c9bdfd]

- ページ: BugTrack
- 投稿者: [[umorigu]]
- 優先順位: 低
- 状態: 着手
- カテゴリー: 本体バグ
- 投稿日: 2017-05-24 (水) 02:32:06
- バージョン: 1.5.1

** メッセージ [#se4e36a8]
アクセスカウンタがリセットされてしまう。

Database等を使ってリセットされないようなオプションを用意する。

*** 対応 [#fbc22beb]

Database等を使ってリセットされないようなオプションを用意する。SQLiteがPHP5.1で組み込まれているので利用しやすい。

plugin/counter.inc.php:
 // Use Database (1) or not (0)
 define('PLUGIN_COUNTER_USE_DB', 0);

PLUGIN_COUNTER_USE_DB を 1 にするとDB利用カウンタになる。(PDOオプションは設定可能、デフォルトは SQLite利用で counter/counter.db に保存される。

*** 変換ツール [#x5f6e3c0]

ファイル利用カウンタのデータをデータベース上のデータに変換するツールです。


&ref(counter_db_import_files.php);

- 1. counter_db_import_files.php をダウンロードして、pukiwikiルートディレクトリに配置する
- 2. コマンドラインから次のphpコマンドを実行する
 php -r "include 'counter_db_import_files.php'; plugin_counter_tool_convert_to_db();"
- 3. counter/counter.db ファイル(SQLiteファイル)が出来ているのを確認する
- 4. plugin/counter.inc.php で PLUGIN_COUNTER_USE_DB を 1 に設定する。
- 5. PukiWiki上で動作を確認する
- 5. 正しく動作することが確認できたらページ別カウンタファイル counter/*.count をすべて削除する


*** ToDo [#w5597210]

- 済 %%counterプラグインにDB(PDO)実装を追加する%%
- 済 %%ファイル利用カウンタをDB利用カウンタに変換するツール%%
- 未 populerプラグインの対応
- 未 renameプラグインの対応


--------
** コメント [#gc2587a5]

- [[official:WebTrack/102]] --  &new{2017-05-24 (水) 21:31:36};
- こんにちは。一件（一行）のコメントには、なるべく一つのテーマについてご発言をお願いします。事後にコメントを整理する場合がありますが、その際により綺麗に整理できます。 -- [[henoheno]] &new{2017-06-04 (日) 22:59:37};

#comment


** コメント: 既存実装 (ファイルシステム版) [#ud95ba45]

- 現行のcounterの排他処理はちゃんと記述されているように見えましたが、Modify処理（ftruncate→fputs）がアトミックではないので何らかの理由でサーバー側のプロセスが異常終了するとカウンタが消失してしまうということでしょうか。 -- [[Yorkfield]] &new{2017-05-28 (日) 19:32:23};
-- コメントありがとうございます。正直なところ、カウンタがリセットされる原因がはっきりわかっているわけではないです。[[BugTrack/191]]も解決済みになっています。ただ、このサイトのトップページでもでもたびたびリセットが発生しています（ここのバックエンドはNFSだと思われます）し、私の運用しているサイトでも発生します。ファイルベースでは限界があるのかな、と思って確実な動作が期待できるDBにしてみました -- [[umorigu]] &new{2017-05-29 (月) 02:19:19};
-- なるほど、flock自体が信頼できない環境ですか。それを想定するなら、ファイルベースではmkdir(やsymlink)を使ったファイルロックを自前で実装するしか無いかもしれませんね。ロック解除待ちでポーリングが必要、プロセス異常終了時にロックディレクトリが残ってしまう対策などがあるので、できれば今更使いたくはないところですが。 -- [[Yorkfield]] &new{2017-05-30 (火) 20:16:37};
-- 更新処理を「一時ファイル生成→Rename」にすれば、書き込みがアトミックになるので多少は問題が緩和するかもしれません。（カウント前とカウント後のどちらかの値は読めるので0リセットは起こらなくなる。） -- [[Yorkfield]] &new{2017-05-30 (火) 20:16:48};


#comment

** コメント: SQLite版 [#j22e1409]

- counterプラインのオプションとして、カウンタをSQLiteのDBで保持するようにしました。 commit:1a7d267248ea -- [[umorigu]] &new{2017-05-28 (日) 07:30:03};
- このサイト(PukiWiki-dev)でDB利用カウンタを運用開始しました -- [[umorigu]] &new{2017-05-28 (日) 07:49:42};

- 従来のcounterは「排他ロック→Read→Modify(+1)→Write→アンロック」という排他制御がされています。しかし、SQLite版のcounterは排他制御が不十分で、「Read→Modify→Write」の間に他のアクセスが割り込むとそのアクセスではWriteする前の値をReadしてしまいます。その結果、カウント数が実アクセス数より少なくなる恐れがあります。&br;EXCLUSIVEトランザクションを使えば問題は解決できると思いますが、SQLiteは行ロックが無くデータベース全体のロックになること、Wikiページ全てで1つのデータベースを共有する構成であることからパフォーマンス面で懸念があります。 -- [[Yorkfield]] &new{2017-05-28 (日) 22:02:41};
-- 鋭いご指摘ありがとうございます。もともとそれほど厳密なカウントでなく、またご指摘のように過剰なロックでパフォーマンスが落ちてしまうことを避けるために、多少の誤差には目をつぶることにしました。（リセットされてしまうよりはマシ、ということです）。未確認ですが、SQLite依存の処理は使っていないのでMySQLなど他のDBを使っても動作すると思います -- [[umorigu]] &new{2017-05-29 (月) 02:27:39};
-- UPDATEの際は必ず+1する (SET total = total + 1) ことにすれば、既存処理と同程度の精度にはなりますね。表示する値とのズレを気にしていたのですが、表示の方がずれても問題は少ないということに気が付きました。対応しました commit:5e61ada134 -- [[umorigu]] &new{2017-05-29 (月) 03:25:57};
--- UPDATE時+1は良いですね。カウンタ100の時に3人が同時アクセスすると3人ともカウンタ100を見ることにはなりますが、カウンタは103までまわるので、大局的には問題が無いです。 -- [[Yorkfield]] &new{2017-05-30 (火) 20:12:38};

- PukiWiki-official もDB利用カウンタ(PLUGIN_COUNTER_USE_DB:1)での運用に切り替えました -- [[umorigu]] &new{2017-05-29 (月) 02:36:09};
- カウンタがリセットされるぐらいflockが期待通りに動かない環境ならSQLiteのトランザクションも期待できないことに気づきました。やっぱりMySQL使わないとダメか… -- [[umorigu]] &new{2017-05-29 (月) 22:12:07};
-- ://sqlite.org/lockingv3.html や ://sqlite.org/howtocorrupt.html を見ると、「NFS上のロックに見られるようにロック実装自体に問題があるとデータベースは壊れる」ようなことが書かれているので、そういう環境だとだめそうですね……。 -- [[Yorkfield]] &new{2017-05-30 (火) 20:24:05};
-- flockはカウンタだけでなくページ編集などでも使われているので、flockが動かない環境まで考慮する必要があるならカウンタ以外にも影響が出そうです。（余談：ロックがどこで使われているか軽く眺めていて気になったのですが、lib/backup.phpはそもそもロックしてない？） -- [[Yorkfield]] &new{2017-05-30 (火) 20:35:46};
-- flockが動かないとページ更新処理も全滅なのですが、アクセスカウンタはページが閲覧されただけでもwriteされるので他のwriteの箇所よりも更新頻度が高く、このため影響が見えやすいのだと思います -- [[umorigu]] &new{2017-05-30 (火) 23:44:03};
- ここまでの議論で、OSDN.netのプロジェクトWebサーバーはストレージがNFSであり、SQLiteではDBファイルが壊れる危険があることがわかりました。 -- [[umorigu]] &new{2017-06-02 (金) 01:47:44};

#comment



** コメント: MySQL版 [#e2541fb9]


- アクセスカウンタを、プロジェクトDB ( osdn.net/docs-ja/MySQL_Howto ) として提供されいてるMySQL利用に切り替えました。MySQLはクライアント-サーバ方式なのでデータが壊れることはありません -- [[umorigu]] &new{2017-06-02 (金) 01:47:44};


#comment