1.0.10J-r3にアップデート後イベントログにエラーが溜まっていた

[min-o]

-----
ご利用のサーバ:　さくらインターネット
Webサーバのバージョン :
PHPのバージョン :5.2.17
データベースのバージョン : 5.1.66-log
MODXのバージョン : 1.0.10J-r3
ブラウザ :fierfox23.0.1
-----

お世話になっております。
modx 1.0.10J-r3 のイベントログに以下のエラーが27ページ分も溜まっていました。

以下が最新のエラーメッセージです。
Basic infoとParser timingは毎回違いますが、他の部分は毎回同じです。
[+source+]

エラー
イベントID 0
ソース
日付 2013/08/26 21:36:32
Use of undefined constant E_USER_DEPRECATED - assumed 'E_USER_DEPRECATED'
? MODX Parse Error ?
MODX encountered the following error while attempting to parse the requested resource:
? Failed to create the database connection! ?
Basic info
REQUEST_URI : /products/*****.html
Referer :
User Agent : Sogou web spider/4.0( http://www.*****.com/docs/help/webmasters.htm#07)
IP : 61.135.189.129
Parser timing
MySQL : 0.0000 s (0 Requests)
PHP : 24.1603 s
Total : 24.1603 s

Backtrace
1 DocumentParser->executeParser()
index.php on line 143
2 DBAPI->connect()
manager/includes/document.parser.class.inc.php on line 178
3 mysql_connect()
manager/includes/extenders/dbapi.mysql.class.inc.php on line 50

8/5に1.0.7から 1.0.10J-r3へアップデートしてから出続けています。
アプデ後、content内容の多い非公開リソースをプレビューする際、 Internal Server Errorが出ることが多くなりました（再読み込みで解決する）が
関係あるのでしょうか？

よろしくお願いします。

[yama]

> Failed to create the database connection
とのことなので、データベースへの接続が失敗しているようです。この部分は新しいバグが発生しにくいですが、何か条件が重なると接続できなくなるのかもしれません。
UAが「Sogou web spider」になってますが、他のもだいたいそうでしょうか？アクセス間隔などはだいたい分かりますでしょうか？

[min-o]

yamaさま
返信ありがとうございます。

UAは全てではないですが添付した画面のページでは半分くらいが「Sogou web spider」です。
24日ごろから「Sogou web spider」増えています。
他は

Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_1_4 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Mobile/10B350
Mozilla/5.0 (Linux; U; Android 2.3.5; ja-jp; F-03D Build/F0001) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 YJApp-ANDROID jp.co.yahoo.android.yjtop/2.2.2
facebookexternalhit/1.1 ( http://www.facebook.com/externalhit_uatext.php)
などいろいろです。

頻度は添付画面の日付でわかりますでしょうか。

[yama]

このログを見ると36分32秒だけでも11件のリクエストがありますね。普通のレンタルサーバで扱う量としては少し多く、キャッシュ設定をバイパスモードにしていない場合は、接続失敗の原因としては考えられる量だと思います。接続に失敗してからこのエラーが発生するので、実際にはもっと多数のリクエストが発生していると思います。

もしそれが原因だとしたら、
http://d.hatena.ne.jp/windyakin/20110402/1301722216
http://www.multiburst.net/sometime-php/ ... bad-agent/
上記のような対応が有効だと思います。上記ページはリクエスト拒否の設定を推奨していますが、それも実際は負荷がかかるので、最初はrobots.txtで試してみるのがよいと思います。
行儀が悪いと言われるクローラーでも、最近はrobots.txtを読んでくれることが多いみたいです。(そうしないと世界中のウェブマスターから強制拒否されるので)

[min-o]

yamaさま

丁寧な解説ありがとうございます。
確認したらインストール時のsample-robots.txtのままrobots.txtを使っていませんしたorz

robots.txt　に

User-Agent: Sogou web spider
Crawl-delay: 60

を追加してアップロードしましたので、これでしばらく様子をみてみます。
エラーを確認して他にも数多くでてくるクローラーがあれば、同じようにやってみます。

ありがとうございました。

[min-o]

その後の報告です。
エラーログはまだありますが、一時に較べれば減ったようです（facebookがかなり来てました）。
しかしログには記録されませんがInternal Server Errorが頻発し、管理画面から編集保存をしても途中でError、何度も開いてやり直してやっと保存、プレビューするとまた、エラーで表示できないということが増えました。

使用しているデータベースはMySQL 5.1でしたが、これをエクスポートして
新規でつくったMySQL 5.5データベースにインポート、manager/includes/config.inc.phpを書きかえ、
MySQL 5.5データベースを使用するようにしたところ、かなり改善されました。

まだエラーログはありますが、Internal Server Errorはぐっと減りました。