WP Super Cacheプラグインを入れると、1度目のアクセスで文字化けする。
1度再インストールしてみたが、改善しない。
どうやら、HTTPのレスポンスヘッダが

HTTPレスポンスヘッダ
Content-Type:text/html; charset=SHIFT-JIS

となっているようだ。
原因は、PHPのmbstringの設定にあった模様。
.htaccessに次の設定を追加したら文字化けが解消した。

.htaccess
php_flag output_buffering On
php_value output_handler mb_output_handler
php_value default_charset UTF-8
php_value mbstring.language Japanese
php_value mbstring.internal_encoding UTF-8
php_value mbstring.http_input pass
php_value mbstring.http_output pass 
php_flag mbstring.encoding_translation Off
php_value mbstring.detect_order auto
php_value mbstring.substitute_character 32
php_value session.save_handler files
php_flag allow_call_time_pass_reference On

WordPressをインストールしたフォルダと、稼働させているフォルダが違うせいだろうか?
詳しい原因は不明。