Redisでログの書き込みがblockを引き起こす

「RedisかわいいよRedis」(by typester)……というほど自分は Redis 期でもないのですが、最近 Redis を使ったサービスの面倒を見ていて時々レスポンスが悪化する現象に出会ったので調べました。 前提 使用しているのは Redis 2.4.16 です。redis.conf に "sav…

[fluentd] 同じメッセージを間引く fluent-plugin-suppress を書いた

fluentdで、なんらかの理由で大量に同じメッセージが送信されてきたときに、それを渡す output plugin によってはちょっと困ることがあります。たとえば out_mail を使うとメールが大量に飛んでしまう。ということで、同じ (指定したkeyの値を連結したものが…

#isucon2 で優勝してきました

なんでもありのいい感じにスピードアップコンテスト ISUCON が 2 になって帰ってきたので、参加して優勝を勝ち取ってきました。まとめ的なものはこちらから livedoor Techブログ : ISUCONチームメンバーのblogも併せてご覧ください。 おそらくはそれさえも平…

Zabbix-1.8で運用中のzabbix-serverを分散監視に切り替える場合の注意

実運用に使用している Zabbix-1.8 を、とある事情で途中から分散監視設定に変更しようかと思い立って調査したところ、気を付けないと危なそうなのでメモ。(zabbix-2.0以降はみていません)分散監視のドキュメントを参考に、 zabbix_server.confファイルに次の…

fluentdで複数箇所から同一のファイルに出力する

このエントリは「ウィークリーFluentdユースケースエントリリレー」への参加記事です。ウィークリーFluentdユースケースエントリリレーまとめ(現在12本まで。) - iをgに変えるとorangeになることに気づいたoranieの日記fluentd で一番手軽な出力 plugin と…

WEB+DB Press vol.71 に「Webアプリケーションのパフォーマンス改善」を寄稿しました #wdpress

本日10/24発売の技術評論社 WEB+DB Press vol.71、Perl Hackers Hubの連載に「Webアプリケーションのパフォーマンス改善」というタイトルで寄稿させていただきました。WEB+DB PRESS Vol.71作者: 竹迫良範,Jxck,はまちや2,相澤歩,柴田博志,池田尚史,梅澤雄一…

手軽に使える forward http proxy : stone, Tinyproxy

直接グローバルに繋がる経路をもたないホストから http アクセスしたいので http proxy を使いたい。Squidは定番ですが、もう少し手軽なのはなにかないかと思っていたところ twitter で教えていただきました。ありがとうございます。 reverseじゃなくてforwa…

MySQL 5.6のInnoDB memcached pluginを使ってみる

MySQL 5.6の RC 版が出ましたね。魅力的な機能が満載で皆さんwktkしていることと思います。早速、個人的に気になっていた memcached plugin を試してみました。最初に結論から言いますが、現時点 (5.6.7rc) では HandlerSocket の代わりに使えるようなもので…

YAPC::Asia 2012で「Webアプリケーションのベンチマークとプロファイリング」を発表しました

Perlのお祭りYAPC::Asia、今年もフルに参加して楽しんでいます。初日のLT前に「Webアプリケーションのベンチマークとプロファイリング」というタイトルで発表しました。発表資料はこちらです。 Webアプリケーションのベンチマークとプロファイリング今回の発…

zabbixでiptablesが有効になっているかどうかを検出する

iptables、便利ですが必要のないホストで有効になっていると困りますね。特に conntrack が適切に設定されていない状態で有効になると、流量が多くなった時にテーブルが溢れてパケットが捨てられてしまいます。厄介なことに、状態を確認しようと思って迂闊に…

RedisをKeepalivedでフェイルオーバーする構成案

master slave 構成を取っている Redis で、master が落ちた場合に slave を昇格させてフェイルオーバーしたいという要件がありまして、Keepalived と組み合わせて構成してみました。Redis の運用経験がないのでご意見などいただければありがたいです。 Scien…

ロードアベレージを監視して任意のコマンドを実行する(monitで)

他に似たツールがあれば教えて欲しいです ロードアベレージを監視して任意のコマンドを実行するコマンド - blog.nomadscafe.jp いままで使ったことはなかったのですが、monit でできるはず、と思って実験。一般的には、負荷が上がったりプロセスが応答しなく…

libvirt-0.9.10 にバージョンアップして 0.8.7 に戻したら起動しているVMが認識できなくて困った

Scientific Linux 6.0 で KVM + libvirtd で仮想環境を構築していて、libvirt-0.8.7-18.el6_1.1.x86_64 → libvirt-0.9.10-21.el6.x86_64 に update したところ、libvirtd が起動時に Segmentation falt するという現象に遭遇。 Caught Segmentation violatio…

chef-solo + capistrano で複数ホストを管理する

chef-server は仕組みが大げさでインストールも大変だし、10〜20台ぐらいなら chef-solo と capistrano を組み合わせればいいよね?(同案多数) Capistranoとchef-soloを組み合わせて使う | ひげろぐ capistrano + chef-soloで構成管理する - delirious tho…

capistrano で引数から設定した値が定義済みかどうか確認する

capistrano でコマンドラインから値を渡すのに -S foo=bar のようにしますが、この値が定義されているかどうかを確認したくて defined? してみたものの常に未定義になる。でも値は取れる。 # config/deploy.rb if defined? foo puts "foo is defined. foo=#{…

[perl] リクエスト処理前後のメモリ使用量を調べる Plack::Middleware::GTop::ProcMem を書いてみた

https://github.com/fujiwara/Plack-Middleware-GTop-ProcMemPlack アプリケーションが、どれかの処理でメモリを使いすぎてプロセスが太るらしい。でもそれがどのURLを処理したときなのかが分からない、という場合にこんな Middleware を使えば調べられるか…

Monitoring Casual Talk #1 で im.kayac.com の話他をしてきました

同僚の @kenjiskywalker が運用と監視の勉強会をしたい!といいだして、でも弊社には外部の人を呼んで勉強会ができる適当な場所がないなあと悩んでいたら @oranie さんと @masudaK さん、@nakashii_ さんが会場を提供していただけるということで、とんとん拍…

cron で > /dev/null して椅子を投げられないための3つの方法

(タイトルは釣りです)いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ!出力を /dev/null に捨てるなんてとんでもないよね!」と思ってよく読んだら /dev/null に間違いな…

munin-node → Fluentd → GrowthForecast でオレオレモニタリングツールへの道?

できるかなと思って、とりあえず繋げてみたのでメモ。中途半端。 munin-node → Fluentd munin-ruby で取得した値をまるごと fluentd に送信するスクリプトをcronで1分ごとに実行。 #!/usr/bin/env ruby require "munin-ruby" require "fluent-logger" host =…

標準入力から読んでFluentdに送信するにはfluent-agent-liteが便利

標準入力から受けたログを syslog に送信する場合に使えるのが logger(1) コマンドです。 $ echo "log message" | logger -t myapp -p local0.info自分のところではバッチ処理の出力や、daemontools で起動したコマンドの出力を log/run で logger に渡して …

[fluentd] #Fluentd Casual Talks で「fluentdでWebサイト運用を楽にする」話をしてきました

id:tagomoris さんにお声がけいただきまして、Fluentd Casual Talks にて「fluentdでWebサイト運用を楽にする」というタイトルで発表させていただきました。発表資料はこちら 主催者の id:tagomoris さん、会場を提供していただいた DeNA 様、いろいろ準備を…

fluent-plugin-zabbix リリース

fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] …

[perl] Class::Method::Modifiers で WWW::Mechanize の送信するリクエスト内容をロギング

WWW::Mechanize がどんなリクエストを送っているのか、をログに出力してデバッグに使いたいという話。Class::Method::Modifiers を使って、LWP::UserAgent::send_request を hook してあげるとうまくいった。(WWW::Mechanize は LWP::UserAgent の子クラス) …

#fluentd で maillog を読み込んで MongoDB に投入

MTA が吐く maillog は普段あまり見ないのだけど、トラブルがあったときには大変重要。これも Mongo に入れれば、問い合わせがあったアドレスで検索してログを管理画面で見るとかできて便利!ということでやってみた。 # fluentd.conf <source> type tail path /var/</source>…

[nginx] nginx で upstream を active backup 構成

nginx で振り分けるのに、いままで自分の作った構成だと backend はすべて active でロードバランスしてたけど、都合により active-backup 構成にしたくて調べたら簡単だった。一応メモ。HttpUpstreamModule - Nginx Community backup - (0.6.7 or later) on…

[perl] コマンドラインから Day One に投稿する

最近 Day One ってメモアプリが人気なんでしょうか。便利ですよね。とりあえず Dropbox 同期している場合限定ですが (iCloud の仕組みをよく知らない)、コマンドラインから投稿するスクリプトを書いてみました。 $ perl dayone.pl 標準入力からテキストを入…

Parallel::Benchmark というモジュールを書きました

プロセスを並列に立ち上げて負荷を掛けるようなベンチマークを実行することって、よくありますよね。(例 : クエリキャッシュを切ったほうがいイカ? ベンチマークしてみた - 酒日記 はてな支店)Perl で Parallel::ForkManager を使うとそういう処理も簡単に…

warn() で吐かれるログを捕まえて投げる

Perl では $SIG{__WARN__} という疑似シグナルハンドラを使って、warn() で出力されようとする内容をトラップして処理することができます。 package MyWorker; my $logger = Fluent::Logger->new; sub work { my $job = shift; local $SIG{__WARN__} = sub {…

Perl から Fluentd にログ出力 - Fluent::Logger リリース

皆さん、ログ書いてますか!?(挨拶)Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は …

KVM guest VM が突然 paused になった

何も前触れもなく、KVM の guest VM が突然 paused (suspend した状態) になってしまって何事かなのか悩んでいたところ。 VM 置いてるファイルシステムがいっぱいになったときになりました。RT @fujiwara: 【緩募】KVMのguest VMが何もしてないのにいつの間…

クエリキャッシュを切ったほうがいイカ? ベンチマークしてみた

カジュアル!(挨拶) このエントリは MySQL Casual Advent Calendar 2011 の18日目の記事です。昔、専ら PostgreSQL を使っていた頃、MySQL のクエリキャッシュって簡単に性能上がるしみたいだし羨ましいなあ、と思っていました。そのため、1年ほど前から業務…

HAProxy で graceful restart する方法

haproxy には起動後に設定ファイルを読み込み直したりする機能がないので、バランス先を追加するなどの変更が無停止ではできない、と思い込んでいたのだけど実は違った、というお話。実際、同一プロセスで読み込み直すことはできないのだけども、以下のよう…

USB HDD が認識できなかったので mknod

メモです。サーバに USB HDD を繋いで、USBデバイスとしては認識されているのに usb_storage としては見えなかったのでなぜだろうかと。modprobe usb_storage してもだめ。 kernel: usb 1-5: new high speed USB device using ehci_hcd and address 3 kernel…

[perl] YAPC::Asia 2011 で発表しました #yapcasia

年に一度の Perl のお祭り YAPC::Asia で発表してきました。スライドはこちら (IE以外のブラウザ推奨) Perlで構築された中規模サイトのDC引っ越し記録 100万PV/日、数十Mbps 程度の中規模サイトを サーバ構成をリファクタリングしつつ なるべく止めずに 新DC…

mysql コマンドの履歴を残したくない場合は MYSQL_HISTFILE=/dev/null

タイトルで内容を全部書いてしまった。SQL を直接 mysql コマンドから発行する場合、デフォルトでは履歴が $HOME/.mysql_history に残ります。次回起動した場合にも履歴をさかのぼれるわけですが、たとえば「本番データベースに繋いで更新、削除系の操作を実…

#isucon ではどんなことを考えながら作業していたか

前のエントリ #isucon で優勝してきました は当日夜に酔っ払った頭で勢いで書き上げたので、少し冷静に振り返ってまとめてみます。 最初のボトルネック発見 DB が CPU 4コアをフルに使って回っているのですぐに Query が重いのは分かった 重いクエリはキャッ…

#isucon で優勝してきました

なんでもありのWebアプリケーション高速化バトル、#isucon に会社の同僚 @Songmu @sugyan と3人で、fujiwara組として参戦してきました。結果、幸いにも優勝を勝ち取ることが出来ました。こんなに楽しいイベントを企画、運営していただいた Livedoor の皆様、…

MySQLで参照の負荷分散を行うslaveは3台から構成するのがよいのでは

前回の記事 MySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか の続きです。master : slave = 1 : 1 で参照を slave に分散してもまったく美味しくないわけですが、では参照の負荷分散を行いたい場合の slave は何台で構成するとよい…

MySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか

MySQLのmasterとslave 1:1にして参照をslave向けるのってやりたがる人多いみたいだけど、性能たいして上がらない割に可用性落ちるだけだからやめようキャンペーン2011-06-19 00:16:30 via YoruFukurouMySQL はレプリケーションが簡単に構成できるのですが、…

Unbound で一部の名前だけ置き換える DNS cache サーバを立てる

とある特定の名前だけ、本来のとは別の IP アドレスを返したい場面というのが開発中によくあります。 (追記) PCならば hosts を書き換えればいいのですが、iPhoneなどそういう手段が容易にとれない端末に対して行いたいUnbound を使ってそのような DNS cache…

Webアプリケーションのログについてあれこれ

社内勉強会で話したスライドをおいておきます。(IE以外のブラウザ推奨)http://dl.dropbox.com/u/224433/kayac-01-log/index.html初心者向けというか、かなりざっくりしたスピリチュアルな話でございます。要約すると、 後で役に立つからログは出しておけ ロ…

rsyslogの式ベースフィルターで小ハマりしたメモ

そろそろ rsyslog の便利機能も試してみるかと思っていじってたら、式ベースフィルターで小ハマりしたのでメモ。Ubuntu Server 10.04 LTS の rsyslogd 4.2.0.式ベースフィルターでメッセージにマッチさせる設定をこのように書いたら、 # NG if $msg contains…

SIGNALを考慮してないTheSchwartz Job workerをなるべく安全に停止する

TheSchwartz の worker はシグナルに対してデフォルトでは何もしないので、再起動させようと SIGHUP を送信したりすると job 処理の途中で割り込まれて死ぬ可能性があります。自前でトラップして安全に再起動する方法は過去に TheSchwartz の worker を安全…

[qpstudy] #qpstudy Lite 1周年記念LT大会に参加しました

qpstudy 1周年おめでとうございます!今回はほぼずっと LT のタイムキーパーとしてタイマー操作しながら、一番前の特等席でビールを飲むという簡単なお仕事でした。樽生ビールはやっぱり美味いですね。例によって LT もしてきました。HTML + JavaScript で資…

nginxでX-Accel-Redirectを使う場合に余計なヘッダを削除する

アプリケーションで認証後 S3 のコンテンツを返したかったのだけど、nginx で BASIC 認証を掛けていたらうまくいかなかった、というお話。 Amazon S3 の認証トークン付き URL をアプリケーションで生成し X-Accel-Redirect ヘッダに出力 nginx が S3 から取…

OMRON の UPS BY35S を Linux と使う

先日引っ越して自宅サーバを移動したところ、まれにサーバの電源を取っている子ブレーカが落ちることが判明。HDD が壊れたらたまらないので、今まで自宅では使っていなかった UPS を導入することにした。前の会社では APC の UPS ばかり使っていたので、惰性…

#qpstudy 05 に参加 & LT してきました。

qpstudy は第1回から皆勤賞です。回を重ねるごとに女性の参加者が増えるというのは、何かすごい現象を目の当たりにしている気がします。メインのディストリビューション対決は、対決といいつつ皆さんの愛を感じました。Linux 以外の OS でも見てみたい。本編…

KVM にインストールした CentOS-5.5 のタイマー調整

kvm

調子に乗ってゲストをばしばし clone して増やしていたら、気がついたら host の CPU 負荷 (sys) が妙に高い。host で vmstat を見てみると、cs (context switches) の値が 1 guest 起動するごとに 8000 ぐらい増える。割り込み発生しすぎ、ってことですね。…

LVM にインストールした仮想マシンのディスクをあとから増やす方法

host 側に LVM でパーティションを切って、そこに KVM なりなんなりの仮想マシン (guest) をインストールした場合、あとから guest のディスクを増やすのにはこんなふうにすればいいかな、というメモ。まず host 側で LVM パーティションを作成し、そこに gu…

Kamakura.pm techtalk #1 (とか転職のお知らせとか

Kamakura Perl Mongers 発足ということで、テクニカルトーク #1 にスピーカーとして参加してきました。 # というかスピーカー枠に埋められていたというかスライドはこちら→Sys::Virt で仮想マシン操作 ですが、かなり手抜きですみません。トークの後半分ぐら…