[CentOS][Zabbix] CentOS 6.4+Zabbixな環境で、Continuous Releaseを適用したらZabbixが絶不調になった。

2013-11-30 09:25:36AIX、UNIX、LinuxCentOS, zabbix

AdditionalResources/Repositories/CR – CentOS Wiki /
http://wiki.centos.org/AdditionalResources/Repositories/CR

RHEL 6.5が公開され、徐々にですがCentOS側にもバックポートがされるようになってきました。そのうち、先んじてバックポートされるレポジトリである、The Continuous Release ( CR ) Repositoryがあります。

自宅Zabbixサーバとして利用しているサーバに早速適用したところ、Zabbixでの一覧やグラフ描画が著しく遅い症状が見られました。最初はDBが悪いのかと思い、MySQLを5.1から5.5へ変更したり、さらにDBのチューニングをしたりしましたが一向に改善せずにいました。

朝食をとってふと/var/log/messagesをみたところ、以下の様なメッセージが出ていることにようやく気が付きました。

Nov 30 08:03:26 zabbix kernel: [] ? ip6_xmit+0x44a/0x520 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? inet6_csk_xmit+0x298/0x320 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? tcp_transmit_skb+0x40e/0x7b0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_write_xmit+0x230/0xa90
Nov 30 08:03:26 zabbix kernel: [] ? __tcp_push_pending_frames+0x30/0xe0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_data_snd_check+0x33/0x100
Nov 30 08:03:26 zabbix kernel: [] ? tcp_rcv_established+0x3dd/0x7f0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_v6_do_rcv+0x38d/0x6a0 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_pol_route_input+0x1f/0x30 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? tcp_v6_rcv+0x5af/0x8d0 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? pull_task+0x4e/0x60
Nov 30 08:03:26 zabbix kernel: [] ? ip6_input_finish+0x16a/0x410 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_input+0x58/0x60 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_rcv_finish+0x3f/0x50 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ipv6_rcv+0x388/0x460 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? __netif_receive_skb+0x4ab/0x750
Nov 30 08:03:26 zabbix kernel: [] ? process_backlog+0x9a/0x100
Nov 30 08:03:26 zabbix kernel: [] ? net_rx_action+0x103/0x2f0
Nov 30 08:03:26 zabbix kernel: [] ? kvm_clock_read+0x1c/0x20
Nov 30 08:03:26 zabbix kernel: [] ? __do_softirq+0xc1/0x1e0
Nov 30 08:03:26 zabbix kernel: [] ? call_softirq+0x1c/0x30
Nov 30 08:03:26 zabbix kernel: [] ? do_softirq+0x65/0xa0
Nov 30 08:03:26 zabbix kernel: [] ? irq_exit+0x85/0x90
Nov 30 08:03:26 zabbix kernel: [] ? smp_call_function_single_interrupt+0x35/0x40
Nov 30 08:03:26 zabbix kernel: [] ? call_function_single_interrupt+0x13/0x20
Nov 30 08:03:26 zabbix kernel:   [] ? native_safe_halt+0xb/0x10
Nov 30 08:03:26 zabbix kernel: [] ? default_idle+0x4d/0xb0
Nov 30 08:03:26 zabbix kernel: [] ? cpu_idle+0xb6/0x110
Nov 30 08:03:26 zabbix kernel: [] ? start_secondary+0x2ac/0x2ef

Nov 30 08:03:22 zabbix kernel: [] ? default_idle+0x4d/0xb0
Nov 30 08:03:22 zabbix kernel: [] ? cpu_idle+0xb6/0x110
Nov 30 08:03:22 zabbix kernel: [] ? start_secondary+0x2ac/0x2ef
Nov 30 08:03:22 zabbix kernel: ---[ end trace 9cc09b39f1be08e8 ]---
Nov 30 08:03:26 zabbix kernel: ------------[ cut here ]------------
Nov 30 08:03:26 zabbix kernel: Hardware name: Bochs
Nov 30 08:03:26 zabbix kernel: : caps=(0x180260, 0x180269) len=2954 data_len=0 ip_summed=3
Nov 30 08:03:26 zabbix kernel: Call Trace:
Nov 30 08:03:26 zabbix kernel:   [] ? warn_slowpath_common+0x87/0xc0
Nov 30 08:03:26 zabbix kernel: [] ? warn_slowpath_fmt+0x46/0x50
Nov 30 08:03:26 zabbix kernel: [] ? dev_queue_xmit+0x228/0x320
Nov 30 08:03:26 zabbix kernel: [] ? ip6_output_finish+0x8a/0x120 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_output2+0x2bb/0x2d0 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_output+0x85/0x140 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_xmit+0x44a/0x520 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? inet6_csk_xmit+0x298/0x320 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? tcp_transmit_skb+0x40e/0x7b0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_write_xmit+0x230/0xa90
Nov 30 08:03:26 zabbix kernel: [] ? __tcp_push_pending_frames+0x30/0xe0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_data_snd_check+0x33/0x100
Nov 30 08:03:26 zabbix kernel: [] ? tcp_rcv_established+0x3dd/0x7f0
Nov 30 08:03:26 zabbix kernel: [] ? tcp_v6_do_rcv+0x38d/0x6a0 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_pol_route_input+0x1f/0x30 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? ip6_rcv_finish+0x3f/0x50 [ipv6]
Nov 30 08:03:26 zabbix kernel: [] ? process_backlog+0x9a/0x100
Nov 30 08:03:26 zabbix kernel: [] ? __do_softirq+0xc1/0x1e0
Nov 30 08:03:26 zabbix kernel: [] ? call_softirq+0x1c/0x30
Nov 30 08:03:26 zabbix kernel:   [] ? native_safe_halt+0xb/0x10
Nov 30 08:03:26 zabbix kernel: [] ? default_idle+0x4d/0xb0
Nov 30 08:03:26 zabbix kernel: [] ? cpu_idle+0xb6/0x110
Nov 30 08:03:26 zabbix kernel: [] ? start_secondary+0x2ac/0x2ef
Nov 30 08:03:26 zabbix kernel: ---[ end trace 9cc09b39f1be08e9 ]---

盛大にStack Traceを吐いています。見た感じNWとIPv6周りのようにみえますが、私にはTrace結果を読む力が無いのでこれ以上は問題の解決に至らず。結局はCR適用前のKernelに切り戻して問題を一時回避することにしました。

というわけで調べることもしないで初物に手を出すと痛い目にあうという備忘録でした。

参考:
日本HP_Linux_サポート_ディストリビューション毎の機能対応表_Miracle 5.0, RHEL5, RHEL6, SLES10, SLES11_Kernel 2.6(x86, x86_64共通) /
http://h50146.www5.hp.com/products/software/oe/linux/mainstream/support/matrix/index_26_01.html

CentOS • View topic – 6.5 Builds Underway /
https://www.centos.org/forums/viewtopic.php?f=41&t=42964

絶対わかる! Linuxカーネル完全入門 (日経BPパソコンベストムック)
絶対わかる! Linuxカーネル完全入門 (日経BPパソコンベストムック)
(2013/04/17)
日経Linux

商品詳細を見る

この記事を書いた人

kometchtech

うつ病を患いながら、IT業界の末席にいるおっさんエンジニア。科学計算をしたことがないのに、HPC分野にお邪魔している。

興味のある分野で学習したことをblogにまとめつつ、うつ病の経過症状のメモも置いておく日々。

じつはRouterboard User Group JPの中の人でもある。

Amazon欲しいものリスト / Arm板を恵んでくれる人募集中

2013-11-30 09:25:36AIX、UNIX、LinuxCentOS, zabbix