prometheusにてnodejsでパースしたnginxログ見てる図
何が増えてるのかと見てみるとrobots.txtだった。なるほどそうだよなって感じ
でもそんなにクローラーはrobotsを尊重するのか？robotsのdisallowなんて任意…みたいなもんだしな
扱い方が分かってなくてぐちゃぐちゃだけど
grafanaで上手く扱えるかのテスト段階
prometheusにてnodejsでパースしたnginxログ見てる図
何が増えてるのかと見てみるとrobots.txtだった。なるほどそうだよなって感じ
でもそんなにクローラーはrobotsを尊重するのか？robotsのdisallowなんて任意…みたいなもんだしな
扱い方が分かってなくてぐちゃぐちゃだけど
grafanaで上手く扱えるかのテスト段階