扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这个问题出现有一段时间了,最开始的时候从一天3-5次左右到最近的一天出现10多次的告警邮件...
创新互联公司2013年开创至今,是专业互联网技术服务公司,拥有项目网站设计制作、做网站网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元莱州做网站,已为上家服务,为莱州各地企业和个人服务,联系电话:18982081108
因为Puppet同步采取了主动触发和定时同步两种策略,几乎每次的报错都是在定时同步时出现...
Puppet Server采用双主结构,Web ui使用Foreman,为了确定这个报错是出现在那台服务器上, 通过对源代码的log增加主机标记最终定位到了这个错误只是出现在一台服务器上...,出现的很偶然,但所有的错误标记中,都是它....
Level Resource message err Puppet Could not retrieve catalog from remote server: Error 400 on SERVER: Failed when searching for node xxx: 001。,Could not load external node results for xxx: undefined method `inject' for false:FalseClass ::--- false notice Puppet Using cached catalog err Puppet Could not retrieve catalog; skipping run
最后面的 :: --- false 其中::是在log中追加的分解符,方便区分, --- false 是返回的output的信息..
在Puppet源代码中 , 通过indirector与enc相关的find方法中可以看到这个find方法接受一个参数 request
indirector/node/exec.rb def find(request) output = super or return nil # Translate the output to ruby. result = translate(request.key, output) create_node(request.key, result) end
output 是调用父方法的find
父方法的find会调用enc脚本获取返回值,如果失败或调用不成功则为Nil..
这时会继续通过translate方法,将yaml输出转为ruby的对象
如果output为nil,这时yaml在读取这个数据的时候就会抛出异常,异常就是收到的Puppet邮件告警的内容了。
def translate(name, output) YAML.load(output).inject({}) do |hash, data| case data[0] when String hash[data[0].intern] = data[1] when Symbol hash[data[0]] = data[1] else raise Puppet::Error, "key is a #{data[0].class}, not a string or symbol" end hash end rescue => detail raise Puppet::Error, "001,Could not load external node results for #{name}: #{detail} ::#{output} " end
罗嗦了一大堆,其实就是node.rb的脚本在通过api取参数的时候,没有获得200...导致的。
通过指向一个错误的WEB服务器地址,可以看到 开头--- false。。。。
[root@test puppet]# ruby node1.rb test --- false Error retrieving node test: Net::HTTPNotFound
分析node.rb
def enc(certname) foreman_url = "#{url}/node/#{certname}?format=yml" uri = URI.parse(foreman_url) req = Net::HTTP::Get.new(uri.request_uri) http = Net::HTTP.new(uri.host, uri.port) http.use_ssl = uri.scheme == 'https' if http.use_ssl? if SETTINGS[:ssl_ca] && !SETTINGS[:ssl_ca].empty? http.ca_file = SETTINGS[:ssl_ca] http.verify_mode = OpenSSL::SSL::VERIFY_PEER else http.verify_mode = OpenSSL::SSL::VERIFY_NONE end if SETTINGS[:ssl_cert] && !SETTINGS[:ssl_cert].empty? && SETTINGS[:ssl_key] && !SETTINGS[:ssl_key].empty? http.cert = OpenSSL::X509::Certificate.new(File.read(SETTINGS[:ssl_cert])) http.key = OpenSSL::PKey::RSA.new(File.read(SETTINGS[:ssl_key]), nil) end end res = http.start { |http| http.request(req) } raise "Error retrieving node #{certname}: #{res.class}" unless res.code == "200" res.body end
脚本的前面都是在构造一个http的对象...,直接看倒数第三行
可以清楚的看到一个判断,然后抛出异常,没有任何的重试机制....,为此我很确信我的web,它如果能有一次重试的机会,那么下一次一定能正常获得返回值, 然后我就给了它很多次的机会。。。
#raise "Error retrieving node #{certname}: #{res.class}" unless res.code == "200" while res.code != "200" res = http.start { |http| http.request(req) } puts "Error retrieving node #{certname}: #{res.class}" sleep 3 end
这时有些人可能会想,while 循环,加3秒重试,,如果一直不成功怎么办?
在脚本最开头会有配置timeout的地方,在timeout到了之后,会关闭http连接,然后读取cache。
# query External node begin result = "" timeout(tsecs) do result = enc(certname) cache(certname, result) end rescue TimeoutError, SocketError, Errno::EHOSTUNREACH, Errno::ECONNREFUSED # Read from cache, we got some sort of an error. result = read_cache(certname)
这段代码可以很清晰的看出,在timeout没超时时会调用enc这个方法返回结果,然后在调用cache方法写入到cache文件
如果超时或http错误,则读取cache,但是这里的异常不包括...,HTTP的...,如果如果是4XX的错误,不会触发读取cache的异常..
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流