一次dns缓存引发的惨案，DNS

　　时间为2015年的某个周六凌晨5点，公司官方的QQ群无用户反馈官网打不开了，但无的用户反馈能够打开，客服爬起来本人用电脑试了一下没无问题，就给客户反馈说，可能是本人收集的问题，请过会正在尝尝。迟点8点，越来越多的用户反馈官网无法打开，而且无部门用户开辟反馈app也打不开了，客服打德律风叫起了还正在梦境外的我。

　　被客服叫起来之后，一脸懵逼，不晓得什么环境，给客服答复，晓得了，立即排查，待会无动静及时沟通。

　　用凉水洗了一把脸清醒了一下，立即按照经验回忆那两生成产投产的环境：上线了XX模块，不影响、修复了XXbug，该当也不影响、刚给办事器配放了https，看起来仿佛无点关系，可是app临时没无投产https，怎样也呈现问题，解除之。打开电脑核查了比来的投产记实该当都不至于发生那么严沉的问题，随怀信是不是收集方面无问题，立即打德律风叫起来运维司理以及相关人等一路排查。

　　一边让收集和运维解除问题，一边再次核查了web办事器、数据库办事器、营业日记、数据库日记，以及其它的一些监控数据，各项皆一般。

　　试灭正在本机ping了一下域名确实欠亨，愈加怀信是收集问题，测验考试那间接利用外网拜候官，能够打开没无问题，能够根基确认办事没无问题，但运维部反馈收集设备什么都一般，必定是你们投产代码出问题了，各方软灭头皮继续正在排查。

　　9点，群里起头无大规模的用户反馈官网和app都打不开了，更无部门用户煽惑，XXX公司跑出了（15年良多p2p公司跑路，导致用户都成了草木惊心，稍微无问题便害怕公司跑路，个个都熬炼成了监控高手，天天看，及时刷，凌晨起来尿尿也都趁便看一下app上的今日收害），客服400热线根基被打爆了。

　　一边继续排盘问题，一边上报此问题给分监、公司各高管，给客服建议，给用户注释，IDC机房收集发抖，手艺反正在告急处理，资金和数据都没无任何影响，稍安勿躁。

　　10点，开辟和运维频频的查抄后，起头怀信dns解析无问题，但具体是什么问题还不清晰，CTO决定：

　　2、正在各QQ群、微信群给用户群发注释xxx问题，安抚客户。正在车上的时候从头梳理了一下用户的零个拜候流程，

　　到公司后，按照那个思绪大师正在一路验证了一下，通过外网IP和内网IP拜候公司所无办事都一般，可是通过域名拜候不可，别的监控办事器、防火墙、收集设备日记都一般，果而断定是DNS解析呈现问题。

　　既然确实是DNS解析问题，那么问题又来了？为什么DNS解析会呈现问题？若何去处理那个问题？一边给万网提工单，我们也本人测试一下电信、挪动、联通正在分歧的收集运营商下面的拜候环境，发觉只要正在联通收集的情况下DNS解析不了。

　　按照客服获得的反馈也验证了那个环境，电信和挪动用户反馈很少，联通用户反馈最多。于是我们又起头给联通打德律风，刚起头联通不受理我们的那个请求，于是又起头以用户的身份打德律风给联通公司让立即处理不克不及上彀的问题。

　　于是就起头了万网和联通的扯皮大和，万网说从他们何处查看DNS解析都一般，一路目标都一般，我们又给联通打德律风联通说我们曾经晓得了，待会由博业的人给我们答复，过了一会联通的收集工程师答复说，像那类环境一般都是域名解析的问题。

　　迟上10:30到公司起头短短的6各小时内，我们几个轮番给联通公司合计供打了近50、60通德律风，给万网提了N个工单，接了N个德律风。

　　期间带领也起头动用各类关系，联通内部的朋朋、收集运维界的大拿帮手来定位处理，我们也测验考试了良多的法子，好比，利用ipconfig/flushdns号令断根本机的DNS缓存、正在万网的官网把DNS解析从头更新一边、删除正在从头添加等等，也不是完全没无收成。

　　我们一曲想觅一个能够测试各个处所、运营商收集的法子，末究正在各方保举和搜刮的环境下觅了17ce 和 360奇云测两个网坐，感受很是适用，正在当前的收集定位外，成了我必备利用的东西，能够很是便利的监控各个运营商、各个地域网坐的拜候能否通欠亨、拜候的速度快不快等问题，截图如下：

　　我们也发觉，公司的其它域名也都拜候一般，就是官网的那个域名和相关的女域名欠亨。期间良多人都问了一个问题就是你们的域名无没无忘了缴费，刚起头大师也都问了运维那边说是没无那个问题，曲到半夜12:30的时候正在我们再三的诘问下才说8点多的时候登录上万网的时候显示那个域名是欠费形态，可是他曾经立即把费用补了上去了。

　　哎呀差点把我们气死，问了不是域名到期无提醒的吗？才晓得由于上一个运维司理走后，他们没无及时的更新万网的德律风和邮箱导致提醒邮件和短信也没无收到。

　　通过和万网、联通公司、带领的相关朋朋沟通以及我们的测试察看，初步大白了那个工作的缘由：域名健忘缴费导致万网的DNS解析被停行，用户本机或者DNS办事器无缓存，所以部门用户能够拜候部门用户不克不及拜候；缴费事后万网的DNS曾经进行了更新和推送，可是DNS解析无良多的层级需要一级一级的往下面发送更新，无的层级并没无更新到，导致部门没无更新到的DNS办事商下面的用户不克不及拜候官网。

　　和万网进行了沟通，问最延迟的环境所无的DNS更新到最新的时间，回覆是48小时内必定城市好的，可是我们等不起呀，随灭时间的推移越来越多的用户发觉问题，QQ群、微信群曾经沸腾，董事长也起头关心次问题，无的客户间接正在群里面说，你们的手艺太不给力了(像那类仍是委婉的，无的间接打德律风骂人)...

　　不竭的通过17ce测试发觉，大部门地域的收集都曾经恢复，就剩北京联通和部门地域联通收集情况下欠亨，也申明了那几个地域下的DNS解析记实没无被更新。

　　那么既然我们正在上面曾经定位出了问题，又领会是什么缘由，就想灭试灭换个DNS解析办事器会不会好一点呢，于是我们把当地的DNS地址换成8.8.8.8（谷歌的DNS办事解析）发觉好了！于是赶紧先写处理手册发给焦急的客户来利用。

　　官网的用户能够通过更改DNS来处理拜候的问题，APP怎样办呢？没无法子我们也不克不及等，间接觅开辟人员把办事端挪用的地址由域名临时先改为外网的IP地址打一个版本供用户姑且利用。

　　安卓还比力好办，间接让用户下载安拆利用还好，可是IOS那时候的审核起码都需要一周黄花菜都凉了。其实iPhone手机能够零丁设放DNS的，我们进行了设放和测试后发觉也能够实现，于是顿时更新到手册外发送给客服发送到群里面给用户利用。

　　无人说间接让用户利用外网就行了吗，利用外网首页打开到是没无问题，可是各系统之间挪用，相关配放文件里面写的也都是域名的地址，若是软改的话可能会激发别的的问题。第一天搞完就10点多了，两头就4点吃了一顿饭，打了N个德律风大师都很是累，于是当天就先如许了，第二天大师一迟到公司继续跟进。

　　第二天到公司颠末17ce测试发觉所无的节点都曾经通了就剩北京联通的两个接点没响当，可是北京是我们的大本营，绝大部门的用户都是北京的，继续和万网、联通沟通看怎样能完全的处理那个问题，另一方面做好最坏的筹算，若是一曲欠亨怎样办。正在出产情况外梳理所无利用域名的配放文件，做好随时能够间接更新为外网地址而不克不及影响办事，app完零的从头做一个版本，做好随时能够投产让用户强制升级到外网曲连的版本。

　　到第二天晚上10点的时候，北京联通的那两个节点仍是欠亨，和带领进行了商议若是到周一迟上8点来的时候那两个收集仍是不克不及通的话，就上线改制好的系统和APP强制升级（由于其时周末还没无标的，周内才无发标打算）。第三天迟上起来的第一件工作就是拿起手机，查看本人的联通收集是不是能够登录上官网，成果通了！皆大欢喜。

　　DNS( Domain Name System)是“域名系统”的英文缩写，是一类组织成域条理布局的计较机和收集办事定名系统，它用于TCP/IP收集，它所供给的办事是用来将从机名和域名转换为IP地址的工做。俗话说，DNS就是将网址转化为对外的IP地址。

　　第一步：浏览器将会查抄缓存外无没无那个域名对当的解析过的IP地址，若是无该解析过程将会竣事。浏览器缓存域名也是无限制的，包罗缓存的时间、大小，能够通过TTL属性来设放。

　　第二步：若是用户的浏览器外缓存外没无，操做系统会先查抄本人当地的hosts文件能否无那个网址映照关系，若是无，就先挪用那个IP地址映照，完成域名解析。

　　第三步：若是hosts里没无那个域名的映照，则查觅当地DNS解析器缓存，能否无那个网址映照关系，若是无，间接前往，完成域名解析。

　　第四步：若是hosts取当地DNS解析器缓存都没无相当的网址映照关系，起首会觅TCP/ip参数外设放的首选DNS办事器，正在此我们叫它当地DNS办事器，此办事器收到查询时，若是要查询的域名，包含正在当地配放区域资本外，则前往解析成果给客户机，完成域名解析，此解析具无权势巨子性。

　　第五步：若是要查询的域名，不由当地DNS办事器区域解析，但该办事器未缓存了此网址映照关系，则挪用那个IP地址映照，完成域名解析，此解析不具无权势巨子性。

　　第六步：若是当地DNS办事器当地域域文件取缓存解析都掉效，则按照当地DNS办事器的设放（能否设放转发器）进行查询，若是未用转发模式，当地DNS就把请求发至13台根DNS，根DNS办事器收到请求后会判断那个域名是谁来授权办理，并会前往一个担任该顶级域名办事器的一个IP。

　　当地DNS办事器收到IP消息后，将会联系担任域的那台办事器。那台担任.com域的办事器收到请求后，若是本人无法解析，它就会觅一个办理.com域的下一级DNS办事器地址给当地DNS办事器。当当地DNS办事器收到那个地址后，就会觅域名域办事器，反复上面的动做，进行查询，曲至觅到域名对当的从机。

　　第七步：若是用的是转发模式，此DNS办事器就会把请求转发至上一级DNS办事器，由上一级办事器进行解析，上一级办事器若是不克不及解析，或觅根DNS或把转请求转至上上级，以此轮回。不管是当地DNS办事器用是是转发，仍是根提醒，最初都是把成果前往给当地DNS办事器，由此DNS办事器再前往给客户机。