您的位置  > 互联网

奇安信“天眼”的诞生:生于忧患的两个字

前段时间,我去了中国最有价值的网络安全公司奇安信旁边的北京动物园……参观了奇安信的旗舰产品“天眼”。

聊着聊着,我突然想起了中学语文课本上的一句话“生于忧愁”。 孟子最初用这句话来形容一个人、一个国家的发展格局,后来却被运用到一千多年后的一家科技公司的产品上。 ,而且毫无违和感。

奇安信“天眼”的诞生,是一个“因悲伤而生”的故事。

2013年底,张卓的脸上写着“担心”两个字。

担心是因为他们购买了市场上最好的入侵检测和防御系统,却发现它只是一个装饰品,并不能防止黑客,他们的钱就被浪费了。 原因是,如果我们不能拿出解决方案,外部的黑客迟早会侵入。

“当时老板就说,我们自己想办法吧。” 张卓回忆道。

张卓

只要你的思维不滑坡,解决的办法总是比困难多。 2014年前后,经时任360创始人兼集团总裁齐向东批准,低调成立了内部创新项目。

张卓的使命目标非常明确:建立一个可以预防的系统。 如果它无法阻止(毕竟没有100%安全的系统),它至少必须能够“看到”威胁并知道是否有黑客在工作。 我,你成功了吗?

这个任务听起来很简单,但是从哪里开始呢?

说到这里,我先给大家科普一下背景知识:为什么市面上的入侵检测系统无法防范黑客?

按理说,原因是魔还没有达到道的高度。 当时,黑客的主流攻击方式已经发生了变化,但大多数网络安全产品还是老样子,没有跟上形势。

具体来说,2010年之前,黑品主要“以量取胜”,主要针对普通网民。 他们传播病毒木马,控制尽可能多的人的电脑,进行点击广告、盗取账号、发起流量攻击等。

比如中国著名的“熊猫烧香”就是这样。

然而2010年之后,免费杀毒逐渐普及,“以量取胜”的工作变得越来越难做。 毕竟,大家都接种过“免费疫苗”。

面对杀毒软件厂商的围剿,分散的网络攻击者开始寻找新的商业模式,并逐渐形成团伙实施犯罪,将目光瞄准企业、政府单位等优质目标。

之所以用2010年作为分界线,是因为那一年发生了一场震惊全网的病毒攻击——震网事件。

如果还有读者没有听说过震网事件,我简单回顾一下:

在总统的授意下,美国情报机构利用黑客手段攻击伊朗核计划。 他们在完全与互联网隔离的情况下进行了黑客入侵,数个核设施被置于当场。

要知道,震网事件发生前几十年,两伊战争期间,美国还联手以色列动用武力攻击伊拉克核反应堆。 这是一场大规模的战争,动用了大量情报人员、战斗机和飞行员。 已经杀掉好几个了,成本极高,但效果却并不比一个“小”木马病毒好。

病毒让一个词流行起来:APT。

APT的全称翻译过来就是“高级持续攻击”。 说白了,“我们不怕贼偷,就怕贼发现”。 APT 的目标价值很高,窃贼会针对这些目标持续数月甚至数年。

在震网事件之前,在百度、谷歌上搜索APT时,关于黑客攻击的解释很少。 事件后,数量大幅增加。

我想也许是震网事件让无数攻击者意识到:还有这样的操作吗? 一份工作值得三年! 于是大家就开始模仿,就像那些模仿电影《古惑仔》,结成帮派的黑帮一样。

此后,针对性的网络安全事件变得更加频繁。 让我举几个例子:

2011年9月,日本三菱军工联合体遭到黑客攻击。 2012年12月,赛门铁克承认两款企业级产品的源代码被盗(你看,老牌安全公司也会参与其中)。 2012年4月,确认源代码被盗; 六月,雅虎服务器遭到黑客攻击。

“脱裤子”一词也在这两年出现,指的是一家公司的数据库被黑客拖走。 放眼当时的整个互联网,满大街都是光着屁股,天空乌云密布,时不时飘过几条内衣。

老的安全产品之所以无法防范APT(即“定向渗透攻击”),是因为它们的防御思路是“城墙+通缉令”的模式。

筑起一道“围墙”将整个公司内网围起来,在门口设置闸门(入侵检测系统),对进出的所有人进行检查,看是否有人在通缉名单上。 所谓“通缉令”,就是基于签名的黑名单。

它的问题是它只能解决已知的威胁。 如果新的威胁不在通缉名单上,就很难判断。 坏人并不傻。 在进来之前,他们必须改变自己的外表(制造病毒以避免被杀死)以避免出现在通缉名单上。

更大的问题是“城墙模式”缺乏应对机制。 即使发现威胁,也没有联动防御机制。 它无法追根溯源,只能被动防御。

这样,坏人一天可以尝试攻击数万次,入侵防御系统每天会报警数千次,这让安全人员疲惫不堪,但坏人只需要成功一次,就可以溜之大吉。在。

说完了背景,我们回到故事本身。

张卓肿了怎么办?

他们当时想到了一个想法:数据采集+数据分析,就像用摄像头采集现实世界的数据,然后放到监控室进行综合分析判断。

他们找到了公司网络的流量出入口和一些关键位置,部署了流量采集系统,并试图区分数字洪流中的各种文件和动作:域名解析、网络连接、Web访问、文件传输、登录动作、电子邮件和数据库操作。 ...找到可疑的人。

正如我之前提到的,这件事从逻辑上说起来很简单,但做起来却并不容易。

首先是性能问题:如此大量的网络流量需要全量采集,如何有序采集、存储、处理?

起初,张卓找了一些开源项目,但很快就遇到了性能瓶颈,只能一点点调优。 “工程”这件事上没有捷径。 我们只能一天一天地进步,不断地想办法更换模块、调整结构。 就像短跑运动员一样,日复一日地想着如何让速度快0.01秒。

其次,流量采集完毕后,如何判断是否异常?

这就好比所有的摄像头都部署好了,但是如果让你坐在监控室里盯着10086个摄像头,屏幕上有人来来往往你就应付不了。

大概就是这个意思

人类当然无法处理,但人工智能也许可以。

当时人工智能技术尚未普及,张卓尝试利用机器学习相关技术,如半监督学习、SVM支持向量机、神经网络等来识别流量中的异常情况。

从逻辑上讲,这类似于一些公共场所利用AI图像识别技术来检测人们是否佩戴口罩的情况。 然而,张卓所做的事情发生在网络流量中,并识别出网络攻击。

但人工智能显然不可能100%准确。 为了减少漏报和误报,必须与其他方法结合起来,像过滤器一样逐层过滤,才能得到最准确的答案。

一种方法是到公司外部收集“威胁情报”来匹配内部数据。

威胁情报:“最近有一个团伙在作案,他们的手段是这样的,他们的样子是这样的,请注意!”

内部流量分析系统:“收到了啊?这不是刚才进来的吗?难怪我感觉有点奇怪,请报警吧!”

使用人工智能和威胁情报匹配后,张卓感觉还是不够准确。

美国网络安全产业起步比中国早十多年,他决定向美国学习。

2013年,美国网络安全街上最漂亮的孩子叫火炎。 那一年刚刚上市,市值正在迅速上涨。 而且,这家公司凭借着特殊的技术,据说还得到了CIA的订单和投资。 。

火炎的特殊技能叫做“沙盘”。 我用一个小故事来说明它的原理:

在城门口,一名士兵拦住了一名可疑人员进行例行检查,但发现此人不在通缉名单上,于是就放他进去(这就是传统防火墙和入侵检测系统所做的)。

这个男人进了城,卸下了伪装,原来就是怪盗吉德。 他在城中潜伏数日,潜入宝阁,杀伤数人,盗走宝物。 以为自己成功了,他抬头望天,笑了。

一瞬间,整个世界开始扭曲折叠,然后化为碎石,就像《盗梦空间》中一样。

他醒来,发现自己在审讯室里。 原来一切都是假的。 这座城市是一个“沙盒”,里面的时间流动加速。 他以为已经过去了三个月,但实际上外面才过去了三个月。 一秒。

张卓找到了当时在公司负责“云查杀”的同事张聪,因为“云查杀”背后使用了沙箱技术。

两人分工。 张卓负责利用人工智能和威胁情报匹配技术将前几轮发现的异常流量还原成样本文件扔给张聪。 张聪负责用沙箱观察样本,并将其放入沙箱中,进一步判断其好坏。

经过这样层层筛选和确认,准确率会更高。

张卓给这个大项目起了个名字:天眼,他当时的想法很简单,就是为了对标美国的火眼。

美国有“火眼”,中国也必须有能照妖除魔的“天眼”。

当时,正忙着建设天眼的张卓万万没有想到,他手中的代码,为未来一家市值百亿、万亿市值的安全公司铺平了道路。

这个世界上很多优秀的产品都遵循着同样的轨迹:首先他们被迫别无选择,只能做出自己的一套东西来解决自己的需求——“穷则独行”,然后你发现,呃? 其他人也有同样的问题,于是他们把自己奉献给别人,成就了一番事业——“成而成,则利天下”。

天眼也是如此。

在解决了自己的安全问题后,他们很自然地想到:是否可以制作一个商业产品并用它来帮助别人解决他们的问题?

恰逢2014年,网络安全和信息化领导小组成立,人们开始频繁在电视和网络报道中看到一句话:“没有网络安全,就没有国家安全”。

他们隐约感觉到网络安全的春天即将到来。

于是今年,齐向东手下又招募了一批涉足企业安全领域多年的大佬,比如现任齐安信二把手吴云坤。

吴云坤来到奇安信,带来的第一个产品就是天眼。 没过多久,天眼就因为发现了针对我国关键基础设施的海外黑客组织“海莲”而名声大噪。

发生的事情是这样的:

2014年夏天,一个无法透露的地市级调查部门向天眼团队提供了一份木马样本。 该木马级别不低,已被查杀。 你可以理解为抓到一个刺客,但是刺客立刻就咬毒自杀了,所以追查源头非常困难。

他们很快就分析出了一些线索。

“按照以往大多数安全公司的做法,就到此为止了,它(木马)已经连接到这个了,做了这个,报告也已经交了。”

张卓回忆道:“当时老吴(吴云坤)就提出,公司积累了这么多安全数据,可以往前挖掘更多。”

也许是出于老安全人员的直觉:高级黑客团体的作案手法通常都很娴熟,你不太可能直接抓到他们。 不过,有一种可能性:几年前的其他案件可能是同一团伙所为。 是的,他们当时的技术还不够高,暴露了一些缺陷。

他们很快向公司申请了数据权限,开始深入挖掘并进行同源性分析。

负责调查的人就像打了一针鸡血一样激动。 他们通过域名知道了样本,通过样本找到了爬虫……就这样,一个个链接,他们目瞪口呆地从一堆看似分散的点中串联起一条证据链。

天眼之下,鬼影出现。

线索指向某省某大学的留学生宿舍。 使用的计算机输入法是东南亚国家的语言,与调查部门后来的现场调查结果完全一致。

大家都惊呆了:“我们守卫着一个大宝藏,之前都没有意识到,就连调查部门都惊呆了,没想到一家私人公司竟然能输出这样的APT报告。”

2015年5月,一份编号为APT-C-00的安全报告被公开。 这是中国第一份APT报告。 出版者是“天眼实验室”,它详细还原了一份名为“”(海)的安全报告。 Lotus)组织多年来对中国政府、科研院所、海事机构等重要领域进行有组织、有计划、有针对性的不间断攻击,以及如何利用木马秘密控制部分政府人员、外包商的计算机系统以及行业专家窃取机密信息。

如果您对报告全文感兴趣,可以搜索。 我简单摘录一些信息来帮助大家理解。 这是当时伪装成各种形式的木马文件,伪装成合约、Flash更新和QQ:

这是跨越三年多的“海莲花”攻击的时间线:

这份报告意义重大。

在内部,让我们清楚地看到我们正在受到攻击的事实。

对外告诉世界,中国是网络攻击的受害者,而不是美国不遗余力渲染的“网络威胁”。

2010年,蓝翔技工学校疑似“军事黑客基地”

天眼一战成名。

虽然大家之前都知道“数据对安全很重要”这个道理,但实际体验一次后,压倒性的感觉却完全不同——“没上过战场的士兵还是不一样”。

2015年,张卓和他的朋友翻译了一本外国书在国内出版,名叫《数据驱动的安全》。 也是在同一年,齐向东确立了“数据驱动安全”作为公司的第一个业务战略。

“数据驱动安全”成为奇安信企业故事的序幕,帮助其在2016年获得28.5亿元A轮融资,当时的投前估值为100亿元,已经超过大部分上市网络当时的保安公司。 市场价值。

不过话说回来,别以为能赶上APT,分分钟就卖光了,取得商业上的成功。

这就像金庸小说里的张三丰。 想要成为武林高手,只需要自己修炼武功即可。 但他想要建立宗门,就必须考虑衣食住行,解决整个宗门的生计问题。 他不能依靠自己的武功。 要想成为高强,每个人都必须能够学会一两招并传承下去。

总之,领导者本人必须完成从主人到主人的转变。

奇安信独立筹集资金后,张卓要承担起天眼产品市场和营收的责任。 他还要完成从单纯的技术人员到产品负责人的转变。

一开始,他跑到顾客面前,拍着胸口说:“我要打十个。” 但顾客却用一句话噎住了:

“天眼想要走向规模化和商业化,不能仅仅依靠沙箱和威胁情报。” 张卓意识到,大多数客户感觉距离国家级APT攻击还太远,因此采用常规威胁发现和响应处理的方式进行溯源。 分析是一种普遍的需要。

他们开始疯狂地弥补自己产品和解决方案的缺陷。 从检测前的检测和响应,到事后的取证和追溯,每个环节都不能错过。

据张卓回忆,天眼团队巅峰时期曾有四百多人。 当时团队内部有很多想法和方向,每个方向都想对标美国上市证券公司。 后来齐向东觉得这不行,于是他主持将天眼分成了三个团队,让每个团队都可以专注于自己的方向。

第一个独立团队名为网络空间安全态势感知与协调指挥系统,专门为监管部门提供网络安全态势感知和协调指挥,满足国家监管部门对态势感知的标准要求。 它由李虎博士领导。

第二个独立产品是奇安信的另一款旗舰产品:态势感知与安全运营平台NGSOC,相当于企业内部的态势感知与网络协调指挥中心,更专注于满足企业日常安全运营的需求和管理。

稍后我们将有机会为大家讲述这两支球队的故事。

第三队是天眼队,依然由张卓领衔,注重实战攻防。

正当奇安信内部梳理产品线时,窗外“火”声响起。 2016年以来,响应国家号召和有关部门指示,各行业开展了一系列网络攻防实战演练。

天眼诞生于与黑客的实战中,进而投入到实战中。

实战中,武器有用没用,军人说了算。 天眼的战士是谁? 人有两种,一种是公司的保安人员,一种是奇安信的保安服务人员。 因此,天眼如果需要迭代升级,就必须听取安全部门和客户的意见,这样才能真正适应实战。

但就在这个时候,他们发现了一个问题。 张卓和他的团队自己使用天眼产品非常高兴(一是因为他们自己做的,二是因为他们是攻防高手),但其他人却无法使用它。

但这是不可能的。 如果安全部门和企业安全人员无法使用,就无法发挥天眼的价值。

2018年,为了让产品和安全服务两个团队尽快协同工作,奇安信做出了一个非常激进的举动:直接绑定天眼和安全服务两个部门的业绩。

公司开玩笑说天岩和安福结婚了。

张卓从来不畏惧技术上的困难,但他却因为这次“包办婚姻”差点精神崩溃。

“这简直就是对人性的挑战!” 张卓告诉我,产品经理都把产品当成自己的孩子一样,控制欲很强。 看到别人干涉孩子的成长,他们肯定会感到不高兴,但对他们来说,“市场驱动”就意味着失去控制,就像一个孩子想要跟随别人远行一样。

更重要的是,对方时不时会给你打电话,告诉你这对孩子不好,那也不好。

他们每周都会举行电话会议,有时会变成咆哮会议。 分布在全国各地的20多位治安服务队的地区领导分别说了几句话:

“你的界面显示不合理,应该是这样的……”

“我无法理解数据结构列表,也无法弄清楚。”

“警告不够准确。”

“你的产品好用吗?顾客不理解,就说不想买,我该怎么解释?你不是想坑我们吗?”

其实还有很多比这更难听的话,但是为了和谐,我就不一一列举了。 整个会议过程中,产品团队只有张卓和另外一名人员,其他二十多人都很平静。 会后,张卓头皮发麻,额头冒汗,如坐针毡。

“这似乎否定了你所有的努力。” 张卓说道。 他曾经对自己技艺的自信和自豪被撕成了碎片,然后他被摔在地上,再次被踩在脚下。

有一次,张卓正在工作,一位同事冲进办公室,让他过来看看。 队里一名同事在与保安队长张重宾聊天时发生争吵。 他的脸涨得通红,正要打电话。 醒了!

还有一次,张卓让一位同事去安全部门开会,听听他们的意见。 同事撇了一眼,说道:“我不去,你必须走!”

那段时间,张卓特别郁闷、不知所措。

他意识到答案可能就在他自己身上。

“因为很多时候,领袖的风格就是整个团队的风格。” 他问自己,是不是因为爱面子,放不下所谓技术人的骄傲,不敢承认产品的缺点,对安福团队不够信任,才导致两支球队? 颠簸又颠簸?

“我还是要在自己内部寻找解决办法。要改变两支球队的关系,我首先要改变自己。”

此后,他与张重宾的交流越来越活跃。

他开始用“幸存者效应”向自己和团队解释整件事:“如果你做得好,别人会记住。如果你做得不好,别人会告诉你。随着时间的推移,你会感受到所有的批评……但你必须明白这一点。”

“真正在乎你的人,就是骂过你的人。” 他说。

后来双方团队都意识到,很多时候双方都会向前迈出一小步。 只要在产品上增加一点点功能,在服务上增加一点点,如果它们配合起来,客户就会非常满意。

“没有碰撞,保安人员永远不知道产品能为他们做什么、不能做什么,产品团队也无法真正了解一线保安人员所经历的情况。”

不愿意听安福声音的同事们开始主动跟随安福的同事来到客户现场。

有一次,一位同事和张卓聊天,问:“为什么你们安福和产品的婚姻这么甜蜜?我们一结合就快结束了。我们天天拍桌子骂人,产品团队想退出。” ”

张卓笑着说道。 这与他对自己技术成就的自豪不同。 他和他的妻子和孩子一样幸福。

“联姻”的好处是显而易见的。 产品更贴近实战,更符合真实需求。 安保人员手中的武器更加方便。

张卓告诉我,从天眼团队独立主攻攻防到与安福联姻,天眼经历了三个跨越式的阶段:

自2017年以来,在攻防检测方面的可用性显着提升,达到了即使在安全人员手中也能“发挥作用”的地步;

2018年到2019年,天眼还处于“很好用,但客户用不了”的阶段;

到2020年初,天眼已经从“有效”进化到“好用”。 不仅是保安人员,很多顾客也在直接使用。

张卓完成了从技术研究员到产品经理的转变,天眼也成为众多政企实战攻防演练中的“标配武器”。

而且,“天眼”不仅自身得到了打磨,还衍生出了邮件安全、欺骗诱捕、安全DNS、渗透测试、全包存储系统等诸多组件产品,形成了“天眼家族” ”。

看得出来“婚姻生活”还是很幸福的,还有家庭……

如果让我用八个字来概括天眼的故事,我会说“生于悲痛,励于实战”。

张卓告诉我:“早期我们讲数据驱动的安全、威胁情报,现在讲得不多,讲的是实战。就像协和医院的专家一样,医术会提高。”随着他们看到更多病例,情况就会有所改善。”

但遗憾的是,由于客户保密等原因,很多实际攻防流程无法公开。

我问他:注重实战的具体表现是什么?

他举了几个例子:市场上有很多公司号称做“欺骗、诱捕”,但本质上仍然是蜜罐。 过去,大家只是等待,架起一堆假服务器,等待攻击者来访并留下痕迹。

“他们认为只要蜜罐足够模拟,攻击者就会被欺骗,但这根本不是欺骗。你的主要网站业务没有连接到这台服务器,而且该服务器没有外部流量访问,攻击者会攻击两次你就知道了。” 大概就像你穿着一件伪装得很好的迷彩服,看上去像一丛灌木,却躺在洁白的雪地上。

“欺骗就是真正的欺骗,让攻击者从一开始收集到的线索都是假的。” 张卓说道,“如果一个产品号称可以发送钓鱼邮件,我就真的给你发钓鱼邮件。用20种方法,30种方法,看看你能防御多少种!”

2016年以来,除了每年雷打不动的实战攻防演习外,平均每年组织参加攻防演习超过200场。 “我们组织或参加了全国大约一半的攻防演习。就说我们作为医生,看到了很多疾病。” 不多啊~”张卓笑着说道。

内部攻防演习场

10(结论)

和张卓聊完之后,我走出了奇安信,心想这个世界真是太精彩了。 如果不是害怕被黑客攻击,也许张卓就不会做出天眼。 如果没有天眼,或许就没有今天。 齐安欣,被誉为“一号”。 1. 网络安全一哥”。

有一种似曾相识的多米诺骨牌感。

但转念一想,就算当年张卓没有造出天眼,也会有李卓和刘卓再造出一个天眼。

天眼诞生故事的背后,是奇安信崛起的故事。 Qi'anxin崛起的故事的背后是整个网络安全行业的兴起和转变。 前景和背景重叠。

在似乎机会的背后,实际上有一种不可避免的趋势推动一切。 但是历史尤其浪漫,正是由于事故。