火绒安全软件

标题: 能否改进下缓存机制，提高查杀速度 [打印本页]

作者: w-tekeze 时间: 2017-9-20 20:27
标题: 能否改进下缓存机制，提高查杀速度
本帖最后由 w-tekeze 于 2017-9-20 20:28 编辑

近日出现几个吐槽火绒查杀速度慢的帖子（实际上之前也有不少），官方的解释是：“火绒的反病毒引擎不是简单比对文件md5，而是会做很多细粒度的解码处理，包括解包、虚拟脱壳、虚拟行为沙盒等等，第二次以后速度就快了”。。

首次扫描由于解析很深入，速度慢点相信大家能理解，但现在给人的感觉是每次都很慢，原因是每次病毒库升级后，原缓存信息就丢失了。。

除周六日，火绒几乎每天都要升级，而正常使用电脑，即使是快速扫描，平均每天也不会超过一次吧？因此，“第二次以后速度就快了”仿佛成了传说，实际使用当中难以体会得到。。

因此想问问官人，能否改进下这个缓存机制，不要一升级又得从头来过。。

作者: w-tekeze 时间: 2017-9-20 20:28
本帖最后由 w-tekeze 于 2017-9-20 20:51 编辑

文件的MD5值就象文件的指纹，鉴别率是很高的，有云的杀软常通过云端的MD5数据库来鉴别文件的真伪。。。火绒现在还没有云，那能不能建立本地文件的MD5数据库呢？在首次扫描或电脑空闲时段，建立用户电脑里文件的MD5库，文件变动时也自动更新这个数据库，而病毒库更新后再次扫描时只要比对MD5库就行了。。。常用的哈希计算器Hash_v1.0.x，包括图形UI在内只有几十K，把这类工具集成到火绒安全软件里应该不难吧？同时还可以放到“扩展工具”里做为一项功能，提供给用户使用，一举两得吧。。

作者: UMA 时间: 2017-9-20 21:58
缓存技术上可以一直保留，MD5比对实用度低。

作者: w-tekeze 时间: 2017-9-20 22:28
本帖最后由 w-tekeze 于 2017-9-20 22:30 编辑

UMA 发表于 2017-9-20 21:58
缓存技术上可以一直保留，MD5比对实用度低。

你说的意思是MD5值会被篡改？但现在应用场景不是和原版文件进行比对，而是用户本地文件进行一个前后比对 (火绒更新前后的比对)，只要是没变动过的文件，MD5值就是唯一的，既然以前就检测过，何必再次做那些复杂的细粒度解析呢？

作者: 声嘶力竭 时间: 2017-9-20 22:36

w-tekeze 发表于 2017-9-20 22:28
你说的意思是MD5值会被篡改？但现在应用场景不是和原版文件进行比对，而是用户本地文件进行一个前后比 ...

用MD5当做病毒标记·简直就是天大笑话·让我想起某国产杀毒·····MD5一改直接扫描不到

缓冲有很多种但是我感觉还是别用MD5 ·真心不看好

说明一下缓存就连小A 也不会保存很久（虽然说是永久缓存）·实际扫描速度还是看你的杀毒引擎（工作原理）和缓存机制之间怎么互相配合到最大值（极限）

作者: yonxi3 时间: 2017-9-21 06:40
楼主的提议很好，火绒的缓存机制确实要改进一下。

作者: 声嘶力竭 时间: 2017-9-21 07:38

感觉也就强迫症才会有扫描习惯把·········我是一直不扫描·除非你告诉我·你这个反病毒软件的防御保护是个豆腐渣工程！正常使用基本不会中毒（除了某些白文件会漏)卡巴·小A，以及其他杀毒你其实可以关闭这个功能·就基本防止部分白文件漏了（目前看火绒没这功能，所以漏白太正常）但是你要会看·不然会误杀

PS：没其他杀毒·就不截图其他的杀毒了

作者: w-tekeze 时间: 2017-9-21 09:41

声嘶力竭发表于 2017-9-20 22:36
用MD5当做病毒标记·简直就是天大笑话·让我想起某国产杀毒·····MD5一改直接扫描不到{:5_1 ...

你和UMA都没理解我说的意思哦。。。不是用MD5去签别文件真伪，也不是用来当做什么病毒标记。。。首次扫描后每个文件就有了自己唯一的MD5值，当二次扫描或火绒更新后再次扫描，MD5相同的就可以略过，何必再去做那些复杂的细粒度解析呢？重复劳动没意思啊。当然缓存机制有很多，能达到避免重复劳动，加快扫描速度的目的就行，别让人老是吐槽慢慢慢。。

作者: w-tekeze 时间: 2017-9-21 09:57

声嘶力竭发表于 2017-9-21 07:38
感觉也就强迫症才会有扫描习惯把·········我是一直不扫描·除非你告诉我·你这个反病毒 ...

是的，可能只有那些时常有着不安全感的电脑初级用户，才喜欢经常去扫描。。。事实上就算电脑里有了病毒木马，要对电脑产生实质性破坏，首先得运行吧，而一运行不就被杀软截杀了吗？干嘛经常去扫描呢？但问题是小白用户太多，还特喜欢抱怨，那如何解决呢？我想只能加快扫描速度，封住他们的嘴巴呗。。

作者: vardyh 时间: 2017-9-21 10:21
我在这楼统一回复吧。

火绒的病毒记录（特征的集合）不是和病毒样本一一对应的（抛开碰撞的问题，md5,sha1,sha256这类哈希才是和样本一一对应），事实上火绒一条病毒记录能对应的样本数多到你无法想象，这也是为什么火绒病毒库那么小，具体统计数据和技术相关介绍可以参见火绒反病毒引擎技术白皮书。

正是因为病毒记录和样本的不唯一对应关系，所以当病毒记录调整后，并不能直接通过文件哈希预判之前不报毒的样本是否会被报毒（解决漏杀），同样也不能通过文件哈希预判之前报毒的样本是否不再报毒了（解决误报）。所以缓存失效的机制是必须的，然而其实这个失效并不是全部，这涉及具体实现细节了，我在这没法细说。但由于目前火绒病毒库升级通常所有的库都会升，所以给人的直观感觉是一升级缓存就完全失效了。

这个“现象”后面我们会通过调整升级策略来改善。当然，我们也一直在努力优化一扫的效率，但之前我们也多次说明了，火绒引擎的整个查毒流程其实异常复杂，包括特征扫描、动态行为扫描、通用脱壳、脚本虚拟化等等，这是一种通过时间（细粒度拆解扫带来的计算量）换空间（病毒库大小），所以效率低于纯哈希引擎是必然的，但我们不会放弃优化，争取更好的用户体验。

作者: 声嘶力竭 时间: 2017-9-21 11:33
本帖最后由声嘶力竭于 2017-9-21 11:46 编辑

w-tekeze 发表于 2017-9-21 09:41
你和UMA都没理解我说的意思哦。。。不是用MD5去签别文件真伪，也不是用来当做什么病毒标记。。。首次扫描 ...

知道你的意思··但是有个问题就是··文件是可以被修改的！万一那个零日漏洞一出··比如这次的CC

万一火绒的扫描和实时保护对比MD5一对是正常的（而且也没重新检查）

但是实际文件是异常怎么办

····

（事后诸葛亮，赶紧把这个文件加入病毒库，但是MD5还是正常的（无法查杀），还是要把MD5要删除掉才能杀？还是？？？？？）

所以用MD5是很好·但是对于一个加白的病毒表示很喜欢你这样技术······（一味加快速度而不考虑漏毒··这可行么？）

最后一句话···想让杀毒超级完美，天衣无缝（异想天开，只有合适你，没有最完美的）剩下不想说·（淡定的拿着卡巴斯基看戏ING）完结·····

问题是现在国内用户是被360 管家什么的一键体检弄的··不体检不杀毒·感觉浑身不舒服···然后他们扫描又快·换其他慢的就死命喷·····（慢工出细活····，习惯最重要，哪有那么多病毒在你电脑，杞人忧天）

ps: 火绒的杀毒引擎感觉至少比国内其他的靠谱····但是杀毒引擎工作起来太复杂·····加速是有点···（杯水车薪）·
火绒目前的硬伤(想要病毒库小·查杀就没其他的快了，只能一点点想办法优化了（鱼和熊掌····）
90

作者: w-tekeze 时间: 2017-9-21 16:25

vardyh 发表于 2017-9-21 10:21
我在这楼统一回复吧。

火绒的病毒记录（特征的集合）不是和病毒样本一一对应的（抛开碰撞的问题，md5,sha1 ...

感谢官人详尽的回复！看您码字这么多，心疼下，是不是我给您惹麻烦了？

仔细看过官人的解释了，受益良多！也明白了火绒目前这种扫描慢的原因所在，并不是换种简单的哈希值比对就能解决的。。

同时我个人也支持火绒这种以时间换空间的策略，希望火绒能永远保持精巧强悍 (不作恶) 的风格！另外，希望更多的绒友们也学习下，不要继续纠结这个扫描慢的问题！

PS：官人的回复我已经收藏到火绒的技术文档里了，温故知新。。

作者: w-tekeze 时间: 2017-9-21 17:17

声嘶力竭发表于 2017-9-21 11:33
知道你的意思··但是有个问题就是··文件是可以被修改的！万一那个零日漏洞一出··比如这次的 ...

1. 这个问题很简单，不就是优先权问题吗？比如：无论是火绒规则还是毛豆规则等等，当两条作用对象相同的规则相遇时，都是“阻止”优先于“允许”啊。。。之前漏报的病毒木马 (当然也包括那些漏白产生的)，只要乖乖呆在硬盘上，无法产生实质性破坏就行，火绒和电脑用户都可以无视它，但它想运行想兴风作浪，那就会被升级后的杀软所截杀。。。2. 你说的“不体检不杀毒·感觉浑身不舒服.........哪有那么多病毒在你电脑，杞人忧天”，但这种小白用户就有那么多啊，还特喜欢吐槽呢，那又能怎么办？忽视他们吧，各人选择适合自己或自己喜欢的软件就行。。。好了，不再顶了，散会吧。。

作者: xing 时间: 2017-9-21 17:41

vardyh 发表于 2017-9-21 10:21
我在这楼统一回复吧。

火绒的病毒记录（特征的集合）不是和病毒样本一一对应的（抛开碰撞的问题，md5,sha1 ...

對於這次的ccleaner事件，在事件曝光前，火絨能查出來有惡意行為嗎？還是只要有合法簽名，對於該軟件行為就予以放行？

作者: w-tekeze 时间: 2017-9-21 18:12
本帖最后由 w-tekeze 于 2017-9-21 18:23 编辑

xing 发表于 2017-9-21 17:41
對於這次的ccleaner事件，在事件曝光前，火絨能查出來有惡意行為嗎？還是只要有合法簽名，對於該軟件行為 ...

无论采用MD5值比对，还是细粒度解析，之前既然没有检测出那肯定都是放行啊。。。当报毒CC样本入库，同时用户也双击运行了CC，那就会被截杀，此时“阻止”的优先权肯定是最高的。 PS：如果用户不运行CC，而MD5值也没变化，常规扫描时就无视它吧，因为不运行就不会对电脑造成实质性破坏，换句话说，已经起到了安全防范的作用。
补充下：火绒没有“放行数字签名文件”的选项，即使有用户也不要勾选，就不存在“白名单漏洞”或叫“漏白”的问题。。

作者: w-tekeze 时间: 2017-9-21 18:21
本帖最后由 w-tekeze 于 2017-9-21 18:22 编辑

xing 发表于 2017-9-21 17:41
對於這次的ccleaner事件，在事件曝光前，火絨能查出來有惡意行為嗎？還是只要有合法簽名，對於該軟件行為 ...

哦，没注意，你是对官人提问的，不好意思哈。。

作者: xing 时间: 2017-9-21 20:12

w-tekeze 发表于 2017-9-21 18:12
无论采用MD5值比对，还是细粒度解析，之前既然没有检测出那肯定都是放行啊。。。当报毒CC样本入库，同时用 ...

樣本入庫了，就一定有作用。不知道在未發生前，火絨是不是有發揮功能？有主防的安軟或許能發揮效果，但似乎很多安軟都跪了...

作者: w-tekeze 时间: 2017-9-21 20:34

xing 发表于 2017-9-21 20:12
樣本入庫了，就一定有作用。不知道在未發生前，火絨是不是有發揮功能？有主防的安軟或許能發揮效果，但似 ...

这个怎么说呢，各家主防 (包括启发) 在行为分析时都有自己的判断策略，互有长短吧，都能拦截一部分未知病毒，但也没有哪家能做到全部拦截。。。昨天之前的火绒怎么样我不清楚，虽然我虚拟机里火绒还是13号的，我可能会做下测试，但我不会发言的，原因很简单，一次的成功或失败并不代表全部。。。

作者: xing 时间: 2017-9-21 20:39

w-tekeze 发表于 2017-9-21 20:34
这个怎么说呢，各家主防 (包括启发) 在行为分析时都有自己的判断策略，互有长短吧，都能拦截一部分未知病 ...

各家的主防一定會有優劣度，一次的miss也不會代表定生死。
好奇的是，火絨會從這次事件中，領悟到了什麼，會做哪些策略調整？
不然往後每個軟件，都來個這招，那不就糗了，哈~

作者: w-tekeze 时间: 2017-9-21 21:07

xing 发表于 2017-9-21 20:39
各家的主防一定會有優劣度，一次的miss也不會代表定生死。
好奇的是，火絨會從這次事件中，領悟到了什麼 ...

火绒安全播报里有篇报告就是查获“白名单漏洞”的，你可以找了看下，我只知道火绒是不会轻易相信白名单的。。。其它的等官人明天回复你吧。。

作者: vardyh 时间: 2017-9-21 21:30

xing 发表于 2017-9-21 17:41
對於這次的ccleaner事件，在事件曝光前，火絨能查出來有惡意行為嗎？還是只要有合法簽名，對於該軟件行為 ...

任何安全软件都不可能做到100%识别未知威胁，但是我们并不会根据签名就放行的。

作者: vardyh 时间: 2017-9-21 21:37

xing 发表于 2017-9-21 20:39
各家的主防一定會有優劣度，一次的miss也不會代表定生死。
好奇的是，火絨會從這次事件中，領悟到了什麼 ...

特征、防御、行为相关的识别逻辑这些都会是持续完善和丰富的。
另外也不要只看到火绒miss的，火绒以往披露的安全事件，绝大多数都是火绒独家截获和拦截，但无论是首家截获还是有miss，对于安全软件来说，其实都是属于“正常现象”，不必因为一次miss而恐慌，也不必因为一次独家而骄傲。

作者: xing 时间: 2017-9-21 21:44

vardyh 发表于 2017-9-21 21:37
特征、防御、行为相关的识别逻辑这些都会是持续完善和丰富的。
另外也不要只看到火绒miss的，火绒以往披露 ...

確實沒有任何一家安軟廠商能做到滴水不漏，因為很看重火絨，所以會較關注一些事件。
不會有人因miss就來論成敗，若是用miss這個論點來看的話，全世界沒有一家是合格的QQ。

作者: babaluosha22 时间: 2017-9-21 21:49
老是压箱底儿容易霉，时不时地翻出来晒晒挺好的。

作者: w-tekeze 时间: 2017-9-21 22:05
本帖最后由 w-tekeze 于 2017-9-21 22:10 编辑

xing 发表于 2017-9-21 21:44
確實沒有任何一家安軟廠商能做到滴水不漏，因為很看重火絨，所以會較關注一些事件。
不會有人因miss就來 ...

我以前单奔毒霸，现在是单奔火绒，但首先我的系统加固选项是全开，其次还添加了3D[斩首]规则 (想要弹窗少点可以换成“基础防御-14II”)，另外还加了个模拟sep的IP协议规则，通过这些增强措施，很多时候可以不依赖病毒入库。。

总之，火绒的弹性或叫潜力是比较大的，每个绒友都可以玩出自己的精彩哈。。。好了，这个贴子我就不再顶了。。

作者: xing 时间: 2017-9-21 22:09

w-tekeze 发表于 2017-9-21 22:05
我以前单奔毒霸，现在是单奔火绒，但首先我的系统加固选项是全开，其次还添加了3D[斩首]规则，想弹窗少点 ...

順帶一提，事前只有這家查出...

<轉帖一下>http://blog.talosintelligence.com/2017/09/avast-distributes-malware.html

作者: xing 时间: 2017-9-21 22:23

xing 发表于 2017-9-21 22:09
順帶一提，事前只有這家查出...

哇...莫非要翻牆才能看QQ

作者: vardyh 时间: 2017-9-21 23:11

xing 发表于 2017-9-21 22:09
順帶一提，事前只有這家查出...

clamav这个，准确来说，其实本身是个误报。。。

作者: xing 时间: 2017-9-22 07:34

vardyh 发表于 2017-9-21 23:11
clamav这个，准确来说，其实本身是个误报。。。

當時是誤報，但現在事發後，大家都跟這家廠商一起誤報？
這邏輯有點怪吧？

作者: w-tekeze 时间: 2017-9-22 11:09

xing 发表于 2017-9-22 07:34
當時是誤報，但現在事發後，大家都跟這家廠商一起誤報？
這邏輯有點怪吧？ ...

ClamAV就是个扫描器，不带主防技术的，换句话说，ClamAV没有查杀未知病毒的能力。。。但事发前它对CC报毒，那依据是什么呢？这个CC里的病毒特征码就已入库了？哈希值是多少呢？这是我个人的一些理解，和你交流下而已。。。专业的请官人回复你。。

作者: vardyh 时间: 2017-9-22 12:48

xing 发表于 2017-9-22 07:34
當時是誤報，但現在事發後，大家都跟這家廠商一起誤報？
這邏輯有點怪吧？ ...

特征碰巧装上了这个文件所以报了，并不是真的识别到这个病毒特征，所以我说是误报。其他家也并不是跟着clamav报，clamav的报毒结果在业内是没有哪个厂家会参考的。

作者: Explorers 时间: 2017-9-22 23:30
不明觉厉，各位都是大佬

作者: 大自然的园丁 时间: 2017-9-23 12:16
问另外一个问题：火绒调整防御严格的设置在哪里，我怎么没有找到

作者: 大自然的园丁 时间: 2017-9-23 12:23
刚刚我也查杀了一下（快速查杀），看看我这速度，怎么这么快？

作者: 大自然的园丁 时间: 2017-9-23 14:01

大自然的园丁发表于 2017-9-23 12:23
刚刚我也查杀了一下（快速查杀），看看我这速度，怎么这么快？

是机械移动硬盘，移动硬盘通过USB启动的win8.1系统，装有EWF，不是固态硬盘这点是肯定的。

@肆随飗林

作者: w-tekeze 时间: 2017-9-23 14:19

大自然的园丁发表于 2017-9-23 12:16
问另外一个问题：火绒调整防御严格的设置在哪里，我怎么没有找到

一个是实时监控里的扫描时机，另一个是系统加固选项 (我就是全部勾选的)，还有其它的吗？我也不清楚了。。

作者: 大自然的园丁 时间: 2017-9-23 14:22

w-tekeze 发表于 2017-9-23 14:19
一个是实时监控里的扫描时机，另一个是系统加固选项 (我就是全部勾选的)，还有其它的吗？我也不清楚了。 ...

呃呃，我说的是那个调整严格程度的，今天看见有个人发帖带图有那个调整严格程度截图，记得那个在测试版中是有的，后来去掉了，现在不是加上了吗》？还是现在还没有加上

作者: w-tekeze 时间: 2017-9-23 14:25
本帖最后由 w-tekeze 于 2017-9-23 22:03 编辑

大自然的园丁发表于 2017-9-23 12:23
刚刚我也查杀了一下（快速查杀），看看我这速度，怎么这么快？

不算快，我二代i3的CPU，将近8000对象，大概2分半钟，是更新完之后的首次扫描，不是第二次，那个只要十来秒。。

作者: 大自然的园丁 时间: 2017-9-23 14:31

w-tekeze 发表于 2017-9-23 14:25
不算快，我二代i3的CPU，将近8000对家，大概2分半钟，是更新完之后的首次扫描，不是第二次，那个只要二十 ...

我是和楼主的速度比的，这个移动机械硬盘用了也快，好像是10年了吧，希捷的，型号是ST91208822AS，在百度上搜索这个型号只显示出了一条结果，够古老吧，估计这个硬盘发布之时那些评测的什么网站还没出生呢！ QQ截图20170923143051.png

作者: w-tekeze 时间: 2017-9-23 14:43

大自然的园丁发表于 2017-9-23 14:31
我是和楼主的速度比的，这个移动机械硬盘用了也快，好像是10年了吧，希捷的，型号是ST91208822AS，在百度 ...

是够老的了，缓存才8M，看不到转速，5400转的吧？以后换个SSD的，最起码也得USB3.0接口的。。。

作者: w-tekeze 时间: 2017-9-23 14:47

大自然的园丁发表于 2017-9-23 14:22
呃呃，我说的是那个调整严格程度的，今天看见有个人发帖带图有那个调整严格程度截图，记得那个在测试版中 ...

是啊，不会有第三种调整方法吧，你说这个还没见过呢。。。新人，来的晚。。

作者: UMA 时间: 2017-9-23 18:57

xing 发表于 2017-9-21 17:41
對於這次的ccleaner事件，在事件曝光前，火絨能查出來有惡意行為嗎？還是只要有合法簽名，對於該軟件行為 ...

有合法签名但罕见的软件一般安全软件都会采取一些措施，CC作为老牌清理软件，即使有“可疑”行为安软一般都是放行，因此此次除防火墙阻断联网外没有事前防御措施。

作者: w-tekeze 时间: 2017-9-23 21:16
本帖最后由 w-tekeze 于 2017-9-23 21:32 编辑

UMA 发表于 2017-9-23 18:57
有合法签名但罕见的软件一般安全软件都会采取一些措施，CC作为老牌清理软件，即使有“可疑”行为安软一般 ...

你说的有道理。。。我本来想下个5.33版的CC测试下（刚好我是32位系统），想试下火绒的联网控制和3D[斩首]规则会不会有反应，但各下载站都更新到5.34了，找不到了。。。前个星期周末玩了个真正的勒索病毒，我在虚拟机和实机都详细测试了（实机有影子不怕），简言之，这个3D[斩首]和“基础防御-14II”（虚拟机加的）表现都不错，但这个帖子不知怎么搞的，后来加了200权限，看不到了，是楼主加的还是官方加的？帖子名字是“不太清楚”， https://bbs.huorong.cn/thread-40656-1-1.html

作者: UMA 时间: 2017-9-23 23:07

w-tekeze 发表于 2017-9-23 21:16
你说的有道理。。。我本来想下个5.33版的CC测试下（刚好我是32位系统），想试下火绒的联网控制和3D[斩首] ...

已被感染者防火墙只能防止进一步入侵，但感染源仍需杀毒软件处理。HIPS即使触发规则也无意义，在不知情情况下，没有人会拦截自己信任的软件。

作者: w-tekeze 时间: 2017-9-24 13:23

UMA 发表于 2017-9-23 23:07
已被感染者防火墙只能防止进一步入侵，但感染源仍需杀毒软件处理。HIPS即使触发规则也无意义，在不知情情 ...

同意，最终肯定得杀软来处理。。。规则只能弹出提醒，不可能指出是什么病毒，本来也就不是给初级用户玩的。。。那个带毒CC释放的木马程序，以及之后下载的后门程序等，名称并不是CC主程序的名称，既然不是自己电脑上的正常程序，有点经验的用户还是可以阻止的。

作者: UMA 时间: 2017-9-24 20:12

w-tekeze 发表于 2017-9-24 13:23
同意，最终肯定得杀软来处理。。。规则只能弹出提醒，不可能指出是什么病毒，本来也就不是给初级用户玩的 ...

HIPS效果很难说，目前的报道指出此次攻击CC只是跳板，目的在于攻击微软、谷歌、三星、思科等企业，这已经不是个人能阻止了的。

作者: nat 时间: 2017-10-21 22:41
周老师说的很有道理。

作者: w-tekeze 时间: 2017-10-22 00:40
这个帖子是楼上给顶起来的，官人别怪我哈。。

作者: killmatt01 时间: 2017-10-23 01:58

vardyh 发表于 2017-9-21 10:21
我在这楼统一回复吧。

火绒的病毒记录（特征的集合）不是和病毒样本一一对应的（抛开碰撞的问题，md5,sha1 ...

现在的硬盘越来越大，空间基本都是足够的。而更多人愿意用空间换时间来提高效率。。。所以我认为可能适量增加病毒库大小来换取扫描时间的缩短会符合更多人的期望？？？（个人粗浅观点，对此不是很了解，望指教）

欢迎光临火绒安全软件 (https://bbs.huorong.cn/)