1. 主页 > 内容处理 > 翻译

从0开始编写信息收集器

术书。

我们都知道在信息收集是整个渗透测试中无可或缺的一环,那我们老是需要一类一类信息去查询非常耗费时间,(人生苦短,我用 python)那这时我就想做一个信息收集器,当然这类工具很多,简直可以说是多如牛毛,那为啥我还要继续写呢,主要是练习编写工具的套路(工具很渣渣(1.0版本),主要讲思想,纯粹抛砖引玉的一篇文章),然后卖一波 python 的SEO,哈哈哈。

0x01 需求分析首先我们在编写工具之前我们必须进行需求分析,只要把握好需求,我们明确自己编写的方向,不然会出现我要你给我面包,你给我巧克力的情况,真是使人哭笑不得需求分析需要把“要求”或“需要”进行分析与整理,确认后形成描述完整、清晰与规范的文档,确定需要实现哪些功能,完成哪些工作。

当然这里是你自己编写自己的工具,所以工具的需求就由你自己决定而非别人,这样增加了我们工具的灵活性,我们可以尽量多去参考前人写的工具,取长补短,尽自己的努力去完善自己的工具,增强工具的粘合性

0x00 pingtai选择首先我们必须明确我们工具将要运行那种pingtai或者那些pingtai下,但是据我所知安全界绝大部分的工具都是寄生在 Linux pingtai下,当然也有很多工具出了对应的 Window 版本来适应 Window

环境那我们这里还是紧跟前人的步伐选择 Liunx pingtai即可,至于其他pingtai大家有余力的时候可以考虑去实现(后面已经完善了 window 下的运行)0x01 功能需求我们这里列出需求,只有明确好需求,后面编写就不会陷入。

南辕北辙的局面1、whois 信息2、DNS 记录3、端口状态4、子域名5、主机系统信息6、Robots.txt7、服务信息8、指纹识别0x02 ZY整合其实在一般的开发中是不存在这一步的,但我这里为了让大家更理解我这个工具的开发流程就特意抽出来讲。

我们知道我们在进行信息收集的功能无可避免会借用到网站ZY或者辅助工具这里说的网站ZY指的是搜索引擎、工具网站等等,而辅助工具一般会是 Nmap ,当然还有很多其他的工具,我这里就不列举了0x00 网站ZY

网站能为我们提供 whois 的相关信息,减少我们的时间成本,而且zaixian获取信息简单方便。

我们看图说话,我们按类别对网址进行归纳一下,方便后续的工作(用到的我在写,国内访问不了小谷子)分类网址whois

1 辅助工具我写的 1.0 版本是需要使用辅助工具 Nmap (诸神之眼),那我们我们就来简单介绍一下 NmapNmap 介绍Nmap (网络映射器)是一个开源工具,它使网络探测和安全审计得以专业化。

最初由 Gordon “Fyodor” Lyon 发布官网官方网站是 http://nmap.org/. Nmap 是一个免费的用来实现网络探测和安全审计的开源程序许多系统和网络管理员发现它对于一些日常的工作也有帮助。

例如查看整个网络的信息,管理服务升级计划以及监控主机和服务的正常运行0x03 设计工具经过辛苦的准备工作紧接着我们就得开始进入工具设计阶段了,在这个阶段我们会选择面向对象的思想而不是面向编程我把设计阶段分了几个阶段:。

1、工具启动阶段。2、工具运行阶段。3、工具结束阶段。

0x04 代码编写在我们编写之前最好画一个工具的结构图:

然后我们根据我们得结构图先新建好文件,然后根据我们上面的需求对编写我们的 py 文件我这里只拿出核心的主函数来讲解一下我们编写工具时的尽量使用分层,模块思想#!/usr/bin/env python  。

# -*- encoding: utf-8 -*-""" @version: v1.0 @author: yumu@software: PyCharm @file: Stealth.py @time: 2018/3/31 13:12

== __main__:script_path = os.path.dirname(os.path.abspath(__file__))_cache_path = os.path.join(script_path

, output/)ifnotos.path.exists(_cache_path):os.makedirs(_cache_path, 777)    (arg, domain) = Help.parse_args

()ifdomain == :Welcome().headline()Help.help_info()else:select(arg, domain)从上面看出来工具的主函数代码是非常简洁的,主要是因为采用了分层,模块思想。

把每个 py 文件需要完成的功能做了划分做成了对应的模块,分层是一个分治的思想,提高开发效率,降低维护成本

0x05  新建并上传 github 项目如果不懂得可以):

1、进入我们项目所在的路径2、git status -s 列出当前目录所有还没有被 git 管理的文件和被 git 管理且被修改但还未提交3、git add . 添加文件(添加所有)  或者 git add file

(单个文件名)4、git commit -m "注释"  (建议大家对单个文件注释,这样方便他人阅读)5、git push -u origin master 提交代码到远程 git 仓库push 完成之后,登录 github 上可以查看到本地提交到仓库的代码和记录

如果项目更新了想同步 github 也可以按上面的步骤进行操作,我贴了最后两部的图如下:

然后就是我们项目语言的设置,在这一方面 github 识别的非常不准确,需要我们自己更改语言为 python,我们需要新建一个文件 .gitattributes ,然后添加内容如下:*.jslinguist

-language=python*.csslinguist-language=python*.htmllinguist-language=python

0x06  编写说明文档说明文档至关重要,README.md 文件是一个项目的入门手册,里面需要描述项目的用途、运行环境、如何使用、版本更替信息等等下面结合我项目详细说明文档介绍一下如何编写 README.md 文件(大家可以参考一下)。

0x01.项目描述 描写项目的功能和作用DescriptionStealth 是一款收集 CMS、WHOIS 、DNS、robots.txt、子域名、端口信息、系统信息、服务信息的工具0x02.运行环境  详细描述工具运行的环境。

Operating environmentpython 3+linux or windownmap (nmap添加到环境变量中)0x03.安装指南  详细描述工具如何安装Installation guide

git clone

别人了解项目的结构Structure

.├──Stealth.py(主函数)  Mainfunction├──requirements.txt(依赖库) Dependentlibrary├──config(配置文件)Profile│├──cms

.txt(cms规则文件) Cmsrulefile│├──config.py(参数配置) Parameterconfiguration├──output(输出目录) Outputdirectory│├──

whois1.html (whois信息) Whoisinformation│└──whois2.html (whois信息) Whoisinformation│└──rebots.txt (rebots

.txt信息) Rebots.txtinformation│├──subdomain.xls (子域名信息) Subdomaininformation│└──subdoamin.html (匹配域名)

Matchdomainname│└──nmap_info_result.txt (系统信息,端口信息等) Systeminformation, portinformation, etc.│└──dns.

html (dns信息) DNSinformation├──static(静态ZY目录) Staticresourcedirectory├──util(功能函数目录)  Functionfunction

directory├── .gitattributes(语言设置) Languagesettings└──README.md(说明文档) Documentation0x05.配置指南  描述配置信息Configuration Guide

配置目录:config/config.py  (Configuration directory: config/config.py)#!/usr/bin/env python  # -*- encoding: utf-8 -*-

""" @version: v1.0 @author: yumu@software

verification)allow_ssl_verify = True# -------------------------------------------------

# requests 配置项  (Requests configuration item)# -------------------------------------------------# 超时时间 (overtime time)

timeout = 60# 是否允许URL重定向 (Whether to allow URL redirection)allow_redirects = True# 是否使用session (Whether to use session)

allow_http_session = True# 是否随机使用User-Agent (Whether to use User-Agent randomly)allow_random_user_agent

= False# 代理配置 (Agent configuration)allow_proxies = {}USER_AGENTS = ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) "

"Chrome/19.0.1031.4322; .NET CLR 2.0.50727)"

; .NET CLR 2.0.50727; ""Media Center PC 5.0; .NET CLR 3.0.04506)"

; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322;"" .NET CLR 2.0.50727)"

,"Mozilla/5.0 in64; x64; Trident/5.0;"

" .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center P

" .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",

ath.2; .NET CLR 3.0.04506.30)"

,"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3)"

" Arora/0.3 (Change: 287 c9dfb30)","Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6"

,"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1","Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0"

,"Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5","Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6"

,"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"

,"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) ""Chrome/19.0.1036.7 Safari/535.20"

,"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",]# 随机生成User-Agent (Randomly Generate User-Agent)

defrandom_user_agent(condition=False):ifcondition:returnrandom.choice(USER_AGENTS)else:returnUSER_AGENTS

[0]# User-Agent设置 (User-Agent settings)headers = {User-Agent: random_user_agent(allow_random_user_agent

)}# nmap命令设置 (Nmap command settings)nmap_cmd_line = ""0x06.使用方法 Usage  描述工具如何使用Usage1、第一种是全扫描(收集所有信息)

python  Stealth.py -a  xxx.xxx(1.The first is full scan (collect all information) python Stealth.py -a xxx.xxx)

2、第二种选择性扫描(收集部分信息) 例如: 收集 cms 和子域名信息python  Stealth.py -s -c -D xxx.xxx(2.The second selectiv

注意: 当我们使用选择性扫描的时候必须加上-D选项,后面接目标(Note: When we use selective scanning we must add -D option followed by the target)

在探测 cms 信息的时候可能会出现连接 error,无视即可0x07.帮助信息·Help information·usage: python Stealth.py domain [-h] [-a] [-D] [-d] [-s] [-R] [-I]

[-c] [-w] [-q]Collect messageoptional arguments:-h, --help       show this help message and

exit-a , --all       Perform all operations-D , --domain    Doamin-d, --dns        Dns information-s,

--subdomain  Subdomain information-R, --robots     Inquire Robots.txt-I, --info       Service Information and port Information and System Info

-c, --cms        Cms Information-w, --whois      Whois information-q, --quit       Quit0x08.演示 DemoDemo

Screenshots最终结果存放在 output 目录下 (The final result is stored in the output directory.)。

0x09、版本更替信息CHANGh/wydomain

总结总结来说这个工具就是一个简单的小爬虫,但是我们要学会尝试去模仿,有时候看起来简单的事情只有自己做了才知道其中的困难,有困难是件好事,知道自己的不足,才会不断进步最后对项目如有其他建议,或者 bug 反馈,可发邮件到 。

dt/Stealth

本站部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们:http://www.yumiseo.cn/index.php?a=index&aid=2716&c=View&m=home

联系我们

在线咨询:点击这里给我发消息

微信号:209087445@qq.com

工作日:9:30-18:30,节假日休息