BuiltWith是什么?BuiltWith是由澳大利亚人Gary Brewer创建的一款网站技术信息查询工具,成立于2007年,于Wappalyzer功能相似,主要能帮助用户了解网站的搭建技术,分析网站所使用的各类技术和工具。本文主要针对BuiltWith小白推出,帮助大家更好的了解并着手使用这一工具。
一、BuiltWith简介
BuiltWith支持追踪全球超2.5亿+网站,能识别网站使用的分析工具与追踪工具、小部件、标准开发框架、建站程序、内容管理系统(WordPress等)、广告商、内容分发网络、web标准和web服务器等技术。还能提供互联网技术发展趋势、潜在客户开发流程、电子商务网站的销售情报和市场份额等分析。
BuiltWith的工作原理是通过抓取网站的相关代码段,将其与对应技术进行映射,进而判断网站所使用的技术。比如根据特定代码段识别网站是否采用了某广告方法或特定框架。
例如,某企业开发了一款新的WordPress插件,可通过BuiltWith搜索使用WordPress的网站,向这些网站推荐产品。据说连哈佛大学、麻省理工学院等知名大学也曾利用BuiltWith提供的数据开展研究测试。
BuiltWith目前提供免费版本和付费版本。免费版本可查看竞争对手使用的技术,付费版本支持通过特定关键词和技术查找符合条件的网站,还能按地点、消费和社会关注度等进行细分,会员月费分为295美元、495美元、995美元三档。
BuiltWith目前以浏览器插件、Python模块和基于Node.js的三种安装方式,以下为具体操作流程。
1、BuiltWith插件安装BuiltWith提供浏览器扩展程序,包括Firefox、chrome等浏览器。
例如在chrome上安装BuiltWith插件插件,访问Google扩展商店中的BuiltWith页面
点击 “添加到chrome” 按钮,按照提示完成安装。安装后,在浏览器中访问任意网站,点击浏览器工具栏中的BuiltWith图标,即可查看该网站使用的技术。
如果要安装Python中的BuiltWith模块,可使用pip命令。安装命令:
pip install builtwith
若在命令行提示如下错误:
Fatal error in launcher: Unable to create process using ‘”‘
可使用如下命令:
python3 -m pip install builtwith
如果导入模块出现错误提示,那可能是原因BuiltWith模块基于urllib2开发,而在Python3中,urllib2被分拆成了urllib.request和urllib.error两个包,导致找不到包。
解决方法:
找到BuiltWith安装目录下的__init__.py 文件;
把 import urllib2 替换成 import urllib.request;
在__init__.py 文件中,其他出现 urllib2 的地方,都改成 urllib.request(可在文本编辑器中使用全部替换功能)。
调用BuiltWith模块中的函数时报错,例如:builtwith.parse (‘http://www.xxx.com’),可能是BuiltWith模块的__init__.py 文件存在以下问题:
- 第一、遵循 Python2 的规则写的异常捕获:except Exception, e,不符合 Python3 的规则;
- 第二、遵循 Python2 的规则写的输出语句:print xxx;
- 第三、urllib返回的数据格式发生了改变,需要进行转码。
解决方法:找到builtwith 安装目录下的__init__.py 文件。把异常捕获语句except Exception , e: 改成except Exception as e:(可通过查找功能修改,数量不多);把print xxx改成print (xxx)(可通过查找功能修改,数量不多);最后在html = response.read () 下面加上一句:html = html.decode (‘utf-8’)(可通过查找功能修改,仅一处)
3、基于Node.js安装BuiltWith若要基于Node.js使用相关功能,需先确保已安装Node.js和npm。然后打开命令行,输入以下命令进行安装:
npm install -g built
安装完成后,可根据具体需求在项目中创建配置文件等进行后续操作。
三、利用Builtwith找到当前网站的关联网站实现此目的需要利用BuiltWith网站分析的Relationship Profiles功能。关系配置文件中,Tag History&Connected Websites模块会追踪返回结果,该模块显示的是BuiltWith追踪到的当前网站所使用的一些技术的技术标识符(ID),以及与当前网站共享相同技术ID的其他关联网站。
BuiltWith追踪了数百个技术标识符,最早可追溯至2010年,通过这些标识符(ID)能显示哪些网站与当前网站相关。使用Builtwith这个功能的方法很简单:
在BuiltWith首页的输入框中输入想要分析的网站。
在返回的结果中查看Relationship Profiles模块的数据:
左侧是当前网站使用的技术的相关技术标识符(ID),以及BuiltWith对网站使用相关技术的首次追踪时间和最后追踪时间,右侧是基于技术ID定位到的与当前网站关联的其他网站。
鼠标移动到左侧某个具体的技术ID上,右边的网站列表会相应高亮显示出与当前网站共享该技术ID的关联网站。
总的来说,左侧是BuiltWith追踪到的当前网站的技术ID汇总列表,右边是与当前网站共享相同技术ID的所有关联网站。
以上面的GA追踪ID为例进一步验证分析,可以看到,当前网站BuiltWith共追踪到曾使用过3个GA账号进行数据分析。
其中最新在用的GA账号是UA-205247373,我们也可以利用Google Tag Assistant这个Chrome 插件来检测。
该网站是这个最新GA账号下创建的第一个 “媒体资源” 实例,点击该技术ID,还能看到有多少个网站在使用当前GA账号。
如上述所示,BuiltWith追踪到的这个最新GA账号只有当前网站在用,但我们可以查看其他历史账号的使用情况,将鼠标移动到任意一个GA的历史技术ID 上,右边会高亮显示所有关联网站,以GA账号UA-187645831为例,点击该技术ID可以查看完整的关联网站列表。
这些都是曾与当前网站共用过同一个GA账号的关联网站,往下拉还能看到各个网站使用该GA账号的具体时间线,将鼠标移动到某个网站上,会显示BuiltWith追踪到的该网站使用该GA账号的起始和结束日期以及总持续时间。
分析网站开发技术:
先执行python命令进入python代码模式,然后导入builtwith模块,利用该模块的parse ()方法分析搜狐网的开发技术,从输出结果可以看出,搜狐网使用了Javascript和Nginx。
[root@localhost chen]# python
Python 2.7.5 (default, Nov 6 2016, 00:28:07)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type “help”, “copyright”, “credits” or “license” for more information.import builtwith
builtwith.parse(“http://www.sohu.com”)
{u’javascript-frameworks’: [u’RequireJS’], u’web-servers’: [u’Nginx’]}
推荐阅读:《Wappalyzer新手入门指南(简介+安装+使用)》
(本文由美国主机侦探原创,转载请注明出处“美国主机侦探”和原文地址!)

微信扫码加好友进群
主机优惠码及时掌握

QQ群号:938255063
主机优惠发布与交流