网站文章又被人爬取发布了,得好好防爬虫了

今天无聊的看日志,发现几个很没素养的网站用爬虫爬我网站,最恶心的是这些网站还有排名,如下图: 下面几个网站都是典型的爬虫网站,天天广撒网,贴出来,它们大量的去抓别人网站的文章,然后发布到自己网站上,更没素养的是,网站上没有给出联系方式,好把侵权的内容删掉。 也反映了百度之前的打击重复网站内容的算法就是个狗屁,一个形式而已,算法跟谷歌比,一个是爹,一个是儿子。也许百度是这样觉得–天天更新算法,就显得自己高级了?也不学学谷歌的实务进取的精神,天天搞这些没用的,谷歌虽然也有这类情况,但是比

利用nginx来屏蔽恶意网页爬虫的详细方法

对于大部分网站来说,每天都会面临大量的国外蜘蛛以及各种国内大平台,如华为,字节跳动等蜘蛛的访问抓取,特别是个别垃圾蜘蛛,例如python爬虫,它们访问特别频繁。这些垃圾流量多了之后,严重浪费服务器的带宽和资源。所以简单的通过判断user agent,在nginx中禁用这些蜘蛛可以节省一些流量,也可以防止一些恶意的访问,当然这只是初级的,只能抵挡2到3成的恶意访问,但是有总比没有好。 方法一:修改nginx.conf,禁止网络爬虫的user_agent,返回403。 1、进入nginx的配置目录,

nginx Ubuntu 运用ab进行服务器压力测试

在学习ab测试工具之前,我们需了解几个关于压力测试的概念,内容取自网络: 吞吐率(Requests per second) 概念:服务器并发处理能力的量化描述,单位是reqs/s,指的是某个并发用户数下单位时间内处理的请求数。某个并发用户数下单位时间内能处理的最大请求数,称之为最大吞吐率。 计算公式:总请求数 / 处理完成这些请求数所花费的时间,即 Request per second = Complete requests / Time taken for tests 并发连接数(The nu

新手购买VPS选择–Vultr 新上韩国VPS,5美元/月 | 附VPS测试

vultr新上韩国首尔机房,5美元/月起,目前测试来看还可以,人多之后就可能重蹈日本覆辙,另外如果是新用户注册充值送100美元,该活动需要信用卡和paypal验证,验证后可支持支付宝和微信。它是一家2014年刚成立的VPS服务商,基于KVM,采用SSD硬盘,可以自己上传ISO,1G以上配置可以安装Windows,并且计费方式非常灵活一个整月就按整月,不足就按小时。目前较热门的机房IP很多被墙可能会有很多IP国内无法使用,可能需要重新购买多次。机房众多有日本、美国洛杉矶、Dallas、Chicag

[WP]常见wordpress安装,运行,使用出现500错误分析和解决方法

最近因为写了一篇博文,内容是关于我的一次WP故障情况的解决过程和分析,然后有放在wordpress.org.cn上,结果有很多朋友看过后还仍然有少部分朋友没能解决问题,在我的博客给我留言,在此我把我目前接触到的几种PHP 500 Error错误情况和处理方法跟大家分享,如果你用这些方法解决了问题,欢迎留言! 首先解释下500 internal Error是个什么东西,翻译过来就是服务端系统内部错误,错误的编号500 ,产生的原因也有多种,大家不要觉得内部错误很可怕,其实很多情况只是服务器的安全措

购买搭建代理的国外VPS服务器推荐汇总(Shadowsocks/SSR/V2Ray/Trojan)

什么是VPS 鉴于一些朋友可能是刚接触VPS服务器,我们先从最基础方面做一些介绍。VPS的全称是 Virtual Private Server,中文解释就是虚拟专用服务器,是相对于独立的服务器来说的。 一台独立服务器,可以划分为n台VPS,每台VPS都可分配独立公网IP地址、独立操作系统,可以像独立服务器一样,重装操作系统,安装程序,单独重启服务器。因为VPS的价格更低,适合个人用户使用,所以我们搭建Shadowsocks/SSR/V2Ray/Trojan等科学上网工具时,一般都是在VPS上进行

【买服务器需知】亚马逊AWS一年免费超额收费

大家一定要清楚,天下没有免费的午餐,aws云计算的免费是有条件的免费,aws提供的服务计价以美元计算,对普通人而言非常昂贵,不能完全理解本博文的,请不要随便尝试。否则因此被计费,本人概不负责。在此,本文小结了我自己在亚马逊aws(Amazon Web Services)云计算服务上注册一个免费的服务器的方法和一些注意事项。 这是我自己遇到的收费收了我8刀,上个月是7刀,后来我在就想既然要一个月好几十,我为啥不用阿里云呢(掀桌!),我后来也问了客服,回答如下: 他的大意是–不是我们免费的套餐的锅,

官方百度蜘蛛UA集合|什么是渲染UA

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。 那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛: 1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是: 移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,li

亚马逊AWS服务器收费细则(仅供参考)

AWS 提供了一整套基础设施和应用程序服务,可以很方便的用于构建各种云端应用系统。在这些年的发展中,AWS也逐步形成了一套十分繁杂的计费系统。下面我们就来看看这笔账是怎么算的。 几个说明:1. 这里只讨论最普通的费用,即北弗吉尼亚,linux机型。AW大多产品根据所在区域,运行系统不一样,如linux、windows等,每种的价格都会有差异;基本上了解清楚一种,其他都可以类推。2. AWS的计费价格、计费内容会一直随着时间改变,比如推出新的产品、优惠、降价。基本上价格都在逐年递减。这里

【产品】PWA 在饿了么移动站点的实践经验

PWA ( Progressive Web Apps,渐进式网页应用)是由谷歌提出的新一代 Web 应用概念,旨在提供可靠、快速、类似 Native 应用的服务方案。 本篇旨在和大家分享「饿了么 M 站」在 PWA 改造中的实践经验。涉及到的方面有:PWA 线上部署的准备工作、多页应用的 prerender 优化、实践过程中踩到的(和推进解决的)坑。而关于 PWA 的一些基础资料,本篇不会多费笔墨,有兴趣深入了解的朋友可查看本文最下面的延伸阅读栏目。 准备工作 提问:做 PWA 第一步

[WP]常见wordpress安装,运行,使用出现500错误分析和解决方法

最近因为写了一篇博文,内容是关于我的一次WP故障情况的解决过程和分析,然后有放在wordpress.org.cn上,结果有很多朋友看过后还仍然有少部分朋友没能解决问题,在我的博客给我留言,在此我把我目前接触到的几种PHP 500 Error错误情况和处理方法跟大家分享,如果你用这些方法解决了问题,欢迎留言! 首先解释下500 internal Error是个什么东西,翻译过来就是服务端系统内部错误,错误的编号500 ,产生的原因也有多种,大家不要觉得内部错误很可怕,其实很多情况只是服务器的安全措

【转】Ubuntu 18 免费SSL证书申请 自动续费 nginx配置https!

如果要启用HTTPS,我们就需要从证书授权机构(以下简称CA) 处获取一个证书,Let’s Encrypt 就是一个 CA。我们可以从 Let’s Encrypt 获得网站域名的免费的证书。这篇文章也主要讲的是通过 Let’s Encrypt + Nginx 来让网站升级到HTTPS。 Certbot 简介 Certbot 是Let’s Encrypt官方推荐的获取证书的客户端,可以帮我们获取免费的Let’s Encrypt 证书。Certbot 是支持所有 Unix 内核的操作系统的,像cen

产品介绍 — Certbot-免费的https证书

HTTP:是互联网上应用最为广泛的一种网络协议,是一个客户端和服务器端请求和应答的标准(TCP),用于从WWW服务器传输超文本到本地浏览器的传输协议,它可以使浏览器更加高效,使网络传输减少。 HTTPS:全称:Hyper Text Transfer Protocol over Secure Socket Layer,则是以安全为目标的HTTP通道,简单讲是HTTP的安全版,即HTTP下加入SSL层,HTTPS的安全基础是SSL,因此加密的详细内容就需要SSL。 HTTPS协议的主要作用可以分为两

【转】亚马逊服务器 EC2 利用Linux搭建WordPress教程(二)

1、开始配置一台wordpress服务器:安装相关软件 上一篇请看: https://www.rrdaj.com/hzseo/seoxin-shou-ru-men-xue-xi/wzrzfx/4013.html ,好了开始吧,执行: sudo apt-get update sudo apt-get upgrade 输入命令行,回车 不用怕输错,所有命令行都可以右键复制粘贴。 作为一个基本Web网站,我们需要至少这三样东西:Apache,PHP以及 MySQL。 传统意义上LAMP套装是Linux

【转】Linux Ubuntu中Apache2启动失败报错的不同解决方法!

为解决这个问题,花了一个下午,参考了120多条网络博文,很有成就感。但实际上是由于一个简单的配置原因导致的问题,希望以后可以更加细心。最初的现象,php代码没有解析.【 我参考了这位博主的经历,以及我自己的经历,大家可以少走弯路….. 】 phpinfo输出内容是 显然,只是代码,并没有成功解析php代码。事后分析,是Apache2服务的问题。 禁用ipv6网段 Job for apache2.service failed because the control process ex

亚马逊服务器 EC2 利用Linux搭建WordPress教程

Amazon Elastic Compute Cloud (Amazon EC2) 是一种基于 AWS Web 的一项云服务,特点是可在云中提供大小可调的计算量。它的服务接口非常简单,您可以轻松获取和配置容量,可以完全控制您的计算资源,甚至可以直接挂载他人开发的生物信息学工具集合的镜像,减少部署时间。 Amazon EC2 启动新服务器实例的速度非常快,当您的计算要求发生变化时,您便可以快速扩展计算容量。服务按您实际使用的容量和计算量收费,还为开发人员提供了创建故障恢复应用程序以及排除常见故障情

企业公司应该怎样去购买云服务器

之前写了一份个人站长如何购买虚拟主机的文章,传送门:https://www.rrdaj.com/hzseo/sou-suo-yin-qing-you-hua-jiao-cheng/3966.html。今天写一写企业如何去选购服务器,因为现在越来越多人以网站作为载体去做相应的业务了,比如跨境电商行业,游戏行业……企业公司在购买云服务器的时候往往不知道从什么地方下手,服务器提供商也是列了大量的服务器套餐,但是购买者又不懂这些术语,无从下手!所以,这篇文章主要帮助你了解这些信息

亚马逊 AWS E2C 如何启动配备Linux 虚拟机

Amazon Elastic Compute Cloud (EC2) 是用于在云中创建和运行虚拟机的 Amazon Web 服务。AWS 将这些虚拟机称为“实例”。本分步指南将帮助你在 AWS 免费套餐中的 Amazon EC2 上成功启动 Linux 虚拟机。 步骤 1.注册并登录 AWS服务器后台 本教程中的 Amazon EC2 不额外收取费用。在本教程中创建的资源符合免费套餐条件。单击按钮和链接会打开新选项卡,然后你可以按照本教程在 AWS 控制台中进行操作。创建免费

阿里云服务器ecs到底是什么鬼?

由于网上的很多关于阿里云ECS的介绍都很专业性,很多人都看不懂,包括我在内。所以为了更好地了解云服务器ecs,我们可以想一下平时这个专业名词的应用场景,更加方便大家去理解。仔细回想,你会发现,似乎和云服务器没什么太大的差别。的确如此。 一、阿里云服务器ecs的概念与作用   云服务器(Elastic Compute Service,简称 ECS)是一种简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本,使您更专注于核心业务创新。云服务器和EC

服务器优化解读-什么是VPS | 有什么作用

什么是VPS? VPS(Virtual Private Server 虚拟专用服务器)主机,将一部独立服务器分割成多个虚拟专用服务器也就是VPS主机。 这种混合模型使用一种称为 hypervisor 的虚拟技术,将单个服务器划分为多个独立的空间或虚拟机,每个空间都有自己的操作系统和基础应用。 每个VPS主机都可分配独立公网IP地址、独立的操作系统、独立的空间、独立的内存、独立的CPU资源、独立执行程序以及独立系统配置等。 用户除了可以分配多个虚拟主机及无限邮箱外,更具有独立服务器功能,可自行安装