今天无聊的看日志，发现几个很没素养的网站用爬虫爬我网站，最恶心的是这些网站还有排名，如下图： 下面几个网站都是典型的爬虫网站，天天广撒网，贴出来，它们大量的去抓别人网站的文章，然后发布到自己网站上，更没素养的是，网站上没有给出联系方式，好把侵权的内容删掉。 也反映了百度之前的打击重复网站内容的算法就是个狗屁，一个形式而已，算法跟谷歌比，一个是爹，一个是儿子。也许百度是这样觉得–天天更新算法，就显得自己高级了？也不学学谷歌的实务进取的精神，天天搞这些没用的，谷歌虽然也有这类情况，但是比
对于大部分网站来说，每天都会面临大量的国外蜘蛛以及各种国内大平台，如华为，字节跳动等蜘蛛的访问抓取，特别是个别垃圾蜘蛛，例如python爬虫，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。所以简单的通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问，当然这只是初级的，只能抵挡2到3成的恶意访问，但是有总比没有好。 方法一：修改nginx.conf，禁止网络爬虫的user_agent，返回403。 1、进入nginx的配置目录，
与MIPY页面同理，AMP页面是 google 开发的一种构建网页快速呈现的静态内容的方式。其中的 amp-analytics 组件能够对页面中的用户数据进行分析。现在我们在 amp-analytics 组件中添加了百度统计的配置，实现了百度统计对 AMP 页面的支持。 开始添加 首先，要想在 AMP 页面中使用组件，记得先将以下脚本添加到 AMP 页面的 head 标签下： 然后，将 amp-analytics 标签插入到页面 body 中。amp-analytics 标签上必须添加属性 ty
如果你的网页针对不同国家不同语言或区域，那么最好将这些不同变体告知搜索引擎。这样一来，搜索引擎就可以按语言或区域将访客引入正确的语言版本。当然，搜索引擎是非常智能的，即便你没有采取上述措施，它们扔会找到你网页的备用语言版本，但通常还是建议你明确指明针对特定语言或区域提供的网页，减少搜索引擎的识别工作。 下面是一些建议以及一些示例情形： 用单一语言显示网页的主要内容，只翻译了模板部分，例如导航和页脚部分。以用户生成的内容为主的网页（如论坛）通常会采取这种做法。 网页用单一语言为不同区域的用户提供相
在学习ab测试工具之前，我们需了解几个关于压力测试的概念，内容取自网络： 吞吐率（Requests per second） 概念：服务器并发处理能力的量化描述，单位是reqs/s，指的是某个并发用户数下单位时间内处理的请求数。某个并发用户数下单位时间内能处理的最大请求数，称之为最大吞吐率。 计算公式：总请求数 / 处理完成这些请求数所花费的时间，即 Request per second = Complete requests / Time taken for tests 并发连接数（The nu
最近遇到了一件非常棘手的问题，用Navicat或者pycharm远程连接MySQL数据库居然连接不到，真是头都大了。网上查阅了一下原因，原来是没有开通远程权限或者是端口的问题，好吧，下面我就来回忆一下自己怎么处理这问题的！ 当然首先得先确保你填的mysql 主机ip，数据库名以及密码等信息都是正确的，最好检查下，不然就没用了！！ 好了，开始问题整理以及解决办法 错误一： 错误原因： 本地IP（xxx.xxx.xxx.xxx）没有访问远程数据库的权限。于是下面开启本地IP（xxx.xxx.xxx.
vultr新上韩国首尔机房，5美元/月起，目前测试来看还可以，人多之后就可能重蹈日本覆辙，另外如果是新用户注册充值送100美元，该活动需要信用卡和paypal验证，验证后可支持支付宝和微信。它是一家2014年刚成立的VPS服务商，基于KVM，采用SSD硬盘，可以自己上传ISO，1G以上配置可以安装Windows，并且计费方式非常灵活一个整月就按整月，不足就按小时。目前较热门的机房IP很多被墙可能会有很多IP国内无法使用，可能需要重新购买多次。机房众多有日本、美国洛杉矶、Dallas、Chicag
什么是VPS 鉴于一些朋友可能是刚接触VPS服务器，我们先从最基础方面做一些介绍。VPS的全称是 Virtual Private Server，中文解释就是虚拟专用服务器，是相对于独立的服务器来说的。 一台独立服务器，可以划分为n台VPS，每台VPS都可分配独立公网IP地址、独立操作系统，可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。因为VPS的价格更低，适合个人用户使用，所以我们搭建Shadowsocks/SSR/V2Ray/Trojan等科学上网工具时，一般都是在VPS上进行
网站安全不要仅仅依靠软件来保证网站的安全性，安装安全插件或者服务器配置安全软件总是好的，因为没有一样东西可以完成所有的工作。今天给大家介绍一款实用的网站安全产品服务：Imunify 360 ，虚拟主机也是可以用的，这个软件是在 2016 年由 Cloud Linux 开发的，在年底发布，并且已经被一些托管服务提供商安装。主流的 wordpress 等开源系统，以及国内很多主机商都在用，它加强了托管系统的安全性，例如: 高级防火墙 入侵检测与防护系统 恶意软件检测 修补程式管理 功能介绍： 高级防
大家好，最近在研究在搞Python的大作业，有个需求就是利用Matplotlib画几个像模像样的统计图然后合并在一张图中，因为此前很少用这方面的东西，所以折腾了不少时间，今天介绍一下。 1、subplot多合一 其实，利用python 的matplotlib包下的subplot函数可以将多个子图放在同一个画板上。在此之前，我们先来看一个案例： 效果如下： 可以看到，一个画板上放了4个子图。达到了我们想要的效果。好了我们现在来解析一下刚刚的部分代码： plt.figure(1)：表示取第一块画板，
大家一定要清楚，天下没有免费的午餐，aws云计算的免费是有条件的免费，aws提供的服务计价以美元计算，对普通人而言非常昂贵，不能完全理解本博文的，请不要随便尝试。否则因此被计费，本人概不负责。在此，本文小结了我自己在亚马逊aws（Amazon Web Services）云计算服务上注册一个免费的服务器的方法和一些注意事项。 这是我自己遇到的收费收了我8刀，上个月是7刀，后来我在就想既然要一个月好几十，我为啥不用阿里云呢（掀桌！），我后来也问了客服，回答如下： 他的大意是–不是我们免费的套餐的锅，
随着单页应用程序越来越流行，如果在eComm等网站上使用 Google Analytics（分析），则还可以利用 Google 的增强型电子商务功能。对于那些使用 GTM 数据层的人来说，实现应该相对简单些。我在这里做一些假设，第一个假设是知道如何通过 GTM 的数据层实施基本的增强型电子商务。第二个假设是知道如何对SPA实施基本跟踪功能。如果你不知道如何实现跟踪的方法，参考这个文章。这篇文章偏理论，所以建议多看看即可，理解为主。 问题 对于单页面应用程序，跟普通网页就不一样了，比如正常加载页面
本篇是付费篇，如果你是大佬，可以忽略了，本指南介绍了如何在Google Analytics中简单使用正则表达式，文档主要是帮助下基础不是很好的小伙伴，付费也是帮助我自己加点小收入，赚点吃饭的Money，毕竟我维持站点也要点费用哈！ 什么是正则表达式？ [$]在Google Analytics中，正则是用于描述搜索模式的特殊文本字符串，主要用于为细分，匹配网页和更多高级元素创建灵活的定义数据。如果你想做其他高级过滤或营销目标，一个良好的正则表达式的书写将给你带来很好的分析力。比如可以
从网站的用户层面，我们根据用户访问的行为特征将用户细分成各种类型，因为用户行为各异，行为统计指标各异，分析的角度各异，所以如果要对用户做细分，可以从很多角度根据各种规则实现各种不同的分类，看到过有些数据分析报告做了各种用户的细分，各种用户行为的分析，再结合其他各种维度，看上去内容绝对足够丰富，但很难理解这些分析结果到底是为了说明什么问题，也许作为一个咨询报告反映当前整体的趋势和用户特征确实合适，但如果真的要让数据分析的结果能够引导我们去做些什么，还是要在做用户细分前确定分析的目的，明确业务层面的
经常听到站长们问，百度蜘蛛是什么？最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，我们无法对外公布。 那怎么才能识别正确的百度蜘蛛呢？来来来，只需两步，教你正确识别百度蜘蛛： 1.查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是： 移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,li
AWS 提供了一整套基础设施和应用程序服务，可以很方便的用于构建各种云端应用系统。在这些年的发展中，AWS也逐步形成了一套十分繁杂的计费系统。下面我们就来看看这笔账是怎么算的。 几个说明：1. 这里只讨论最普通的费用，即北弗吉尼亚，linux机型。AW大多产品根据所在区域，运行系统不一样，如linux、windows等，每种的价格都会有差异；基本上了解清楚一种，其他都可以类推。2. AWS的计费价格、计费内容会一直随着时间改变，比如推出新的产品、优惠、降价。基本上价格都在逐年递减。这里
PWA （ Progressive Web Apps，渐进式网页应用）是由谷歌提出的新一代 Web 应用概念，旨在提供可靠、快速、类似 Native 应用的服务方案。 本篇旨在和大家分享「饿了么 M 站」在 PWA 改造中的实践经验。涉及到的方面有：PWA 线上部署的准备工作、多页应用的 prerender 优化、实践过程中踩到的（和推进解决的）坑。而关于 PWA 的一些基础资料，本篇不会多费笔墨，有兴趣深入了解的朋友可查看本文最下面的延伸阅读栏目。 准备工作 提问：做 PWA 第一步
如果要启用HTTPS，我们就需要从证书授权机构(以下简称CA) 处获取一个证书，Let’s Encrypt 就是一个 CA。我们可以从 Let’s Encrypt 获得网站域名的免费的证书。这篇文章也主要讲的是通过 Let’s Encrypt + Nginx 来让网站升级到HTTPS。 Certbot 简介 Certbot 是Let’s Encrypt官方推荐的获取证书的客户端，可以帮我们获取免费的Let’s Encrypt 证书。Certbot 是支持所有 Unix 内核的操作系统的，像cen
1、开始配置一台wordpress服务器：安装相关软件 上一篇请看： https://www.rrdaj.com/hzseo/seoxin-shou-ru-men-xue-xi/wzrzfx/4013.html ，好了开始吧，执行： sudo apt-get update sudo apt-get upgrade 输入命令行，回车 不用怕输错，所有命令行都可以右键复制粘贴。 作为一个基本Web网站，我们需要至少这三样东西：Apache，PHP以及 MySQL。 传统意义上LAMP套装是Linux
为解决这个问题，花了一个下午，参考了120多条网络博文，很有成就感。但实际上是由于一个简单的配置原因导致的问题，希望以后可以更加细心。最初的现象，php代码没有解析.【 我参考了这位博主的经历，以及我自己的经历，大家可以少走弯路….. 】 phpinfo输出内容是 显然，只是代码，并没有成功解析php代码。事后分析，是Apache2服务的问题。 禁用ipv6网段 Job for apache2.service failed because the control process ex
