【转】个人使用vpn”翻墙”是否违法?

本文旨在分析“翻墙”行为的法律风险,并基于现行规范性法律文件和相关案例进行学术讨论。在分析相关法条时可能需要对部分计算机专业术语进行释义。但本文不涉及有关“翻墙”的任何技术指导或方法的具体介绍。另,本文讨论的一切“XXX合法与违法”问题,分析的主体都是“单纯访问境外网站”,不包括“访问、发布、传播违法有害信息”,后者当然属于违法犯罪行为,但这和翻墙行为没有任何本质联系,因为在境内网站也可访问、发布、传播违法有害信息。 在本文大致框架形成以前,我已查阅国内几乎所有关于“翻墙”的论文和文章,大部分探

【转】使用Tornado+Redis维护ADSL拨号服务器代理池

我们尝试维护过一个免费的代理池,但是代理池效果用过就知道了,毕竟里面有大量免费代理,虽然这些代理是可用的,但是既然我们能刷到这个免费代理,别人也能呀,所以就导致这个代理同时被很多人使用来抓取网站,所以当我们兴致勃勃地拿他来抓取某个网站的时候,会发现它还是被网站封禁的状态,所以在某些情况下免费代理池的成功率还是比较低的。 当然我们也可以去购买一些代理,比如几块钱提取几百几千个的代理,然而经过测试后质量也是很一般,也可以去购买专线代理,不过价格也是不菲的。那么目前最稳定而且又保证可用的代理方法就是设

ubuntu 20.04 编译安装 python 3.7.7

ubuntu20.04的默认python版本是3.8.2,但是百度的飞桨需要的版本最高是3.7,于是我们需要新编译一个python3.7的版本。 我们挑选的python3.7的版本是python3.7.7,链接如下: https://www.python.org/downloads/release/python-377/ 我们下载源码文件类型,两种格式Gzipped source tarball或XZ compressed source tarball任意一个均可,下载后上传到命令终端。 预先安

Python matplotlib画图y轴数值不按大小排列问题

matplotlib 画图的时候经常会出现y轴数据不按大小排列的问题,很混乱,这主要是因为数据类型的错误,导致的!大家可以仔细阅读下以下两个案例,就应该有答案了: 案例一: 昨天偶然做一个爬取数据,做成直方图的小练习发现,最后出来的图标Y轴并不是按顺序排列,按照老规矩,百度一下,找到了原因,一个低级的问题 代码为上述,但是出来的结果如图 解决方案: 经过一番查证后发现其实是爬取数据的时候评分字段的数据类型是文本= =因此多加一个int或者float就可以解决对应问题 输出结果 案例二: 这是一个

网络爬虫合法性案例 — 抓取客户手机号!

之前我写过关于网络爬虫合法性的简单介绍,传送门:http://www.rrdaj.com/hzseo/3263.html,今天看到一篇关于采集用户手机信息的案例性文章,觉得还不错,整理过来让大家看看: 一、淘宝、京东等多家网站数据被爬取 2019年7月底,新京报记者卧底“鹰眼智客”发现,其实际上是利用爬虫技术,从淘宝、京东等网站上爬取到店家手机号后,用于营销。此外,借助该软件,通过微信附近的人,用户可任意设定虚拟位置后批量申请好友,还能“站街”钓鱼营销。 记者发现一家名为“鹰眼智客”的大数据公司

Pycharm 2020 最新永久激活码!

最近很多人的Pycharm激活时间又过期了,很多人索要激活码,我就再把激活的方法汇总和工具再梳理一次给大家。最主要有两种激活方式(两种方式需要的激活码不同): Pycharm最新的激活码汇总 链接: https://pan.baidu.com/s/1WW1eli1DPY5eYRqmiv0cTg 提取码: kvqc 一.激活码激活: 一般一年多需要激活一次,在License Activation激活界面,选择Active,选择Activation code,粘贴如下激活码,点击ok。 二.永久激活

【Pycharm 使用】PyCharm(IDE)怎么用-新手详细教程攻略!

接下来在这个PyCharm教程中,让我们快速介绍Python在这里的使用。 Python开发环境 Python的另一个好处是,可以使用许多IDE。acconda,Eclipse,Notepad ++,Bluefish,Komodo和Vim的所有内容。   查看以下图片:       这些IDE均受广泛支持,我的建议是自己多尝试一下,只要觉得适合就可以继续使用,才能意识到这是否适合你,我个人倾向于Pycharm。   PyCharm简介 如今,许多

PyCharm怎么clone github上开源的项目

PyCharm怎么克隆安装使用 github上开源的项目

一、先要确保PyCharm正确的配置了Git 如果你已经在PyCharm中配置好了Git,可以跳过此步骤,直接看下一步,百度搜索Git安装包,安装过程不再多说,然后请记住Git的安装路径;那么怎么在PyCharm中配置Git呢? 打开PyCharm,点击”Settings”, 然后选中”Version Control”=>“Git”,出现如图所示界面:       看到上图画框框的区域没有?选中之前安装的git.

【转】Python教程–pyppeteer使用笔记

pyppeteer — python版本的puppeteer,一个强大的chronium headless浏览器API,最近搞天猫用了一波儿,记录一下。先上文档: https://miyakogi.github.io/pyppeteer/ 举个最简单的例子入门一下,(文章转自:https://www.bbsmax.com/A/MAzAYYOnz9/): 比如打开百度,然后截图 # coding:utf8 import asyncio from pyppeteer import lau

【Python教程】xpath教程之基础篇-高级篇

这段时间折腾xpath也是心累,找了几篇比较好的文章给你们吧,少走点弯路还是好的,当然实际操作中可能还会问题百出,文章贼长,请做好相应心理准备哦:   一、基础篇:   1. XPath节点 XPath语言中提供了7种节点:文档节点(根节点)、元素、属性、文本、命名空间、处理指令、以及注释。XML文档被作为节点树对待,树的根被称作文档节点或根节点。   1.1 节点 XML实例文档 <?xml version = “1.0” encoding = “utf-8

【Python 教程】while ,if 条件判断、循环以及循环的终止的用法

条件判断 条件语句是用来判断给定条件是否满足,并根据判断所得结果从而决定所要执行的操作;   单次判断 形式 if <判断条件>: <执行> else: <执行>   例子 age = int(input("输入你的年龄:")) if age < 18: print("未成年") else: print("已成年")   多次判断 形式 if <判断条件1&g

【转】Python技巧:科学计算之十分钟学会 Pandas 教程!

Pandas是数据处理和数据分析中最流行的Python库。本文将为大家介绍一些有用的Pandas信息,介绍如何使用Pandas的不同函数进行数据探索和操作。 包括如何导入数据集以及浏览,选择,清理,索引,合并和导出数据等常用操作的函数使用,这是一个很好的快速入门指南,如果你已经学习过pandas,那么这将是一个不错的复习。   pandas导入与设置 一般在使用pandas时,我们先导入pandas库。 import pandas as pd   pandas在默认情况下,如

【互联网那些事】Python 网络爬虫合法性的问题探究 !

免责声明: 首先我不是律师,我只是一个碰巧对 SEO 和爬虫技术这个主题感兴趣的普通新人。所以以下文章都是我查看相关资料得出的结论,仅仅代表个人看法,有什么不对的,欢迎指正。篇幅较长,请耐心看!   一、什么是网络爬虫?   在回答这个问题之前,我们最好还是先简单了解一下爬虫到底是什么,是在地上爬的动物吗?非也…..个人了解,网络爬虫在最近几年是非常火的,特别是 python 语言的诞生,更加推动了这个技术的火热,这个技术呢,一般分为两个层面:   1、

pycharm集成使用anaconda环境

【Python 入门】Pycharm 集成使用 Anaconda 环境

Pycharm是一个非常好用的Python编译运行IDE,anaconda则用于管理Python中各种各样的包,很适合用它写爬虫。如果有喜欢用pycharm的人,又想用ana的小伙伴,可以做一下集成,就是直接把ana里面的包,集成到pycharm里面去,这样会很方便。下面讲讲在Windows系统下让Pycharm能够使用anaconda管理的各种包。   首先请确保已下载: python 3.6及以上 pycharm 2019 anaconda   首先打开Pycharm然后

python新手入门建议

【转】新手写Python程序,如何从入门变老手的相关建议!

【阅读前鸣谢博主lizenghai】入门不久的菜鸟会问Python代码应该怎么写,其实写代码如同写文章,好的文章是改出来的,好的诗句是推敲出来的,那么好的代码呢,好的代码一定是重构出来的!今天我来总结一下如何从菜鸟变成老手的建议,也许对大家有帮助,不当之处多包涵。     我们通常写一个程序的时候,都会经历从单->双->多,从硬编码到柔编码,基本上都会经历下面的这几步,其实代码是讲究柔术的。上面是总览图,我们接着来一一解释。 1.先让程序跑起来 当我们刚开始写一个

wordpress代码框插件

【代码高亮】最新 WordPress 代码框插件推荐测评 !

如果在你的 WordPress 网站上大量使用代码,那么区分它们是很重要的。如果不这样做,就很难将代码与其他内容分离开来,看起来蛮累的,它还可以使你的读者很难复制粘贴他们需要的代码。这个时候使用一个语法高亮的 WordPress 插件就OK了,你可以随心所欲地组织和突出显示代码片段,这样网站整体也会显得美观点。今天就写了我之前用过的几款,弄个简单的测评,大家可以借鉴下,喜欢用插件的可以自己体验下!   NO 1、Crayon Syntax Highlighter 这款插件算是知名度很高

【已解决】python3.6安装MatPlotLib包总是失败报错?

Numpy是Python开发环境中一个独立的函数库;SciPy是以NumPy为基础,一个应用更加广泛的科学计算工具库;MatPlotLib是一个在使用Numpy、SciPy时经常用到的一个强大的绘图函数库。   由于自己需要做可视化,运行脚本的时候提示需要调取matplotlib包,我就安装起来了,用pycharm直接安装matplotlib的时候,真是折腾死我了,怎么安装都是失败的,然后我又用pip install的方法安装,总是提示:Command “python se

Anaconda Spyder怎么查看安装的包以及汉化问题

【Python 】Anaconda Spyder-怎么查看安装的包以及汉化问题

Anaconda是一个用于科学计算的Python发行版( 个人觉得它很适合从R语言转过来的小伙伴,来做数据分析,因为它界面很像rstudio),支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理,并且已经包含了Python和相关的配套工具。在这里大家自行去官网下载安装下,安装好就可以准备汉化了: 汉化准备:

jupyter notebook更换主题

【Python】IPython是什么 & Jupyter Notebook

首先Jupyter Notebook 是一个开源网络应用程序,它允许我们创建和共享代码和文档。它提供了一个环境,你可以在这里记录代码、运行代码、查看结果、可视化数据以及在不离开环境的情况下看到结果。这就使它成为一个方便的工具,可用于数据科学工作流程 — 数据清理、统计建模、建立和培训机器学习模型、可视化数据以及许许多多其他用途。   IPython是一个 Python 解释器的进阶版,它提供了更多默认 Python 解释器所提供的功能。这些改进包括语法高亮,合适的缩进,文档