import sqlite3
with sqlite3.connect(r'E:\gzccnewsdb.sqlite') as db:
    newsdf.to_sql('gzccnews'，con=db)
import sqlite3
with sqlite3.connect('E\gzccnewsdb.sqlite') as db:
    df2=pd.read_sql_query('SELECT * FROM gzccnewsdb'，con=db)
df2

第一页
https://movie.douban.com/subject/26100958/comments?status=P
第二页
https://movie.douban.com/subject/26100958/comments?start=20&limit=20&sort=new_score&status=P
第三页
https://movie.douban.com/subject/26100958/comments?start=40&limit=20&sort=new_score&status=P

最新短评的url

最先睁开你的涉猎器输入：about:version。

}

import sqlite3
with sqlite3.connect('gzccnewsdb.sqlite') as db:
newsdf.to_sql('gzccnews'，con = db)

    "http": " "，

发送request.get时，带上自定义了Cookie的headers

（二）吾别离睁开复怨者联盟4的豆瓣炎门和最新的短评页面，鼠标右键睁开谷歌涉猎器调试，发现短评都在id=comments的div标签里，而详细的评论是在class=short的span标签里。

（三）不都雅察复怨者联盟4乞求的url

《都挺益》弹幕数据，比剧情还精彩？

然后import random，行使随机获取一个user-agent

参考：

图1 炎门短评所在的位置

图4 User-Agen的headers

议决更换IP来达到赓续高 效爬取数据的主意。

headers={’User-Agen‘：

能够用pandas读出之前保存的数据：

import time

五、爬虫综相符通走业

}

headers = {

发送request.get时，带上自定义了User-Agen的headers

一.把爬取的内容保存到数据库sqlite3

3.必要登录

议决更换IP来达到赓续高 效爬取数据的主意。

2.竖立相符理的user-agent，模拟成实在的涉猎器往挑取内容。

图7 最新短评词云

}

导读：漫威影业荣誉出品《复怨者联盟4：了局之战》，故事发生在灭霸休灭宇宙一半的生灵并重创复怨者联盟之后，盈余的铁汉被迫背水一战，为22部漫威电影写下传奇终章。要说比来一段时间最火爆的是什么，就非《复怨者联盟4》莫属了。这部电影在国内上映才5天，票房就已经破了21亿，不晓畅这部电影的票房末了会不会超过吴京的《战狼》呢？到底这部漫威影业荣誉出品的科幻电影总体口碑如何？吾别离爬取了从上映日首到4月30日10时豆瓣电影《复怨者联盟4：了局之战》的炎门和最新的短评数据， 最新电子棋牌真人平台议决硬核的分析通知你答案！

用户代理:

发送request.get时， 澳门最新线上赌博游戏大全带上自定义了Cookie的headers

唐朝诗人之间的有关到底是什么样的？

爬了一下天猫上的Bra购买记录， 澳门线上真人博彩官网有了一些羞羞哒的发现...

源代码

}

time.sleep(random.random()*3)

（四）编写代码

图2 最新短评所在的位置

图3 version版本

'Cookie':    }

with sqlite3.connect('gzccnewsdb.sqlite') as db:
df2 = pd.read_sql_query('SELECT * FROM gzccnews'， 澳门网上开户网址con=db)

Python和Java薪资最高，C#最矮！

1.竖立相符理的爬取阻隔，不会给对方运维人员造成压力，也能够防止程序被迫休止。

    "User-Agent": ""，

    "https": " "，

图8 炎门短评词云

都是谁在指斥996？

4.行使代理IP

 源代码

'Cookie':    }

2.竖立相符理的user-agent，模拟成实在的涉猎器往挑取内容。

炎门短评的url

片面代码（完善代码在课堂演示）

定义乞求头字典headers={’User-Agen‘：}

proxies = {

    "http": " "，

headers={’User-Agen‘：  

遇到的题目：在用cookie模仿登陆的时候，综合新闻cookie意外效，隔段时间后要重新获取cookie。

第一页
https://movie.douban.com/subject/26100958/comments?sort=time&status=P
第二页
https://movie.douban.com/subject/26100958/comments?start=20&limit=20&sort=time&status=P
第三页
https://movie.douban.com/subject/26100958/comments?start=40&limit=20&sort=time&status=P

import pymysql
import pandas as pd
from sqlalchemy import create_engine
coninfo="mysql pymysql://root:@localhost:3306/gzccnews?charset=utf8"
engine=create_engine(coninfo，encoding='utf-8')
df=pd.DataFrame(allnews)
df.to_sql(name='news'，con=engine，if_exists='append'，index=False，index_label=False)

def getcomments():
    ua = UserAgent()
    headers = {
        'User-Agent': ua.random，
        'Cookie': '你的cookie'
    }
    proxies = [
        {"http": "61.135.217.7:80"}，
        {"http": "111.155.116.245:8123"}，
        {"http": "122.114.31.177:808"}
    ]
    for i in range(0， 25):
        res = requests.get('https://movie.douban.com/subject/26100958/comments?start='   str(20 * i)   '&limit=20&sort=new_score&status=P&percent_type='，verify=False，headers=headers，proxies=random.choice(proxies))
        res.encoding='utf-8'
        html_data = res.text
        print('正在访问第：' str(i 1) '页')
        Soup = BeautifulSoup(html_data， 'html.parser')
        comments = Soup.find_all('div'， id='comments')
        comments_content = comments[0].find_all('p')
        time.sleep(random.random() * 30)
        print('正在解析第：'   str(i 1)   '页')
        for j in range(0， 20):
            text = str(comments_content[j])
            print(text)
            f = open('movie_comments.txt'， 'a '， encoding='utf-8')
            f.write(text)
getcomments()