爬虫MongoDB爬取豆瓣信息挖掘之旅（mongodb豆瓣）

爬虫MongoDB爬取豆瓣信息挖掘之旅

近日，很多人都在讨论爬虫MongoDB爬取豆瓣信息挖掘之旅。爬虫MongoDB可以用于爬取豆瓣的信息，进行信息挖掘，获得有用的资料。

首先，使用爬虫MongoDB爬取豆瓣信息。一般来说，我们需要先建立MongoDB连接，然后使用urllib、requests等Python库调用API，为了获得有用的信息，建议使用Beautiful Soup库来爬取特定的页面，以及相关信息，使用如下代码：

import requests
from bs4 import BeautifulSoup

# 爬取页面
url = 'XXXX' 
response = requests.get(url)
html = response.text
# 解析页面
soup = BeautifulSoup(html, 'html.parser')
# 爬取信息
items = soup.find_all('div', class_='info')
item_result = []
for item in items:
    username = item.find('a', class_='name').get_text()
    user_intro = item.find('p', class_='intro').get_text()
    user_address = item.find('span', class_='address').get_text()
    item_result.append({
        'username': username,
        'user_intro': user_intro,
        'user_address': user_address
        })

其次，解析之后，存储到MongoDB数据库中，这里使用pymongo库来操作MongoDB数据库，代码如下：

from pymongo import MongoClient
# 连接MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client['douban']
collection = db['userinfo']
# 写入MongoDB
collection.insert_many(item_result)

最后，豆瓣的信息已经存入MongoDB中，用户可以通过分析数据，挖掘有用的信息，达到获取相关信息的目的。

综上所述，爬虫MongoDB爬取豆瓣信息挖掘之旅包含以下几个方面：使用爬虫MongoDB爬取豆瓣信息，解析之后存入MongoDB数据库，对数据进行挖掘，获取有用的信息。