「Guide | Linux 如何高效地镜像一个网站？」 (linux 镜像一个网站)
Guide | 如何高效地在 Linux 上镜像一个网站？
在这个信息化时代，我们经常访问各种网站获取所需信息，但是有时候我们需要在没有网络的情况下访问某个网站，或者是对某个网站进行离线阅读和分析，这个时候我们就需要用到网站镜像的功能。网站镜像可以将一个网站的内容保存到本地磁盘中，方便我们离线访问和分析。本文将介绍在 Linux 环境中如何高效地镜像一个网站。
一、使用wget下载整站
wget是一个著名的linux命令行工具，被广泛地用于从网络下载文件和网页。wget可以递归地下载一个网站上的全部页面，并保持本地和远程服务器同步更新。使用wget镜像一个网站步骤如下：
“`bash
$ wget –recursive –no-clobber –page-requisites –html-extension –convert-links –restrict-file-names=windows –domns website.org –no-parent http://website.org
“`
1. `–recursive`: 递归递归下载整个网站。
2. `–no-clobber`: 不覆盖现有文件。
3. `–page-requisites`: 下载为页面必需的元素，如图像和样式表。
4. `–html-extension`: 将所有文件下载为html文件。
5. `–convert-links`: 重写类似 /online/ 为本地相对路径 /online/。
6. `–restrict-file-names=windows`: 适用于Windows的文件名约束字符。
7. `–domns website.org`: 不要下载任何其他域名。
8. `–no-parent`: 不要跟进上一级链接。
这个命令可以让我们在只使用wget一个工具的情况下，完成网站全部内容的下载工作，非常方便。
二、使用HTTrack镜像整站
HTTrack是一个免费的，开源的，跨平台的网站镜像工具，支持Windows，Linux，macOS等多个操作系统。使用HTTrack镜像一个网站步骤如下：
“`bash
$ sudo apt-get install httrack
$ httrack http://www.example.com/ -O /home/user/output_folder/
“`
1. `sudo apt-get install httrack`: 在Debian或者Ubuntu下安装HTTrack。
2. `httrack http://www.example.com/ -O /home/user/output_folder/`: 开始镜像网站。此命令将网站下载到指定的 `output_folder` 文件夹中。
HTTrack可以递归地下载整个网站，支持用户自定义排除某些文件的类型、网页链接的深度等参数，更加灵活。另外，HTTrack还支持Web服务器缓存和HTTP认证，适用于一些受保护的网站。
三、使用网站镜像工具
除了上述两种方法，还有一些专门用于网站镜像的工具，如网站镜像工具，Teleport Pro，Getleft等工具，这些工具都有可视化的界面，非常方便。这里就不一一介绍了。
通过上述三个方法，我们可以高效地在Linux上进行网站镜像，方便我们离线阅读和分析网站内容。在进行网站镜像时，需要注意以下几点：
1. 尊重原网站作者的版权。在对网站进行任何形式的转载和传播时，要注意遵守版权法规。
2. 镜像的网站内容会占用一定的磁盘空间。在进行大规模网站镜像时，需要考虑磁盘空间的限制。
3. 镜像的内容可能存在过期和不完整的情况，需要进行定期更新和检查。
在合规的前提下，网站镜像是一个非常有用的工具，可以方便我们在没有网络的情况下浏览网站内容，同时也有助于我们对网站的分析和研究。
相关问题拓展阅读：
- linux系统下怎么搭建网站服务器？
- linux系统安装程序无法连接镜像网站，电脑可以直接上网
- 求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…
linux系统下怎么搭建网站服务器？
1、下载源码 通过搜索引擎找到CVS的源代码包，也可以从CVS的官方网站cvshome.org上寻找，由于CVS历史上也出现过一些安全漏洞，所以建议要定期去其官方网站上看看有没有最新版本推出。 2、编译安装 # tar -vf cvs-1.12.5.tar.bz2 # cd cvs-1.12.5 # ./configure –prefix=/usr/local/terry_yu/cvs –disable-server-flow-control # make # make install 以上指令将CVS安装到/usr/local/terry_yu/cvs这个目录上。 注：除了使用源码包进行安装之外，还可以使用RPM包来安装。 3、设置启动CVS服务 在Linux上CVS服务可以通过inetd、xinetd或tcpwrapper等来启动，其中inetd由于安全理由在许多场合已经被xinetd所取代了，这里我们使用xinetd来启动CVS服务。 在/etc/xinetd.d目录下为CVS服务创建一个配置文件，比如：/etc/xinetd.d/cvspserver，编辑/etc/xinetd.d/cvspserver，输歼困入以下内容： service cvspserver { disable = no socket_type = stream wait = no user = root env = HOME= server = /usr/正神bin/cvs server_args = -f –allow-root=/home/cvsroot pserver } 注： 1)pserver表示是口令认证的访问方式，这是最常用的方式，其他还有gserver,kserver,ext，如果想要更高的安全性可以使用ssh来加密口令和数据流，不过这里为了用户使用的方便，仍然选的是pserver。 2)–allow-root是指定Repository的目录，可以建立多个Repository 然后重新启动xinetd: # /etc/rc.d/init.d/xinetd restart Stopping xinetd: Starting xinetd: 重新启动xinetd服务后，CVS服务也开始工作了。 4、在CVS服务器端建立Repository 首先要创建一个名为cvs的组和一个名为cvsroot的用户，以后要访问CVS服务的用户加入cvs这个组： # groupadd cvs # useradd -g cvs -s /in/nologin cvsroot # chown -R cvsroot /home/cvsroot 接下来进行初始化： # cvs -d /home/cvsroot init 这样在/home/cvsroot目录中就产生了CVSROOT目录，其中存放了一些配置文件，如config等，然后设置权限： # chown -R cvsroot.cvs /home/cvsroot # chmod -R ug+rwx /home/cvsroot # chmod 644 /home/cvsroot/CVSROOT/config 为了CVS系统的安全，我们要修改/home/cvsroot/CVSROOT/config文件，将“#SystemAuth =no”前面的注释号#去掉，即改为“SystemAuth =no”，然后给开发者们逐一建立账号，新建的不要分配用户目录，因为它将作为一个虚拟用户氏清念帐号来使用，具体命令如： # useradd -g cvs -M bogus # passwd bogus 上面的命令就创建了一个并没有Home目录的用户bogus，接着将系统的shadow文件复制到CVSROOT, 并重命名为passwd: # cp /etc/shadow /home/cvsroot/CVSROOT/passwd # chmod 0644 /home/cvsroot/CVSROOT/passwd 然后修改passwd文件，将除bogus之外的所有行删除，然后去掉每行第二个冒号以后的所有内容，并添上字符串cvsroot, 改为如下格式： bogus:ND5$J8N9BW5DKV.nPdxfdsh:cvsroot 然后，删除掉刚刚在系统中添加的那个用户bogus: # userdel -f bogus 好了，到这里，CVS服务器端就已经安装设置好了，这样你的CVS用户就只能用passwd中规定的用户来登陆你的CVS服务器了，要注意的是：本文介绍的添加用户的方法适用于小数量的用户，如果是有大规模的开发人员，推荐采用连接LDAP或者数据库来进行用户的认证服务。
具体方法如下：
1、使用putty或类似的SSH工具登录服务器（本地安装跳过）；
2、安装Apacheyum install httpd修改防火墙配置，打开80端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT
配置Apache
vi /etc/httpd/conf/httpd.conf
找到ServerName，设置为自己的域名，如果没有域名，可以设置为localhost:80
3、重纯族启并测试Apache
service httpd restart
打开浏览器，输入http：//ip，可以看到Apache的测试页
4、安装MySQLyum install mysql mysql-server修改防火墙配置，打开3306端口vi /etc/sysconfig/iptables添加记录-A INPUT -m state –state NEW -m tcp -p tcp 亮猜–dportj ACCEPT 设置MySQL开机自动启动chkconfig mysqld on
设置root密码mysql_secure_installation回车后，输入y进行密码设置，设置完密码之后，一路回车，直到出现：Thanks for using MySQL! 重启MySQLservice mysqld restart
安装PHPyum install php 安装PHP组件yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt
重启Apache和MySQL
创建info.php
vi /var/www/html/info.php
内容：
浏览器打敬裤型开http：//ip/info.php进行测试。
有本叫做linux高级编程的书轮姿袭，教的很详细……答服务器，说起来其实腊兄就是创册蔽建一个bin文件的server让他不停的接受客户端的请求和连接 ，就是一个socket函数，当然这是从C语言的角度去考虑的
Redhat下搭建LAMP环境，即可实现网站服务器（web）的功能，方法如下：
一、安装mysql
#1.首先查看系统是否已经安装过了mysql.
rpm -qa | grep mysql
#2.采用cmake方式安装（mysql-5.0.21.tar.gz）
configure & make & make install
#3.mysql 的安装方法：
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_DATADIR=/data/mysql –
DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysqld.sock -DMYSQL_USER=mysql -DEXTRA_CHARSETS=all -DWITH_READLINE=1 –
DWITH_SSL=system -DWITH_EMBEDDED_SERVER=1 -DENABLED_LOCAL_INFILE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1
make
make install
#在make与make install的时候可以看到进度百分比，败弊感觉这一点要比configure方式要好。
#配置并初始化数据库
#1.创建用户和用户组
groupadd mysql
useradd mysql -g mysql
#2.赋予数据存放目录权限
chown mysql:mysql -R /usr/local/mysql/data
#3.创建my.cnf配置文件
mkdir /usr/local/mysql/log
mkdir /usr/local/mysql/etc
cp support-files/my-medium.cnf /usr/local/mysql/etc/my.cnf
#4.初始化数据库
#执行前需赋给scripts/mysql_install_db文件执行权限
chmod 755 scripts/mysql_install_db
scripts/mysql_install_db –user=mysql –basedir=/usr/local/mysql/ –datadir=/usr/local/mysql/data/
#5.创建管察腊族理MySQL数据库的shell脚本
mkdir /usr/local/mysql/init.d
cp support-files/mysql.server /usr/local/mysql/init.d/mysql
#6.赋予shell脚本可执行权限：
chmod +x /usr/local/mysql/init.d/mysql
#7.启动MySQL：
/usr/local/mysql/bin/mysqld_safe &
/usr/local/mysql/init.d/mysql start
#8.通局棚过命令行登录管理MySQL服务器（提示输入密码时直接回车）：
/usr/local/mysql/bin/mysql -u root -p -S /tmp/mysql.sock
二、安装apache （httpd-2.0.59.tar.gz）
#1.解压
tar zxf httpd-2.0.59.tar.gz
cd httpd-2.0.59
#2.解决Apache的关联软件安装过程中的报错问题:
./configure –prefix=/usr/local/apr
make && make install
#提示configure: error: APR-util not found. Please read the documentation
#下载apr-util-0.9.19.tar.bz2进行编译安装
./configure –prefix=/usr/local/apr-util -with-apr=/usr/local/apr
make && make install
#提示pcre错误
#下载安装pcre
./configure –prefix=/usr/local/pcre
make && make install
#3.安装APACHE
./configure –prefix=/usr/local/apache
-with-apr=/usr/local/apr
-with-apr-util=/usr/local/apr-util
-with-pcre=/usr/local/pcre
make
make install
#4.配置启动APACHE
#启动Apache中的php选项,找到下面两行
vi /usr/local/apache/conf/httpd.conf
#修改默认启动页
DirectoryIndex index.html index.php
#指定主目录(/usr/local/apache2/htdocs)
DocumentRoot
ServerName 127.0.0.1:80
#启动
/usr/local/apache/bin/apachectl start
三、安装php （php-5.1.6.tar.bz2）
#1.使用命令检查并配置安装需要的系统环境，并生成安装配置文件。命令行如下:
./configure –prefix=/usr/local/freetype
make
make install
#2.安装PHP
tar jxf php-5.1.6.tar.bz2
cd php-5.1.6
./configure –prefix=/usr/local/php –with-mysql=/usr/local/mysql
–with-apxs2=/usr/local/apache/bin/apxs –with-freetype-dir=/usr/local/freetype –with-mysqli
–with-curl –with-gettext –with-bz2 -enable-shmop –enable-calendar –with-openssl
–with-pspell –enable-ftp –with-openssl –with-zlib –enable-exif –with-gmp
–enable-sysvmsg –enable-sockets –enable-wddx –with-xsl –with-mcrypt
–with-pdo-mysql –with-gd
make & make install
#3.配置php.ini文件
cp php.ini-dist /usr/local/lib/php.ini //复制php的配置文件
cd /usr/local/lib/
vi php.ini //修改配置文件
register_globals = On //一般在414行
max_execution_time = 30 ; // 改为600 (增加处理脚本的时间限制)
max_input_time = 600 ; //更大输出时间600秒
memory_limit = 8M ; //改为40M (这样才能发10M的附件)
register_global =On
post_max_size = 2M ; //php可接受的 post 方法大小 2M
file_uploads = On ; //允许上载文件
upload_max_filesize = 2M ; //更大上载文件2M
session.auto_start = 1 ; //session自动启动
四、安装phpMyAdmin
tar zxf phpMyAdmin-2.6.0.tar.gz
mv phpMyAdmin-2.6.0 /usr/local/apache/htdocs/
vi config.inc.php #修改这个文件
$cfg = ‘localhost’; //改成你数据库服务器的主机名或IP地址；
$cfg = ‘root’; // MySQL 数据库的用户名；
$cfg = ”; // MySQL 数据库的密码；
#主要修改这几项，保存退出
#测试：
linux系统安装程序无法连接镜像网站，电脑可以直接上网
忽略呗！这个不要弄的！因为linux要配置网络后才能正常上网！
求linux一个centos 完整版的镜像下载地址,谢谢了,本人新手,看不懂那些镜像网站的一大堆文件夹内容呀…
Everything这个是最橘握全历斗的，你那个也圆烂庆可以
关于linux 镜像一个网站的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
