查看: 1696|回复: 5

[讨论] 关于小说采集数据太大经历。

[复制链接]

1

主题

11

帖子

162

积分

新手上路

Rank: 1

积分
162
发表于 2019-9-25 13:55:39 | 显示全部楼层 |阅读模式

本帖最后由 chujiu 于 2019-9-25 14:02 编辑
, b$ }& J8 w5 C1 n' m* a6 d8 X
2 X4 T; p1 w3 q0 q( F4 K9 G# R, R搭建了小说网站采集配置好了就没管它了,偶然检查服务器时发现磁盘都快满了。6 R5 M- C2 N6 p9 O1 m4 b: B6 q& p" h
小说采集才一万多本怎么会有这么大的内存。2 M, q; b* a. S& t# a

+ G5 l4 U1 o8 W& O5 `9 h2 q
) f' E. V* X3 t* \* G0 A8 t* P看了下数据库占了16G  把我吓到了,一万本的小说占16g,那别人的网站岂不是几个t才敢搭建(内心惊恐)0 B$ m+ m2 [- O9 q. k# e/ L
" k( f2 a( b0 a  B; ^
" `9 d9 g1 B% U+ V6 W6 j9 y* A
进数据库的data看了下
  z2 @' j: `" ?
. W/ }& x  P% t- X+ I; e
+ O0 _6 [2 R  l$ Q1 Z3 H6 w发现是mysql-bin.000001这类文件,
' E% P% R% Q; I+ B( u  z) A8 {$ P* s, T& {6 M) I- X; N
本身的数据库没这么大
! K" f- u! ^) }9 Q/ }. {, M& I7 ^0 t7 P' C! V
/ C$ i. }$ T4 V; r

# T+ H! D  k2 \% J3 v度娘了下是2 M* a5 B# e# p/ p
mysql-bin.00000*日志文件
2 V% Q6 Y+ n8 i* E, U: Q
$ I( G4 L" t8 ^7 R6 R4 k5 [* ?- O. Q8 T, [) p
我清理掉后数据库直接崩了。。没备份的习惯再加上这么大备份来有卵用啊0.09 p! X+ A) l# y% }4 Z, N3 _
# Z' z) O( O/ L  _' |( a9 I4 g  h
不管了。格盘 重新装系统装环境,然后搭建。搭建好后发现还是要生成这些文件
' `1 \: D3 [6 X9 J& b, T# W! [: L0 S
这时候怎么办呢。当然找我们的站长大人帮忙了,还是好心人多呀。。。
/ u& ]* A( m: a1 [- |6 }( ]; E- H
禁用日志文件
% M5 M& t1 L  V8 P0 X- S: S$ Z如果想彻底禁用的话,就需要去配置文件里面进行修改了。
. I# @1 \% `1 D2 s+ O1 N& cvi /etc/my.cnf
$ C; r" M2 d) d) b7 y" ~% N1 V/ T9 A0 d3 |- Y& H
vi情况下找到(可使用 / 命令进行查找)8 i: C& N! Y/ z+ n) }- s* F
log_bin=mysql-bin
2 l, u5 C9 k; U5 s- rbinlog_format=mixed
7 p0 z* y( l/ m1 I" R然后将其注释掉(使用 #),使用!wq保存my.cnf文件后,重启下mysqld生效;
! K  U6 x; y. M7 E  J, N然后我重新搭建了一遍,用了站长提示的方法将宝塔面板linux版装在/www以外的目录(论坛里有教程)% F% S# v- \+ u7 w5 _7 q

- Y. T9 U' h) r$ _" x. m" Q7 [' j  u9 _' N4 @3 ?% q
: c+ v1 X5 d; S. o! a
然后终于搭建好了 ,现在采集的小说1w多本 空间占用4个g。我也不知道正不正常。。反正比我那16个g好多了
. f, t$ e# T+ e2 R
6 v3 l; M7 k9 Y
: @7 Q* V) q6 N7 y9 S
  @, b$ t3 _* N& l$ q* n最后奉献几个采集规则给大家。不保证全部正常,但是能借鉴自己修改下规则就能用了。
  W2 ]8 r& V, l3 w$ ]% j- y
7 p% t! ]( c' j
0 W! J2 i) H' L+ W3 A
# ~6 E" y9 E$ o$ R$ r1 M. H' b/ o
  Z+ W; Q/ _7 d3 Y. }3 `6 ?1 s7 {5 H' N& @0 @- v6 d% P% i, B- G0 w' e
2 M1 P3 x5 D1 t! x
' I+ M" S( p. j2 r, a! |2 i

% X# ?; y% F0 o8 F( y8 u: r

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

评分

参与人数 1金币 +1 银子 +5 收起 理由
aidan + 1 + 5 分享教程,点赞下

查看全部评分

http://www.youdianlen.com/
回复

使用道具 举报

0

主题

12

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2019-9-29 16:06:09 | 显示全部楼层

啥也不说了,楼主就是给力!
回复

使用道具 举报

2

主题

18

帖子

112

积分

注册会员

Rank: 2

积分
112
发表于 2019-9-29 21:02:07 | 显示全部楼层

楼主买的啥空间,那么大不得花好多M吗
回复

使用道具 举报

0

主题

10

帖子

41

积分

新手上路

Rank: 1

积分
41
发表于 2019-10-8 22:34:22 | 显示全部楼层

23US规则是啥呀,没搞懂。
回复

使用道具 举报

1

主题

11

帖子

162

积分

新手上路

Rank: 1

积分
162
 楼主| 发表于 2019-10-14 22:15:48 | 显示全部楼层

1 u2 N  l# R. T5 Z1 q1 u, h
源站是顶点的,
http://www.youdianlen.com/
回复

使用道具 举报

0

主题

6

帖子

9

积分

新手上路

Rank: 1

积分
9
发表于 2020-1-5 14:34:39 | 显示全部楼层

3 Y+ U7 {% Q0 j
啥也不说了,楼主就是给力
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则