查看: 1481|回复: 5

[讨论] 关于小说采集数据太大经历。

[复制链接]

1

主题

11

帖子

162

积分

注册会员

Rank: 2

积分
162
发表于 2019-9-25 13:55:39 | 显示全部楼层 |阅读模式

本帖最后由 chujiu 于 2019-9-25 14:02 编辑
- G" t  \7 s  I- j. x5 ]2 R. F. R- y
7 x! v; T# J4 ^3 e8 L: ]搭建了小说网站采集配置好了就没管它了,偶然检查服务器时发现磁盘都快满了。% K' G+ W# K3 f' A
小说采集才一万多本怎么会有这么大的内存。6 F& t+ N$ r0 q/ f2 ^. H
' [/ p$ A! o" U6 Y7 W; N! ~6 i
; y( J2 {: y6 L' ~6 {# h9 S
看了下数据库占了16G  把我吓到了,一万本的小说占16g,那别人的网站岂不是几个t才敢搭建(内心惊恐)& j# b/ N  {) t* U

* w- D* B  H0 u/ @# g: ^  j" z3 @* w" ?  j
进数据库的data看了下
$ D3 K) T- F# c
8 ?, z5 p- `% V/ Z3 u  y: {+ I: q- p$ Q$ v
发现是mysql-bin.000001这类文件,
- m" l7 L8 ^" Z6 Q, U; Z& h8 R
. Y" q- {3 O& ?本身的数据库没这么大3 G, x3 q' V# ^6 l, E# e6 w
7 D! h7 d* }$ K, F& @

/ M' P6 ]# j. v' k/ S3 {
* T- x$ l0 \* J2 i度娘了下是( f/ v4 R7 f3 M4 B+ u
mysql-bin.00000*日志文件
/ v1 M6 M/ Q% W( e7 Y' B7 f% O
/ E* z# z8 {3 u& `+ m% z/ n, }7 |; w) B( M
3 P( q# l: ]( p# M8 t  h" n7 P我清理掉后数据库直接崩了。。没备份的习惯再加上这么大备份来有卵用啊0.0
8 H! f6 t( l; B+ W9 P" Z4 T5 ?  f4 e2 k( ]# r$ S
不管了。格盘 重新装系统装环境,然后搭建。搭建好后发现还是要生成这些文件& ^+ }* k% m  N: q( G
" |- D$ ]3 y" r) T
这时候怎么办呢。当然找我们的站长大人帮忙了,还是好心人多呀。。。
/ s1 {- b: a2 I* D0 n6 U
7 ]# {5 d- _# i5 a& A( c% N6 U/ D禁用日志文件
! [! P5 ?0 }* ]8 W9 O如果想彻底禁用的话,就需要去配置文件里面进行修改了。
- t( M. e. r6 p5 \vi /etc/my.cnf
) n, R& ~+ e" h' l
: x, F% {- ^. ^5 q2 Vvi情况下找到(可使用 / 命令进行查找)4 N* S/ ~7 W. B6 O) g; d
log_bin=mysql-bin  z, ~- S2 s$ d: H
binlog_format=mixed1 }* B4 d. ~6 u  c- x' u
然后将其注释掉(使用 #),使用!wq保存my.cnf文件后,重启下mysqld生效;
8 N" ]( B% E( s+ ^. ]' P6 d. h然后我重新搭建了一遍,用了站长提示的方法将宝塔面板linux版装在/www以外的目录(论坛里有教程)
, ~) m# ^- d  `* W( ]5 L3 ^. S( ~$ u' K
/ U1 T7 N2 s% b: ~+ `) g

3 g  N# F; x  c. P5 O1 w3 X然后终于搭建好了 ,现在采集的小说1w多本 空间占用4个g。我也不知道正不正常。。反正比我那16个g好多了6 c+ {% G7 p7 _& _1 |
6 B5 m9 w- i8 i# m8 ^: Z4 Z

& ]; Q* @3 {7 D0 }' L  w* d. i
$ U4 ?. g3 S. W, f  D. d最后奉献几个采集规则给大家。不保证全部正常,但是能借鉴自己修改下规则就能用了。
) z4 ^( T/ S0 W! H& D  c/ @& S& B# k5 X

% [: P* X% y0 z7 ?# \1 b" A5 a+ j& U! K! u

5 w! }% R! Q8 e) s# j# {6 @8 O. `+ I7 w" _8 X, H8 b
3 t( U' u% u, `5 a
! |! k2 A' i) m1 Y/ h2 [
3 `9 p5 M' X9 W% I3 i3 I" z. r

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

评分

参与人数 1金币 +1 银子 +5 收起 理由
aidan + 1 + 5 分享教程,点赞下

查看全部评分

http://www.youdianlen.com/
回复

使用道具 举报

0

主题

12

帖子

106

积分

注册会员

Rank: 2

积分
106
发表于 2019-9-29 16:06:09 | 显示全部楼层

啥也不说了,楼主就是给力!
回复

使用道具 举报

2

主题

18

帖子

112

积分

注册会员

Rank: 2

积分
112
发表于 2019-9-29 21:02:07 | 显示全部楼层

楼主买的啥空间,那么大不得花好多M吗
回复

使用道具 举报

0

主题

10

帖子

41

积分

新手上路

Rank: 1

积分
41
发表于 2019-10-8 22:34:22 | 显示全部楼层

23US规则是啥呀,没搞懂。
回复

使用道具 举报

1

主题

11

帖子

162

积分

注册会员

Rank: 2

积分
162
 楼主| 发表于 2019-10-14 22:15:48 | 显示全部楼层

8 c" P; `1 k% }6 G: s# G7 r
源站是顶点的,
http://www.youdianlen.com/
回复

使用道具 举报

0

主题

6

帖子

9

积分

新手上路

Rank: 1

积分
9
发表于 2020-1-5 14:34:39 | 显示全部楼层

; H4 y$ h( E0 _! K: ]: {
啥也不说了,楼主就是给力
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则