查看: 469|回复: 4

[讨论] 关于小说采集数据太大经历。

[复制链接]

1

主题

11

帖子

140

积分

注册会员

Rank: 2

积分
140
发表于 2019-9-25 13:55:39 | 显示全部楼层 |阅读模式

本帖最后由 chujiu 于 2019-9-25 14:02 编辑 0 R& q! V  z) j
4 S* Z" x. C" v, W' ~
搭建了小说网站采集配置好了就没管它了,偶然检查服务器时发现磁盘都快满了。) J! X" y  Y) l$ a$ y* k' q
小说采集才一万多本怎么会有这么大的内存。
! X& j6 k: B+ R  n5 Z5 h
: u1 F1 U( `0 r5 ^
0 e' c0 U2 \( V/ B/ d1 X看了下数据库占了16G  把我吓到了,一万本的小说占16g,那别人的网站岂不是几个t才敢搭建(内心惊恐)7 U: o4 A- F% V8 i1 F% H
  S  v9 p1 `, i, h1 |" n6 `

& O* J) l' U" z进数据库的data看了下8 h( j) p/ }# j  B; Z2 s
8 A" `. n! y  q# j+ v

% p' v1 U4 X8 ~发现是mysql-bin.000001这类文件,
" ?7 w( x3 l6 Y3 K. c, u2 x+ S* g/ J! `2 a5 ?. T
本身的数据库没这么大
$ w. x+ u/ L+ I( J$ O
& R  ?; C4 r5 ~& ^; G6 C& \- I
5 }: T' I7 H% b9 w6 C- n/ f; u  J* n$ [$ j
度娘了下是- @; a5 ?4 Z, `- f  D* E- s9 g
mysql-bin.00000*日志文件
3 s+ w' d  J+ k* D3 D; @0 {7 k$ H
8 X" S' o: B5 I  x
: K0 `; T/ g- O! j% x我清理掉后数据库直接崩了。。没备份的习惯再加上这么大备份来有卵用啊0.0$ I6 b" N5 T7 U' c

7 @$ F$ b) C3 C) c$ `- {6 K/ l- k不管了。格盘 重新装系统装环境,然后搭建。搭建好后发现还是要生成这些文件
, I/ Y9 Y  f; H; C5 q4 P4 v3 E2 K) o( O! ?' }" Y0 `
这时候怎么办呢。当然找我们的站长大人帮忙了,还是好心人多呀。。。9 M3 t) o. S9 V8 z$ D2 M( I
8 A) I* `0 Z5 n' W
禁用日志文件( b7 k+ _7 }, x) L: @% Z- N- q
如果想彻底禁用的话,就需要去配置文件里面进行修改了。
  r5 Y, O# C* _2 M3 h  Z3 [vi /etc/my.cnf
2 Q3 b7 B, e4 v% I  t3 l
) z& w6 ^& u: p" J) U& Ivi情况下找到(可使用 / 命令进行查找)
, U3 I5 k1 o. U, E$ \. xlog_bin=mysql-bin/ u& m0 F* r. K( z
binlog_format=mixed
' m1 `% [: W) w- r然后将其注释掉(使用 #),使用!wq保存my.cnf文件后,重启下mysqld生效;
# R  O) @- V/ v; k+ v9 o然后我重新搭建了一遍,用了站长提示的方法将宝塔面板linux版装在/www以外的目录(论坛里有教程); P5 d& x4 \1 F  e8 }
$ b/ w6 p0 c0 B
  |! ?" `& F; F

2 k4 ^( G0 n" ?2 J/ ?" d然后终于搭建好了 ,现在采集的小说1w多本 空间占用4个g。我也不知道正不正常。。反正比我那16个g好多了
  o5 F2 E3 D3 |
; ^+ k0 p" ]7 B! ?
% Y4 y. o/ R3 e6 Z" w3 s  Q# `' n0 o8 g! W' e  G  b9 m
最后奉献几个采集规则给大家。不保证全部正常,但是能借鉴自己修改下规则就能用了。  P. O. p) r" O$ K/ R

% L2 F; g3 n, r2 ~3 L8 N: y0 m- |2 T9 X: x0 [" j
2 L* P2 o; M% d8 v' R: {) Z
8 T& k9 b% O( D+ z. w

9 I4 X: G9 p0 [; J) Y- g% i+ Q; p# [) e' K. |
3 j( r; S8 P( Z1 s

$ e* C% }3 @" L% `

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

评分

参与人数 1金币 +1 银子 +5 收起 理由
aidan + 1 + 5 分享教程,点赞下

查看全部评分

http://www.youdianlen.com/
回复

使用道具 举报

0

主题

9

帖子

66

积分

注册会员

Rank: 2

积分
66
发表于 2019-9-29 16:06:09 | 显示全部楼层

啥也不说了,楼主就是给力!
回复

使用道具 举报

2

主题

18

帖子

78

积分

注册会员

Rank: 2

积分
78
发表于 2019-9-29 21:02:07 | 显示全部楼层

楼主买的啥空间,那么大不得花好多M吗
回复

使用道具 举报

0

主题

7

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2019-10-8 22:34:22 | 显示全部楼层

23US规则是啥呀,没搞懂。
回复

使用道具 举报

1

主题

11

帖子

140

积分

注册会员

Rank: 2

积分
140
 楼主| 发表于 4 天前 | 显示全部楼层

  k# N& v' }' _9 R* Q3 B5 e5 z
源站是顶点的,
http://www.youdianlen.com/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则