本帖最后由 zhuzhaodan 于 2013-06-12 18:06:26 编辑
现有 四级词库4000单词txt文档，格式如下accent n.口音，腔调；重音
acceptable a.可接受的，合意的
acceptance n.接受，验收；承认
access n.接近；通道，入口
accessory n.同谋，从犯；附件
accident n.意外的；事故
accidental a.偶然的；非本质的
现要把英汉分离后分别插入mySQL数据库内，代码如下
<?phpheader("Content-type: text/html; charset=utf-8");$file = dirname(__FILE__)."/siji.txt"; //四级词库文件if(!file_exists($file)){ echo 'Not exist';}else { $a = array();//存放英汉对照对儿的数组 $lines = file($file);//读取txt到数组，一行为一个英汉对照对 foreach ($lines as $k=>$v){ if(preg_match('/[a-zA-Z]/',$v))//有的行是标题之类的，不是英汉对照，判断后不加到数组a里面 $a[$k] = trim($v);//因为有换行符，去掉 } $b = array();//2维数组，$b[n][0]为英文，$b[n][1]为释义 foreach($a as $k=>$v){//把a数组的英汉分离，填充到b数组的第二维内 preg_match('/([a-zA-Z]*)\s(.*)/',$v,$matches);//正则英汉分离，matches[1]是英文，matches[2]是释义中文 $b[$k][0] = $matches[1]; $b[$k][1] = $matches[2]; } $dsn = 'mysql:host=localhost;dbname=test1'; $db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8')); foreach($b as $k=>$v){//插入数据库 $db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段，id，en是英文，cn是中文 } } 程序执行时间2分钟左右，求优化建议～我自己感觉正则那部分应该优化不了多少，主要感觉插进数据库这里费时太多，各位高人有方法请不吝赐教，现在程序执行完毕需要 120秒，希望最终优化后能到10秒内，谢谢，4级词库一共才4000对词组，120秒太长了
最终效果图：
高人们，因为我比较新手，所以不管从代码上，还是整体思路上都使这个程序运行缓慢，求优化建议，特别是 数据库这里，还有 数组这里，或者有 更好的办法。100分在这里，谢谢！
回复讨论(解决方案)
不一定能满足要求，但肯定比你的快
$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){ preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r); if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b)); 说一说我的想法，
也不知道效率怎么样，
不用数组，也不用循环。
首先用 file_get_contents 将文件读取为字符串，
然后 preg_replace 直接将整个字符串格式化为一个多语句sql，
接着执行一次就行了。
内存表 一次性写入数据库
1、将内容格式化成一个类似#1的插入sql语句，保存成*.sql
2、直接用mysql将上面的*.sql导入，php可以用exec
内存表 一次性写入数据库
求详解
mysql有个多行insert语句, 很多行集成到一个SQL语句, 效率比一行一条SQL语句高很多.
格式如下:
inser into (...) values (...),(...),...
不好意思, 上面insert少了个t
MySQL 的导出语句格式都是用多行insert. 导入速度很快. 一般一条语句2000行记录没问题
如果你的数据文件中的行都符合你示例的格式，那么就可以直接使用 MySQL 指令
LOAD DATA local INFILE '/路径/siji.txt' INTO TABLE siji FIELDS TERMINATED BY ' ' (en, cn);
不一定能满足要求，但肯定比你的快
$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){ preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r); if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b)); 我考虑了一下，用了预处理语句参数绑定
$start = microtime(true); $stmt = $db->prepare('INSERT INTO siji (en,cn) VALUES (:en,:cn)'); $stmt->bindParam(':en',$en); $stmt->bindParam(':cn',$cn); foreach($b as $k=>$v){//插入数据库 $en = $v[0]; $cn = $v[1]; $stmt->execute();//数据库3个字段，id，en是英文，cn是中文 } echo microtime(true)-$start;//127秒 对比原来的代码
$start = microtime(true); foreach($b as $k=>$v){//插入数据库 $db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段，id，en是英文，cn是中文 } echo microtime(true)-$start;//116秒 居然还慢了11秒，不是说一样类型的语句，编译成sql模板后速度会提升么，为什么这里下降啊？？太奇怪！
使用参数绑定时，PDO::quote（转义特殊字符）始终都会被执行，并不理会你的数据实际并不包含特殊字符
多出来的时间就是 PDO::quote 的执行时间
如果你总是单条插入，那么无论如何都不会“高速”运行的
居然还慢了11秒，不是说一样类型的语句，编译成sql模板后速度会提升么，为什么这里下降啊？？太奇怪！
预编译的提升原理在于节省了编译本身的时间，你觉得一个简单的insert编译需要时间吗？
内存表 一次性写入数据库
感觉MySQL还是弱，貌似没有类似SQLServer的bulkCopy功能，SQLBulkCopy批量插入几万条数据也是瞬间的事
“内存表 一次性写入数据库”，具体怎么实现，跪求详解啊
连接成一个SQL语句再执行，速度会快很多的