PHP

google QRCode

膘叔 简单人生 - 星期二, 02/07/2012 - 18:16

套用一句多年前博客中的一句话：以前，我说过有关于QR CODE的博客（QR CODE），也推荐了google的开源工具，事实上我的每篇博客右侧也都生成了二维码。

嗯，其实Google官方有QR Code generate的网站，不过它是appspot的，所以，基于众所周知的原因，它就打不开了。不过，还有一个办法利用google自带的QR Code生成器生成QR Code的。

打开igoogle，添加QR Code Generate的widget：http://www.google.com/ig/adde?moduleurl=www.mobile-barcodes.com/widget/google-gadget.xml

然后在igoogle的页面中就多了这么一块：

试试看，是不是很HIGH？

分类: PHP&MySql

花10分钟写了个脚本，完成文件合并

膘叔 简单人生 - 星期二, 01/31/2012 - 12:04

一个小小的脚本，10分钟写完，没用IDE，没有语法纠错，第一次的时候就在字符串COPY过来的时候因为双引号的问题导致了一点错误。偷笑一下。
该脚本仅为自用，为防止丢失，还是做个备份吧：

PHP代码
  1. <?php  
  2. set_time_limit(0);  
  3. error_reporting(E_ALL);  
  4. header("Content-type:text/html;charset=utf-8");  
  5. $templateDirname = dirname(__FILE__);  
  6. //@chmod($templateDirname,0777);  
  7. $cssfilename = $templateDirname . "/css/style.css"; //设置CSS文件路径  
  8. $templateFilename = sprintf("template_%d.html",time());  
  9. //---读取所有的模版  
  10. $templates = array();  
  11. foreach(glob($templateDirname."/*") as $value){  
  12.     if(is_file($value) && in_array(strtolower(pathinfo($value,PATHINFO_EXTENSION)), array('html','htm')) && substr(basename($value),0,9) != "template_"){  
  13.         $filedata = file_get_contents($value);  
  14.         $startPos = strpos($filedata, "<body>") + 6;  
  15.         if($startPos == 6){  
  16.             continue;  
  17.         }  
  18.         $endPos = strpos($filedata, "</body>");  
  19.         $templates[]= substr($filedata, $startPos , ($endPos-$startPos));  
  20.         unset($filedata);  
  21.     }  
  22. }  
  23. //读取CSS  
  24. $cssdata = file_get_contents($cssfilename);  
  25.   
  26. //写入新文件  
  27. $templateData = " 
  28. <div id=\"templates\"> 
  29.     <style type=\"text/css\"> 
  30.     %s 
  31.     </style> 
  32.     %s 
  33. </div> 
  34. ";  
  35. $templateInfo = sprintf($templateData,$cssdata,join("\n",$templates));  
  36. $ret = file_put_contents($templateFilename,$templateInfo);  
  37. if($ret != false){  
  38.     echo "整合完成，文件名为：",$templateFilename ,"<br />";  
  39. }  
  40. exit;  

偷懒了一下，备个份，没有过多的处理，比如自动指定目录啥的。想想也没那么麻烦，就这样解决吧。

分类: PHP&MySql

号码小助手

膘叔 简单人生 - 星期二, 01/17/2012 - 10:59

号码小助手，会自动将号码分析成：AAAB,AABB,ABAB之类的方式。
调用方式：http://ixyz.sinaapp.com/api/phone?h=13912341234,13912123344,13912345678&type=json
默认返回值是json，可支持json,xml,text三种返回形式
号码最多一次传10个
PHPCODE:
esult = file_get_contents('http://ixyz.sinaapp.com/api/phone?h=13912341234,13912123344,13912345678&type=json');
返回值是：
json格式返回：
{"phones":{"13912341234":["ABCD","ABCDABCD"],"13912123344":["ABCD","ABCDABCD","AABB","ABCD","ABAB"],"13912345678":["ABCD","ABCDABCD","AABB","ABCD","ABAB","ABCD"]},"copyright":"Written by walkerlee, api support by gouki","error":"sorry,phone doesn't match"}
xml格式返回:

XML/HTML代码【xml返回的格式结果与json的有一点点不太一样】
  1. <?xml version='1.0' encoding='UTF-8'?>  
  2. <root>  
  3.     <result>  
  4.         <phones>  
  5.             <phone number="13912341234">  
  6.                 <ABCD>ABCD</ABCD>  
  7.                 <ABCDABCD>ABCDABCD</ABCDABCD>  
  8.             </phone>  
  9.             <phone number="13912123344">  
  10.                 <ABCD>ABCD</ABCD>  
  11.                 <AABB>AABB</AABB>  
  12.                 <ABAB>ABAB</ABAB>  
  13.             </phone>  
  14.             <phone number="13912345678">  
  15.                 <ABCD>ABCD</ABCD>  
  16.             </phone>  
  17.         </phones>  
  18.         <copyright><![CDATA[Written by walkerlee, api support by gouki]]></copyright>  
  19.     </result>  
  20. </root>  

 

----------
目前支持的类型有：XML/HTML代码
  1. Array  
  2. (  
  3.     [0] => AABB  
  4.     [1] => ABCD  
  5.     [2] => AAAB  
  6.     [3] => ABAB  
  7.     [4] => ABCABC  
  8.     [5] => ABCDABCD  
  9.     [6] => ABBB  
  10.     [7] => ABCCBA  
  11.     [8] => ABBA  
  12.     [9] => AAAA  
  13.     [10] => AAAAA  
  14.     [11] => AAAAAA  
  15.     [12] => AAAAAAA  
  16.     [13] => AAAAAAAA  
  17.     [14] => ABCDCBA  
  18.     [15] => ABCDDCBA  
  19.     [16] => ABCBA  
  20. ) 
---------
以上类型可以根据需要随便加，如果你觉得有哪些规则不错，你可以告诉我（这个正则是自动生成的，因此只要告诉规则就OK了）
嗯，这个程序的核心函数是walkerlee写的，我只是稍稍的封装处理了一下
分类: PHP&MySql

yii CActiveRecord 中的一点小注意事项

膘叔 简单人生 - 星期五, 01/06/2012 - 12:48

纯笔记，在使用ActiveRecord的时候一点注意事项。
本来在处理缓存的时候想对一些数据做强制缓存的，但结果预想的目标和我不一样。
我的$cachekey = md5(serialize($model).$parameter);
然后在调用的时候发现$model对象中的一些信息都消失了。起初以为参数没有传递，但测试了一下之后发现全部正常，那问题出在哪里呢？
再一步步的调试，发现出在serialize后对象就变了。于是看了一下CActiveRecord的源码，果然发现了源码中有定义__sleep()，纠结啊。
看来以后要注意一下，不能随便把model给序列化了。

分类: PHP&MySql

PHP调用不存在的类时自动创建相应类

膘叔 简单人生 - 星期五, 01/06/2012 - 11:17

在项目中，难免会在项目中调用一个不存在的类（偶尔，偶尔，当这个类的类名是程序生成的时候，偶尔会出现这种情况啦），在new 这个类时，都会直接报fatal错误，然后程序就终止了，怎么办？怎么避免这种情况发生？

注：下面的例子其实是指有autoload的情况下所触发的。如果没有autoload，也就相当于不会触发一个include文件的操作。直接就报FATAL错误了。而如果有autoload，则是报include文件的错误，这个时候才能被捕获，多谢神仙的指正

于是看手册set_error_handler，调用一个callback，处理完后，在这个方法里重新生成一个空类就OK了。看了一下手册上的例子

PHP代码
  1. <?php  
  2. // error handler function  
  3. function myErrorHandler($errno, $errstr, $errfile, $errline)  
  4. {  
  5.     if (!(error_reporting() & $errno)) {  
  6.         // This error code is not included in error_reporting  
  7.         return;  
  8.     }  
  9.   
  10.     switch ($errno) {  
  11.     case E_USER_ERROR:  
  12.         echo "<b>My ERROR</b> [$errno] $errstr<br />\n";  
  13.         echo "  Fatal error on line $errline in file $errfile";  
  14.         echo ", PHP " . PHP_VERSION . " (" . PHP_OS . ")<br />\n";  
  15.         echo "Aborting...<br />\n";  
  16.         exit(1);  
  17.         break;  
  18.   
  19.     case E_USER_WARNING:  
  20.         echo "<b>My WARNING</b> [$errno] $errstr<br />\n";  
  21.         break;  
  22.   
  23.     case E_USER_NOTICE:  
  24.         echo "<b>My NOTICE</b> [$errno] $errstr<br />\n";  
  25.         break;  
  26.   
  27.     default:  
  28.         echo "Unknown error type: [$errno] $errstr<br />\n";  
  29.         break;  
  30.     }  
  31.   
  32.     /* Don't execute PHP internal error handler */  
  33.     return true;  
  34. }  

看了一下，结果，发现只有$errstr中才有类名出现，但还是文件名，难道我要用正则？又仔细看了一下手册，发现callback还有一个第五个参数

XML/HTML代码
  1. errcontext  
  2.     The fifth parameter is optional, errcontext, which is an array that points to the active symbol table at the point the error occurred. In other words, errcontext will contain an array of every variable that existed in the scope the error was triggered in. User error handler must not modify error context.   

 

输入第五个参数，原来，这是一个数组，如果我是类的话，里面就有className这个下标数组，直接就是类名了

同时还有一个很重要的问题，如果callback return false的话，会自动调用原来的出错处理。这  其实是影响我们的操作的。

最终代码如下：

PHP代码
  1. set_error_handler(function($errno,$errstr,$errfile,$errline,$clsname){  
  2.     if(isset($clsname['className'])&&$errno == 2&&!class_exists($clsname['className'])){  
  3.         $clsname = $clsname['className'];  
  4.         eval("class ".$clsname ." { static public function model(){return null;} }");  
  5.     }  
  6.     return true;  
  7. },7);  
  8. $result = mmmm::model();  
  9. restore_error_handler();  
  10.  

在最后一行恢复了原来的出错处理，不影响原先程序结构。

 

终于可以直接用了。

 

分类: PHP&MySql

转：php变量连接函数短路操作($f) && f(),$condition && function()用法意思解释说明

膘叔 简单人生 - 星期六, 12/31/2011 - 12:45

其实我是真想自己写这一段内容的，只是后来找了找手册，居然不知道在哪一章了。
短路操作符，很容易让人误解是if条件中的 && 或者 ||，但实在不知道从何说起（至于是不是叫短路操作符，我也记不清了，先这么命名吧）
其实这个玩意大家都见过，只是大家都忽略了。想起很久很久以前，所有的参考书上有一段连接数据库的代码：
$conn = mysql_connect(localhost,root,123456) or die('could not connect db');
这段代码，就是一个很简单的例子。
如果能够连接上，就返回$conn，否则直接输出。。。。无非就是将||换成了 or，于是很多人就不认识了罢了。
然后，国内用的最多的这种代码的是某一个论坛，在他们的代码里大量充斥了这种操作符，很多人在第一次看他们的源码时都会比较郁闷。。。这个论坛叫phpwind。
好了，我不多说了，上原文吧：http://feihu.cd00.cn/itweb/index.php/php-duanlu-condition-function

什么是php短路操作,先看下面代码
($f) && f(); 或者
$condition && function();
这是什么用法
短路操作，什么意思呢

如果$f为真，就执行f()函数调用
如果$condition为真，就执行function()函数调用
if ($f) {
    f();
}

另找了篇文章来详细说明之
mysql_query($sql) or die(’Execute failed!’);
!file_exists($cache_file) && @update_cache($id);

这两句很像是条件语句，但是准确的说，他们是利用了短路运算符的运算特点来实现的条件语句：
or、||、and、&& 都是短路运算符
&&（and）运算符检查第一个表达式是否返回“flase”，如果是“false”则结束语句并返回“false”，否则检查第二个表达式。
or（||）运算符检查第一个表达式是否返回“true”，如果是“true”则结束语句并返回“true”，否则检查第二个表达式。
该用法正是利用了短路运算符这种特性实现了条件的判断和执行

----------
再看这一篇：http://biancheng.dnbcw.info/perl/241992.html

  和C类似，Perl提供 &&（逻辑 AND）和 ||（逻辑 OR）操作符。它们从左向右计算（ && 比 || 的优先级稍稍高一点点），测试语句的真假。这些操作符被认为是短路操作符，因为它们是通过计算尽可能少的操作数来判断语句的真假。例如，如果一个 && 操作符的左操作数是假，那么它永远不会计算右操作数，因为操作符的结果就是假，不管右操作数的值是什么。

例子 名称 结果 $a && $b And 如果$a为假则为$a，否则$b $a ｜｜ $b Or 如果$a为真则为$a，否则$b

这样的短路不仅节约时间，而且还常常用于控制计算的流向。比如，一个经常出现的Perl程序的俗语是：

open(FILE, "somefile") || die "Can't open somefile: $!\n";

在这个例子里，Perl 首先计算 open 函数，如果值是真（somefile 被成功打开），die 函数的执行就不必要了，因此忽略。你可以这么读这句文本“打开文件，要不然就去死！”。

&& 和 || 操作符和 C 不同的是，它们不返回 0 或 1，而是返回最后计算的值。如果是 ||，这个特性好就好在你可以从一系列标量数值中选出第一个为真的值。所以，一个移植性相当好的寻找用户的家目录的方法可能是：

$home = $ENV{HOME}
|| $ENV{LOGDIR}
|| (getpwuid($<)) [7]
|| die "You're homeless!\n";

另一方面，因为左参数总是在标量环境里计算，所以你不能把 || 用于在两个集群之间选择其一进行赋值：

@a = @b || @c; # 这样可不对
@a = scalar(@b) || @c; # 上面那句实际上是这个意思，@a 里只有 @b 最后的元素
@a = @b ? @b : @c; # 这个是对的

Perl 还提供优先级比较低的 and 和 or 操作符，这样程序的可读性更好而且不会强迫你在列表操作符上使用圆括弧。它们也是短路的。

分类: PHP&MySql

yii 与 namespace

膘叔 简单人生 - 星期三, 12/28/2011 - 13:54

Yii在import方面已经做的很好了，很多人都说Yii无法导入命名空间，事实上官方很早就给出过意见，如这里：http://www.yiiframework.com/doc/guide/1.1/zh_cn/basics.namespace，当然，这是中文版的

4. Namespace

不要将路径别名和名字空间混淆了，名字空间是指对一些类名的一个逻辑组合，这样它们就可以相互区分开，即使有相同的名字。 而路径别名是用于指向一个类文件或目录。路径别名与名字空间并不冲突。

提示: 由于 5.3.0 版本之前的 PHP 本质上不支持名字空间，你无法创建两个具有相同名字但不同定义的类的实例。 鉴于此，所有的 Yii 框架类都以字母 'C'（意为 'Class'） 作前缀，这样它们可以区分于用户定义的类。我们建议前缀 'C' 只保留给 Yii 框架使用，用户定义的类则使用其他的字母作前缀。

5. 使用命名空间的类

使用命名空间的类是指一个在非全局命名空间下声明的类。比如说，类application\components\GoogleMap 在命名空间application\components下的类。使用命名空间需要 PHP 5.3.0 或者以上版本。

从1.1.5开始，可以无需显式引入而使用一个包含命名空间的类。比如说，我们可以创建一个application\components\GoogleMap 的实例而无需去处理引入的路径，这样就增强了Yii的自动导入机制。

若要自动导入使用命名空间的类，命名空间的格式必须和路径别名相似。比如说，类application\components\GoogleMap 所对应的路径必须和别名application.components.GoogleMap一致。

----------
如果仅看中文版，或许你还是看不懂，但你应该看英文版的，下面还有评论，你就知道怎么用了
评论是这个样子的，LOOK，http://www.yiiframework.com/doc/guide/1.1/en/basics.namespace：

Namespaces in a nutshell

Namespaces in php are like directory paths in console (bash, dos etc)
When you use namespace php keyword like this

namespace a\random\namespace; class Foo { static function bar(){} }

is like executing cd a\specific\directory except that the namespace is created if not exists.
Now everything follows is belonging to that namespace. This means that if you want to instantiate, extend or call a static method from eg foo class on another namespace you have to

//The leading backslash '\' here denotes the global namespace that //is the root folder or C:\ counterpart from console environment $baz= new \a\random\namespace\Foo; class Fighter extends \a\random\namespace\Foo {} \a\random\namespace\Foo::bar();

Yii imports a very intuitive convention here that the namespace structure (if implemented) should be reflected on the physical directory structure and additionally makes its Path Alias convenience available for that purpose.
Please be my guest to follow these steps:
1. Create a new web app 2. Go to protected\components and create a folder foo 3. Move Controller.php in foo folder and open it with an editor 4. At line 6, at Controller class declaration import this:

namespace application\components\foo; class Controller extends \CController //Note the leading backslash here
  1. Now open protected\controllers\SiteController.php for editing
  2. Replace the SiteController class declaration with this
class SiteController extends \application\components\foo\Controller

As you will see, your new web app still working fine and application path alias will point properly at protected folder.
You can find more about php namespaces here
Enjoy coding :>

--------
果然，这年头，英文版的资料比中文版多多了，手册上也是，不过PHP手册是一定要带评论，对于我们这些初学者来说，那是相当的有用啊

分类: PHP&MySql

花了半小时写完了RSS输出

膘叔 简单人生 - 星期四, 12/22/2011 - 01:59

大约在半年前，hightman给了个array2xml的代码（以前在liba的时候自己写过，但代码不见了），改了一下，支持了attributes，而且在支持Attributes时候，也支持字符串了。
黑黑：

输出就更方便了，直接：
die(xmlapi::generateEmptyXml(xmlapi::array2xml($rssdata)));

爽。

分类: PHP&MySql

转：phpQuery占用过多内存的解决方法

膘叔 简单人生 - 星期二, 12/20/2011 - 14:13

事实上，看到这篇文章的时候，我早就已经解决这个问题了。目前我也是这么做的，只是我是设置phpQuery::$documents = null而已，和他不太一样。
但本文做了一点分析，所以我还是正常的贴一下吧。

phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。 相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。

在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)，

比如这段代码：

while (true) {     phpQuery::newDocumentFile($htmlFile);     // 处理网页元素...     echo memory_get_usage() . "\n"; }

谨慎运行上面这段代码，它会很快用光你的内存。

经过查看phpQuery的源代码终于发现了问题所在，phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个 网页数组元素就增加一个。

phpQuery::$documents[$wrapper->id] = $wrapper;

找到问题后，解决就很容易了，每次解析完一个网页，把phpQuery::$documents置空即可。

while (true) {     phpQuery::newDocumentFile($htmlFile);     // 处理网页元素...     phpQuery::$documents = array();     echo memory_get_usage() . "\n"; }

内存占用稳定了。

----
原文来自：http://www.linuxsong.org/2011/01/phpquery-memory-leak/
其实出现上面的问题很正常，大多数人在用pq的时候都是在不停的抓取和采集，一般在命令行下面，这时候都不会想到释放内存，而平时网页的话，一个页面结束后，这些内存都还是会自动释放掉一点。如果不是狠狠抓数据的人，是不会遇到这种问题的啦。

分类: PHP&MySql

笔记：removeAttr

膘叔 简单人生 - 星期二, 12/20/2011 - 14:02

这个标题我扔到PHP分类下当然是有原因的。。
因为我最近在尝试用phpQuery来分析数据，但这些数据最终的样式都和我真正想要的还是有点区别，所以我要去除其中的样式，还要删除空标签，但:empty标签删除的太厉害了。不太敢用
所以我还是用正则来删除一级的标签。

除了空标签还有这些带样式的，我开始是用pq("xxx")->css("");来设置空标签，但总觉得不爽，因为这样会生成<p style="">这种多余的内容。
找了一点资料，其实jQuery的removeAttr就可以有这个功能啦。于是乎，pq("xxx")->removeAttr("style")，就解决了

做个笔记

分类: PHP&MySql

备份资料：一般的header

膘叔 简单人生 - 星期一, 12/19/2011 - 01:24
HTTP/1.1 200 OK Date: Wed, 05 Nov 2003 10:46:04 GMT Server: Apache/1.3.28 (Unix) PHP/4.2.3 Content-Location: CSS2-REC.en.html Vary: negotiate,accept-language,accept-charset TCN: choice P3P: policyref=http://www.w3.org/2001/05/P3P/p3p.xml Cache-Control: max-age=21600 Expires: Wed, 05 Nov 2003 16:46:04 GMT Last-Modified: Tue, 12 May 1998 22:18:49 GMT ETag: "3558cac9;36f99e2b" Accept-Ranges: bytes Content-Length: 10734 Connection: close Content-Type: text/html; charset=utf-8 Content-Language: en

这是一个资料备份，常见的head头部
分类: PHP&MySql

在程序中加入firephp的支持

膘叔 简单人生 - 星期日, 12/18/2011 - 00:45

firephp，第一次知道的时候，是在fleaphp的框架里，那时候，妖怪在里面引入了firephp的支持。
BTW：妖怪还第一次在国内的开源框架中引入了yaml的配置。果然妖。。

本文是YII官方的wiki文章，来自于：http://www.yiiframework.com/wiki/84/integrating-firephp/

  • Install Firebug plugin for Firefox from here.

  • Install FirePHP plugin for Firefox from here.

  • Download FirePHP package from here.

  • Extract 'FirePHPCoreXXX/lib/FirePHPCore' compressed folder to '/path/to/protected/components/FirePHPCore' folder.

  • At /path/to/index.php, after the line

    PHP代码
    1. $app = Yii::createWebApplication($config);   
    2. if (YII_DEBUG){  
    3.     Yii::import("application.components.FirePHPCore.fb", true);   
    4. }   
    5. $app->run();  

     

That's it! Now you can display your variables on FirePHP with a simple 'fb' command inside your PHP code:

fb($my_variable);

To view the results, open Firebug at 'console' tab and run your PHP file.

---------
不过我还没有仔细研究过，这个功能和Yii自带的WEBlog中的firebug支持有什么区别，还没有过多的研究，不发表意见。

------

看了一下源码，黑黑，突然发现，原来还可以这样玩console，嗯，又多了一个调试功能（和本文说的yii支持firephp无关）

分类: PHP&MySql

tidy参数引发的问题

膘叔 简单人生 - 星期四, 12/15/2011 - 17:55

tidy库对于我们处理非标准HTML来说是一个好工具，当然，由于他需要在服务器上配置，所以相对就较少人用它，而是HtmlPurifier，毕竟它不需要在服务器上配置直接就可以配置着用了。
为什么我们会用这些工具呢？主要还是由于国内做页面啊，那是相当的不小心，不是这里标签不闭合，就是大小写混用，对于我们做页面分析的来说，就痛苦很多了。肿么办肿么办？
OK，htmlpurifier和tidy库就是帮我们解决这些问题的小工具。
这次要讲的是tidy库参数引发的问题，tidy的函数其实不多，平时我们一般只用tidy_repair_string或者tidy_repair_file就完了，可是就是因为这个REpair导致我的代码出了点问题
tidy_repair_string共需要三个参数，第一个参数string就不用提了，第二个参数是config，第三个参数是encoding。
NND，明明config数组中就可以指定encoding的，为什么还要用第三个参数？？
我在处理的时候，在config中指定了input-encoding和output-encoding，分别是实际的编码，但在处理完后。发现有问题，好象页面中有几个字符被处理坏了。导致了UTF-8不认。
最后，只能tidy_repair_string($string,null,"UTF-8");
但这样，好象还是有问题，因为tidy支持的编码都是utf8之类的，参考：http://tidy.sourceforge.net/docs/quickref.html
LOOK:Example: raw, ascii, latin0, latin1, utf8, iso2022, mac, win1252, ibm858, utf16le, utf16be, utf16, big5, shiftjis
因此，写UTF-8有可能会出错（我没有仔细试）
上面的：tidy_repair_string($string,null,"UTF-8");其实还是错的，PHP报错说是找不到 指定的配置文件。所以NULL不能直接用啊，tidy_repair_string($string,array("wrap"=>0),"utf8")
直接解决问题。
（事实上，我一直在怀疑我的页面中是否有一些字符串tidy库处理的有问题，比如一些特殊字符，正如上面所写的，它支持的编码有问题，而我写的input-encoding为gb2312，所以就不正常了？转换有问题？）没有很多时间解决这个问题，主要是被他折腾了一天，所以记录一下。

分类: PHP&MySql

转perfgeeks的：记一次tps提升,做的配置变更

膘叔 简单人生 - 星期六, 12/10/2011 - 00:43

这次的转贴内容其实更象一个找到问题的过程，可以用来参考也可以用来思考，当你遇到问题的时候应该怎么做。
原文地址在：http://www.perfgeeks.com/?p=668
内容如下：

记一次tps提升,做的配置变更

tps低,响应时间高，并发能力差。

1.应用本身,通过xhprof找出问题代码。产生系统内核调用函数尽量避免调用。比如is_file(), time(),require/include代替require_once/include_once等。
2.尽量使用memcached缓存系统配置、模块数据、还有用户数据。减少mysqli_query()执行次数,它比较耗资源。开启mysqld的slow_query日志功能，优化那些较慢的sql查询语句。
2.通过xhprof,我们发现load和run源文件需要不少的挂钟时间,可以开启apc缓存opcode，同时设置apc.stat=off。还可以使用apc的apc_define_constants()代替php的define()
3.通过apc和memcached，收效可见,但是tps并没有提升到理想状态,同时tps不稳定,还会触底。php代码本身的优化效果甚微,对tps贡献不大。
4.重新编译php,将不必要的模块和功能禁用掉，只编译需要的。
5.配置php.ini,将不必要的模块去掉,比如gd(我们的应用不需要处理图片),soap,xhprof,mssql等。通过pmap或者lsof 可以查看一个php-cgi加载了哪些模块。减少模块加载,可以节约内存。尽量通过php.ini进行php设置，避免在代码中调用init_set操 作。比如设置时区，设置session等等。尤其data.timezone需要配置。
6.通过禁用xhprof，大概可以省下5000个cs。xhprof用完了，就应该关闭。
7.正确地设置php-fpm.max_children数量。过多的max_children浪资内存资源，还会增加cs。当然，过少的max_children会响应502。可以通过top命令观察，调整该值。
8.php-fpm使用sock方式配置。php-fpm.listen_address=/var/run/php-cgi.sock，同时nginx也需要配置fastcgi_pass指向该sock文件。
9.设置nginx.worker_processes,分别尝试了2、4、8几个值。网上大量资料说设置为cpu数*核数,其实更需要根据你的需求来设 定这个值。worker值越大，表示同时处理量大但速度更慢,相反表示处理速度能力强但数量更小。如果做为反向代理服务器,worker值可以大一点,如 果做为web逻辑服务器,值可以小一点。
10.网络IO，选择支持多路复用模型epoll，FreeBSD采用kqueue。如果网站流量小，选择select也还是不错的。
11.开启持久连接机制keep-alive，keep-alive可以复用tcp/ip连接，大量地减少了accept()系统内核调用。这里将nginx.keepalive_timeout设置为60.注意http/1.1默认开启keep-alive
12.gzip，压缩http响应输出。当响应输出量足够小，使用gzip压缩并没有意义。可以通过gzip_min_length指定跳过gzip压缩。
13.关闭nginx.access_log。通过access_log off可以不记录日志。减少不必要的磁盘I/O操作。如果开启日志功能，最好写个脚本将日志按量分割成更小的文件。
14.对于静态资源服务器，可以开启sendfile功能和设置expires缓存新鲜期。
15.将selinux设置为disabled,命令setenforce 0，只是将selinux设置为permissive，该模式会执行安全策略检查并打印警告。
16.通过chkconfig管理系统随机开启的守护进程。将不必要启动的守护进程关闭，比如sendmail, portmap, atd, netfs, nfslock等。这些守护进程浪费内存空间。
17.关闭防火墙，iptables –flush可以清除所有防火墙规则。
18.将不必要的进程关闭。比如/sbin/mingetty只需要开启3个就足够用,可以在/etc/inittab配置。比如gdm进程，通过 /etc/inittab将id:5:initdefault:改为id:3:initdefault:。等等。通过ps -ef可以查看你当前打开的进程，请确定每一个进程都”出师有名”。
19.资源限制,每个进程可以打开的文件最大数量默认是1024,通过ulimit设置更大的值(ulimit -SHn 65535)。如果没有生效，可以编辑资源限制配置文件/etc/security/limits.conf。同时别忘记了将php- fpm.rlimit_files和nginx的worker_rlimit_nofile、worker_connections设置同样大小。
20.优化磁盘IO，添加挂载参数noatime。可以编辑/etc/fstab,注意不要在/etc/fstab增加挂载参数data=writeback，会导致磁盘挂载为ro。
21.关闭ipv6内核模块
22.增加dns查询记录至/etc/hosts。比如222.73.211.215 www.perfgeeks.com
23.调整内核参数。经过一番折腾，tps有提升,但是不稳定,通过sysctl调整内核参数则稳定了。
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768

net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_tw_recycle = 1
#net.ipv4.tcp_tw_len = 1
net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800

#net.ipv4.tcp_fin_timeout = 30
#net.ipv4.tcp_keepalive_time = 120
net.ipv4.ip_local_port_range = 1024 65535

通过一番辛苦,tps终于从120升到了810,并且tps曲线平衡(几乎时条直线),cpu资源的利用率也很平衡80%的us和20%的sys。 要提高tps,首先要保证单个请求响应时间不能过长。响应时间过大,tps较难提升。更少的上下文切换和更少的系统内核调用,更少的IO操作可以换得更大 的tps。通过strace可以统计出调用了哪些系统内核调用，帮助你优化应用。减少上下文切换最有效的办法就是减少进程数量。

分类: PHP&MySql

伤不起的程序猿

膘叔 简单人生 - 星期四, 12/08/2011 - 00:12


果然是伤不起啊，轮回，又是一个轮回。
这张图是从这个微博而来：http://t.qq.com/p/t/78616014604612
可以围观。。。

分类: PHP&MySql

【科普贴】话说回车和换行

膘叔 简单人生 - 星期五, 12/02/2011 - 14:19

有意思的文章，大多数时候，我们都是知道\r,\n,\r\n，但为什么是这样的呢，居然找到了一篇科普贴。
来吧，看看为什么吧。
原文来自：【科普贴】话说回车和换行
看xml的时候发现这样的一段话：

XML 以 LF 存储换行

在 Windows 应用程序中，换行通常以一对字符来存储：回车符 (CR) 和换行符 (LF)。这对字符与打字机设置新行的动作有相似之处。在 Unix 应用程序中，新行以 LF 字符存储。而 Macintosh 应用程序使用 CR 来存储新行。

让我对这三个(win,unix,mac)苦逼的主产生了兴趣，为啥你们不一样呢，难道你们认识“回车”和“换行”的时间有先有后吗？为啥没统一或者说为啥产生了CR和LF这两个玩意？说说历史吧！

为什么会有两个貌似一样功能的东西？

潜台词：很多时候敲击enter就是换行了呀，还回啥个车，回车就是换行吗？

在计算机还没有出现之前，有一种叫做电传打字机（Teletype Model 33）的玩意，每秒钟可以打10个字符。但是它有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。

于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表示结束的字符。一个叫做"回车"，告诉打字机把打印头定位在左边界；另一个叫做"换行"，告诉打字机把纸向下移一行。

-http://www.ruanyifeng.com/blog/2006/04/post_213.html

 

为啥windows，unix，mac不统一呢？

可能是基于成本和效率的考虑，我认为都统一成一个“回车”就够了，可是当年正是这种想法导致了现在的问题，至于这三家互不相同，我也不知道，各有各的考虑吧，反正蛋疼的是用户，比起现在浏览器的兼容性问题，这算不上问题。

以下是他们表示“下一行”的方式：

    OS          表示                              C语言表示    16进制表示

    windows  回车+换行（CR/LF）        \r\n             0x0d0a

    UNIX       换行符（LF）                   \n               0x0a

    MAC        回车符（CR）                   \r               0x0d

 

看一下在一份xml文件里的情况吧，我没钱买苹果，所以下面不包括MAC OS，果粉别砍我！

抱怨之余，我们还能干啥呢？

至少你知道这是怎么回事了，至少在不同平台之间传送文件时别傻傻的骂别人没整理文件格式，至少...，这还不够吗？

－－－－－－－－－－－－－
在用PHP写文件的时候，一般我们都是用\n来解决断行。但这时候，如果用windows下的记事本打开这个文件，你会发现一堆黑框，并且处在一行里。
因此，看了上面的文章后，你会知道怎么办了。突然想到以前的str_replace(array("\r\n","\r","\n"),"<br />",$str), 这种烂代码。当然nl2br就解决这样的功能了。然后再转回来？哎。纠结啊。。

分类: PHP&MySql

解决图片防盗链接问题

膘叔 简单人生 - 星期三, 11/30/2011 - 01:23

在直接引用外部图片的时候，经常会出现，该图片来自于XXX网站，请勿盗链
找了一下资料，发现只有几种方法可以解决
1、JS，HTML里嵌入iframe，然后类似地打开一个网页的形式，使得页面认为已经访问过主体网站，所以可以解决防盗链
2、如果页面中的图片是：/xxljaslkdjf/xxx.jpg，而这个图片事实上来自于：xxx.xxx.com网站，这时候在页面的<base >TAG里设置一下，就不需要全文正则替换图片了。灰常方便。。。
3、设置HTTP_REFERER，这个有点麻烦，不是每个站都支持。。。
4、在页面中放置一iframe，地址就是主体网站。然后等访问完成后302跳转到真正的页面，图片就能正常了
5、用URL转发的形式，如：image.php?url=image.path.jpg，通过这种方式，几乎解决了很多问题（但，不能走CDN了。真可惜啊。怎么办呢？？生成本地图片后，再由CDN转发？不太现实）

基本上就上述的方法了，如果你还有新方法，请告知

分类: PHP&MySql

Yii for SAE 提交到google code

膘叔 简单人生 - 星期日, 11/27/2011 - 00:05

Yii for sae终于提交到了google code了。

yii framework for sina sae platform. 初步实现将yii framework 移植到 sina SAE云平台。 assets目录生成到storage中，runtime则是用memcached来实现， 也因此需要激活storage和memcached。 几乎不需要改原来的代码，如果需要设置主从数据库，请另外加一个components节点：sdb，配置信息与db一样，但需增加一个 'isSlave'=>true,即OK。不过在这种情况下，所有的model都请继承SaeActiveRecord?。

配置信息中，在params里增加 'params'=>array(

'sae'=>array( 'storage' => array( 'assets' => 'assets', 'runtime'=>'runtime', ), 'db'=>array( 'slave'=>'sdb', 'master'=>'db', ) ),

);
－－－－
配置起来是不是很简单？
当前目前还是有一点问题的

  1. 比如对于文件的LOG暂时无法实现，准备使用memcache存储部分，等到了一定大小后，扔到storage中存储。
  2. GII暂时还不能在线上使用，这个有点纠结，因为GII是需要生成文件 ，而sae平台不支持生成文件。如果扔到storage中，效率又不能保存。如果扔到memcache中。include之类的又不知道是否能够完美实现？纠结中。。（生成到storage?然后下载？扔到models目录中？这多没意思，与其这样，还不如本地建好model，然后SVN上传呢）
  3. 好象cdbcache是用了sqlite，原本看代码里是能够自动生成的，但在线上，怎么搞呢？存到storage中又没有效率？哎。。。

不过，暂时基本功能都实现了，嗯项目地址是：http://code.google.com/p/yiiforsae/

分类: PHP&MySql

Yii for SAE

膘叔 简单人生 - 星期三, 11/23/2011 - 19:15

这两天在实现Yii for SAE，之所以想实现这样的功能，主要还是YII相对比较深入开发人员的人心吧？
这一定是我的个人偏见，因此不要打口水仗。
开发的时候，遇到的问题大多是runtime目录下的存储，以及主从数据库的问题，因此大部分的精力都是在解决这些。
所幸，还是可以利用yii的一些特性来搞定它。
嗯。70％已经完成了。如果差不多了，到时候会扔到google code上，这样想用的人就直接可以使用啦。

目前还在测试中，可以访问 http://ixyz.sinaapp.com进行测试。

分类: PHP&MySql

Oauth的变迁

膘叔 简单人生 - 星期五, 11/11/2011 - 00:01

因为新浪的Oauth即将变成2.0，所以找找资料
老王更新了，还画了ascii图，说实话我是对他文中的那个画ascii图的视频有兴趣。。。
老王在博客里是这么介绍的：

OAuth2.0

OAuth1.0虽然在安全性上经过修补已经没有问题了，但还存在其它的缺点，其中最主要的莫过于以下两点：其一，签名逻辑过于复杂，对开发者不够友好；其二，授权流程太过单一，除了Web应用以外，对桌面、移动应用来说不够友好。

为了弥补这些短板，OAuth2.0做了以下改变：

首先，去掉签名，改用SSL（HTTPS）确保安全性，所有的token不再有对应的secret存在，这也直接导致OAuth2.0不兼容老版本。

其次，针对不同的情况使用不同的授权流程，和老版本只有一种授权流程相比，新版本提供了四种授权流程，可依据客观情况选择。

在详细说明授权流程之前，我们需要先了解一下OAuth2.0中的角色：

OAuth1.0定义了三种角色：User、Service Provider、Consumer。而OAuth2.0则定义了四种角色：Resource Owner、Resource Server、Client、Authorization Server：

  • Resource Owner：User
  • Resource Server：Service Provider
  • Client：Consumer
  • Authorization Server：Service Provider

也就是说，OAuth2.0把原本OAuth1.0里的Service Provider角色分拆成Resource Server和Authorization Server两个角色，在授权时交互的是Authorization Server，在请求资源时交互的是Resource Server，当然，有时候他们是合二为一的。

－－－－－－－
当然，我这里CP的不全，更详细的请看：http://huoding.com/2011/11/08/126
如果不把ascii图CP过来，老王是不是很伤心？

这是第二次CP的。希望成功
  1. +----------+  
  2. | resource |  
  3. |   owner  |  
  4. |          |  
  5. +----------+  
  6.      ^  
  7.      |  
  8.     (B)  
  9. +----|-----+          Client Identifier      +---------------+  
  10. |         -+----(A)-- & Redirection URI ---->|               |  
  11. |  User-   |                                 | Authorization |  
  12. |  Agent  -+----(B)-- User authenticates --->|     Server    |  
  13. |          |                                 |               |  
  14. |         -+----(C)-- Authorization Code ---<|               |  
  15. +-|----|---+                                 +---------------+  
  16.   |    |                                         ^      v  
  17.  (A)  (C)                                        |      |  
  18.   |    |                                         |      |  
  19.   ^    v                                         |      |  
  20. +---------+                                      |      |  
  21. |         |>---(D)-- Authorization Code ---------'      |  
  22. |  Client |          & Redirection URI                  |  
  23. |         |                                             |  
  24. |         |<---(E)----- Access Token -------------------'  
  25. +---------+       (w/ Optional Refresh Token) 
哈哈，好象失败了。。。
OK，还有一篇介绍 ：http://hueniverse.com/2010/05/introducing-oauth-2-0/ 6 New Flows
  • User-Agent Flow – for clients running inside a user-agent (typically a web browser).
  • Web Server Flow – for clients that are part of a web server application, accessible via HTTP requests. This is a simpler version of the flow provided by OAuth 1.0.
  • Device Flow – suitable for clients executing on limited devices, but where the end-user has separate access to a browser on another computer or device.
  • Username and Password Flow – used in cases where the user trusts the client to handle its credentials but it is still undesirable for the client to store the user’s username and password.  This flow is only suitable when there is a high degree of trust between the user and the client.
  • Client Credentials Flow – the client uses its credentials to obtain an access token. This flow supports what is known as the 2-legged scenario.
  • Assertion Flow – the client presents an assertion such as a SAML assertion to the authorization server in exchange for an access token.

Native application support (applications running on a desktop or mobile device) can be implemented using many of the flows above.

－－－－其实看起来就很纠结，反正先了解一下，refresh_token还得向新浪申请。真纠结

 
分类: PHP&MySql
同步内容