其他
js2xml:将javascript字符串转换为xml
有时候爬数据遇到像下面这种，数据在script标签中以javascript形式存在。
<script type="text/javascript">
var totalReviewsValue = 32;
var averageRating = 4.5;
if(totalReviewsValue != 0){
events = "...";
}
</script>一般我们都是通过正则的方式抽取，其实还可以使用js2xml。将js转换为xml标记的文本，这样就可以通过抽取。
先提前出js文本
from pyquery import PyQuery as pq
doc = pq(html)js_text = doc('script').text()
print(js_text)var totalReviewsValue = 32;
var averageRating = 4.5;
if(totalReviewsValue != 0){ events = "...";
}js2xml
import js2xml
doc = pq(html)
js_text = doc('script').text()
parse_js = js2xml.parse(js_text)
print(type(parse_js))
print(parse_js)<class 'lxml.etree._Element'>
<Element program at 0x10f136888>为了方便我们查看Element对象，使用下面的代码：
js2xml.pretty_print(data)wow,返回我们熟悉的标记语言字符串。
<program>
<var name="totalReviewsValue">
<number value="32"/>
</var>
<var name="averageRating">
<number value="4.5"/>
</var>
<if>
<predicate>
<binaryoperation operation="!=">
<left>
<identifier name="totalReviewsValue"/>
</left>
<right>
<number value="0"/>
</right>
</binaryoperation>
</predicate>
<then>
<block>
<assign operator="=">
<left>
<identifier name="events"/>
</left>
<right>
<string>...</string>
</right>
</assign>
</block>
</then>
</if>
</program>因为parse_js是lxml库的Element类对象。如果我们熟悉lxml库的话，应该知道可以使用xpath或者css定位数据。
我们想获取name=averageRating节点里的number节点中的value属性的值。
number = parse_js.xpath("//program/var[@name='averageRating']/number/@value")
print(number)print(number[0])['4.5']
4.5相关阅读
数据采集