AD

python读取json文件并将数据插入到mongodb的方法

这篇文章主要介绍了python读取json文件并将数据插入到mongodb的方法,实例分析了Python操作json及mongodb数据库的技巧,需要的朋友可以参考下

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

标签: json, python, MongoDB
分类: Python
时间: 2013-12-25

相关文章

  1. POI读取excel2007文件的数据,插入数据库的使用方法[经验之谈]

    本人在公司的一个项目中需要把excel中的数据直接插入到数据库,找了很多种解决方案,包括jxl,但是据说jxl.jar 不支持07版本,所以就这条路走不通了: 于是就转到了POI,同样的也找了很多文章,但多半的从别人那里 ...
  2. Python读取ini文件.操作mysql.发送邮件实例

    这篇文章主要介绍了Python读取ini文件.操作mysql.发送邮件实例,本文重点在Mysql操作的讲解上,包含查询.插入.更新和删除操作,需要的朋友可以参考下 我是闲的没事干,2014过的太浮夸了,博客也没写几篇,哎 ...
  3. php读取txt文件组成SQL并插入数据库的代码(原创自Zjmainstay)

    php读取txt文件组成SQL并插入数据库的代码,方便需要的朋友 /** * $splitChar 字段分隔符 * $file 数据文件文件名 * $table 数据库表名 * $conn 数据库连接 * $fields ...
  4. python读取csv文件示例(python操作csv)

    这篇文章主要介绍了python读取csv文件示例,这个示例简单说明了一下python操作csv的方法,需要的朋友可以参考下 import csv for line in open("test.csv" ...
  5. php读取flash文件高宽帧数背景颜色的方法

    这篇文章主要介绍了php读取flash文件高宽帧数背景颜色的方法,可实现对swf文件的高宽帧数背景颜色等信息的读取功能,具有一定参考借鉴价值,需要的朋友可以参考下 本文实例讲述了php读取flash文件高宽帧数背景颜色的 ...
  6. scrapy自定义pipeline类实现将采集数据保存到mongodb的方法

    这篇文章主要介绍了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法,涉及scrapy采集及操作mongodb数据库的技巧,具有一定参考借鉴价值,需要的朋友可以参考下 本文实例讲述了scrapy ...
  7. jQuery中读取json文件示例代码

    json文件是一种轻量级的数据交互格式.一般在jquery中使用getJSON()方法读取,具体示例代码如下,感兴趣的朋友可以参考下哈,希望可以帮助到你 json文件是一种轻量级的数据交互格式.一般在jquery中使用g ...
  8. python解析json文件

    cat t.jo { "name":"test", "type":"kkk", "ppp":{"parate& ...
  9. 使用python解析json文件

    官方文档: http://docs.python.org/library/json.html#module-json #!/usr/bin/python import json #Function:Analyze jso ...
  10. java读取json文件的函数

    public String ReadFile(String Path) { BufferedReader reader = null; String laststr = ""; try { FileI ...
  11. python读取Android permission文件

    python解析json文件读取Android permission,同时可以学习到json的知识. 今天用python解析一个文本文件,格式如下: [ { "Key":"android.p ...
  12. Python标准库学习笔记7:数据持久存储与交换

    0. 概述 要持久存储数据以供长期使用,这包括两个方面:在对象的内存中表示和存储格式之间来回转换数据,以及处理转换后数据的存储区. 1. pickle----对象串行化 作用:对象串行化 pickle模块实现了一个算法可 ...
  13. jQuery将多条数据插入模态框的示例代码

    这篇文章主要介绍了使用jQuery将多条数据插入模态框的方法,很简单,很实用,需要的朋友可以参考下 //Bootstrap模态框(局部) <div class="modal fade" id=& ...
  14. 使用jQuery将多条数据插入模态框的实现代码

    这篇文章主要介绍了使用jQuery将多条数据插入模态框的方法,很简单,很实用,需要的朋友可以参考下 //Bootstrap模态框(局部) <div class="modal fade" id=& ...
  15. js读取csv文件并使用json显示出来

    这篇文章主要介绍了js读取csv文件并使用json显示出来,需要的朋友可以参考下 摘要: 前面分享了用js将json数据下载为csv文件,方便后期管理.但是对于测试人员更希望能够以页面的形式展现任务,所以就做了一个将cs ...
  16. python读取html中指定元素生成excle文件示例

    这篇文章主要介绍了python读取html中指定元素生成excle文件示例,需要的朋友可以参考下 Python2.7编写的读取html中指定元素,并生成excle文件 #coding=gbk import string ...
  17. ajax 读取json数据

    首先建立json.txt文件 { "programmers": [ { "firstName": "Brett", "lastName":& ...
  18. [C++]JSON文件的读取和生成

    一.从字符串中读取JSON a.cpp #include <iostream> #include "json/json.h" using namespace std; int main() ...
  19. javascript 循环读取JSON数据的代码

    服务端向客户端返回了一串JSON格式的数据.在有些时候,因为某些特殊的原因我们不知道原始的key值,因此我们此时无法象正常一样通过key值,来获取value值.这时我们必须循环读取JSON对象数据.废话少说,来看例子. ...