1 Star 0 Fork 2

developersLxz / check

forked from abc-edb-fund / check 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

本项目为基金ETL业务

(一)ETL业务(基金业务数据从大智慧库(dzh)抽取数据到中心库)

项目及其分支: EDBSpider/fund_service

  1. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券)

  2. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券回购)

  3. 公募基金公司:机构资料表(TQ_COMP_INFO) --> 机构信息表(org_basic_info)

  4. 募基金产品:证券内码表(TQ_OA_STCODE) --> 机构信息表(org_basic_info)

  5. 券内码表(TQ_OA_STCODE) --> 证券基本信息表(sec_basic_info)

  6. 金发行与上市(TQ_FD_ISSUE)/基金基本信息(TQ_FD_BASICINFO) --> 基金基本信息表(fund_basic_info)

  7. 金业绩比较基准(TQ_FD_BENCHMARK) --> 基金业绩比较基准(fund_benchmark)

  8. 基金费率变动(TQ_FD_RATECHG) --> 基金费率(fund_rate_info)

  9. 基金发行与上市(TQ_FD_ISSUE) --> 封闭基金基本信息表(fund_closed_basic_info)

  10. 基金当事人(TQ_FD_PARTY)/基金费率变动(TQ_FD_RATECHG) --> 保本基金基本信息表(fund_guaranteed_basic_info)

  11. 基金特殊日期主表(TQ_FD_FUNDSDATE) --> 基金保本周期表(fund_guaranteed_cycle)

  12. 基金基本信息(TQ_FD_BASICINFO)(ETF) --> ETF基本资料(fund_etf_basic_info)

  13. 基金基本信息(TQ_FD_BASICINFO)(LOF) --> LOF基本资料(fund_lof_basic_info)

  14. 基金基本信息(TQ_FD_BASICINFO) --> 货币基金基本资料(fund_money_market_basic_info)

  15. 个人档案(TQ_COMP_PERSONRECORD)(基金经理) --> 人物信息表(peo_basic_info)

  16. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理基本信息(fund_manager_basic_info)

  17. 公司概况变动表(TQ_COMP_INFOCHG) --> 机构信息变动表(org_basic_info_chg)

  18. 基金基本资料变动(TQ_FD_BASICINFOCHG) --> 证券基本信息变动表(sec_basic_info_chg)

  19. 基金公司股东(TQ_FD_COMPOWNER) --> 基金公司股东(fund_com_holder)

  20. 证券代码对应表(TQ_OA_SECURITYMAP) --> 基金编码表(fund_code)

  21. (中心库data_center)证券代码对应表(sec_basic_info) --> 基金编码表(fund_code)

  22. ETF申赎概况汇总表(TQ_FD_ETFSRSUMM) --> ETF申购赎回清单信息(fund_etf_sub_redem_list)

  23. ETF申赎成份券汇总表(TQ_FD_ETFSRCOMPSUMM) --> ETF申购赎回成份信息(fund_etf_sub_redem_components)

  24. 分级基金概况(TQ_FD_CLASSINFO) --> 分级基金基本资料(structured_fund_basic_info)

  25. 分级基金约定收益率(TQ_FD_CLASSARRETURN) --> 分级基金约定收益(structured_fund_predicted_return)

  26. 分级基金配比(TQ_FD_CLASSRATIO) --> 分级基金份额配比(structured_fund_share_matching)

  27. 分级基金阀值表(TQ_FD_CLASSTHRESHOLD) --> 分级基金阈值(structured_fund_threshold)

  28. 基金申赎状态从表(TQ_FD_SUBREDSTATUSSUB) --> 基金申赎状态(fund_sub_redem_status)

  29. 基金获奖情况表(TQ_FD_PRIZESTATE) --> 基金获奖情况(fund_prize)

  30. 基金封转开信息表(TQ_FD_CLOSETOOPEN) --> 基金封转开信息(fund_close_to_open)

  31. 基金固有资产投资(TQ_FD_INHINVESTMENT) --> 基金固有资金投资(fund_inherent_investment)

  32. 基金从业人员资格统计(TQ_FD_FUNDPQUAL)--> 基金从业人员资格(fund_practice_person_qualification)

  33. 基金除权因子表(TQ_FD_XDRFACTOR) --> 基金除权因子表(fund_xr_factor)

  34. 基金标准券折算率(TQ_FD_STANDDISRATE) --> 基金标准券折算率(fund_std_dis_rate)

  35. 基金净值(TQ_QT_FDNAV) --> 基金净值(fund_nav)

  36. 货币式基金净值(TQ_QT_FDNAVCUR) --> 货币式基金净值(fund_nav_cur)

  37. 净值增长率与基准比较(TQ_FD_NAVBENMARK) --> 净值增长率与基准比较(fund_nav_benchmark)

  38. 基金分类(TQ_FD_TYPE) --> 基金所属板块(sec_plate_info)

  39. 基金分红(TQ_FD_BONUS) --> 基金分红(fund_dividend)

  40. 货币式基金收益支付(TQ_FD_MDHISTORY) --> 货币式基金分红(fund_money_market_dividend)

  41. 基金拆分(TQ_FD_SPLIT) --> 基金拆分折算(fund_split_conversion)

  42. 创新型基金折算表(TQ_FD_FUNDICONVERT) --> 创新型基金拆分折算(fund_innovate_split_conversion)

  43. 基金历史日交易(TQ_QT_FDQUOTE) --> 基金日行情(fund_price_day)

  44. 基金历史周交易(TQ_QT_FDWQUOTE) --> 基金周行情(fund_price_week)

  45. 基金历史月交易(TQ_QT_FDMQUOTE) --> 基金月行情(fund_price_month)

  46. 基金历史年交易(TQ_QT_FDYQUOTE) --> 基金年行情(fund_price_year)

  47. 基金资产组合(TQ_FD_ASSETPORTFOLIO)/基金资产组合附表(TQ_FD_ASSETPORTFOLIOSUB) --> 基金资产配置表(fund_asset_allocation)

  48. 基金投资组合(按行业)(TQ_FD_INVPORTFOLIO) --> 基金投资行业配置(fund_invest_industry)

  49. 沪深港通行业投资组合(TQ_FD_HSHKIPORT) --> 沪深港通基金行业配置(fund_hshk_industry)

  50. 基金投资股票明细(TQ_FD_SKDETAIL) --> 基金投资明细(fund_invest_detail)

  51. 基金投资债券明细(TQ_FD_BDDETAIL) --> 基金投资明细(fund_invest_detail)

  52. 基金投资基金明细(TQ_FD_FDDETAIL) --> 基金投资明细(fund_invest_detail)'

  53. QDII股票投资组合重大变化(TQ_FD_QDIISKPCHG) --> 基金投资组合重大变动(fund_portfolio_change)

  54. 股票组合重大变化(TQ_FD_STCHG) --> 基金投资组合重大变动(fund_portfolio_change)

  55. 股票投资组合(按国家&地区)(TQ_FD_QDIISKP) --> QDII投资区域配置(fund_qdii_nation_allocation)

  56. QDII行业投资明细表(TQ_FD_QDIIPORT) --> QDII投资行业配置(fund_qdii_invest_industry)

  57. QDII期末按债券信用等级分类的债券投资组合(TQ_FD_QDIIBDCRATING) --> QDII信用等级分类债券投资组合(fund_qdii_rated_bond)

  58. QDII基金投资证券表(TQ_FD_QDIIINVEST) --> QDII基金投资明细(fund_qdii_invest_detail)

  59. 基金债券回购融资情况(TQ_FD_FUNDBREPOFIN) --> 货币基金专项指标(fund_money_market_index)

  60. 基金资产净值偏离(TQ_FD_FUNDASSDEV) --> 货币基金专项指标(fund_money_market_index)

  61. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金专项指标(fund_money_market_index) 仅同步2015年(含2015年)以后的数据

  62. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金平均剩余期限分布(fund_money_market_remain_maturity)

  63. 基金股票交易金额表(TQ_FD_SKTRADING) --> 基金股票交易金额(fund_stock_trading)

  64. 分资产交易统计(TQ_FD_ASSETTRADESTAT) --> 基金租用交易席位及交易状况(fund_trading_commission)

  65. 基金主要财务指标(TQ_FD_MAININDEX) --> 基金主要财务指标(fund_main_financial_index)

  66. 基金资产负债表(旧准则)(TQ_FD_BSHEET) --> 基金资产负债表(旧准则)(fund_balance_sheet)

  67. 基金资产负债表(新准则)(TQ_FD_BSHEETNEW) --> 基金资产负债表(新准则)(fund_balance_sheet_new)

  68. 基金利润表(旧准则)(TQ_FD_PROFIT) --> 基金利润表(旧准则)(fund_income_statement)

  69. 基金利润表(新准则)(TQ_FD_PROFITNEW) --> 基金利润表(新准则)(fund_income_statement_new)

  70. 基金净值变动表(旧准则)(TQ_FD_NAVCHG) --> 基金净值变动表(旧准则)(fund_nav_chg)

  71. 基金净值变动表(新准则)(TQ_FD_NAVCHGNEW) --> 基金净值变动表(新准则)(fund_nav_chg_new)

  72. 基金利润分配情况表(TQ_FD_FUNDDPROFIT) --> 基金利润分配情况表(fund_profit_dist)

  73. 基金未分配利润表(新准则)(TQ_FD_UNPROFITNEW) --> 基金未分配利润表(新准则)(fund_undist_profit_new)

  74. 基金财务附注表(TQ_FD_FUNDFINN) --> 基金财务附注(fund_financial_note)

  75. 基金市场规模表(TQ_FD_FPMTSCALE) --> 基金市场规模(fund_market_scale)

  76. 基金管理人管理基金情况(TQ_FD_KEEPERTRFD) --> 基金管理人管理基金情况(fund_keeper_fund)

  77. 基金杠杆表(TQ_FD_LEVERAGE) --> 基金杠杆(fund_leverage)

  78. 基金托管人管理基金情况(TQ_FD_TRUSTEETRFD) --> 基金托管人托管基金情况(fund_trustee_fund)

  79. 基金升贴水(TQ_FD_DISCOUNT) --> 基金升贴水(fund_discount)

  80. QDII基金基本资料(fund_qdii_basic_info) 从Excel导入

  81. 基金所属板块(sec_plate_info) 从Excel导入

  82. 基金份额(TQ_FD_SHARE) --> 基金份额变动(fund_share_change)

  83. 基金份额持有信息统计(TQ_FD_SHARESTAT) --> 基金份额持有人信息(fund_holder_info)

  84. 基金十大持有人(TQ_FD_HOLDERTOP10) --> 基金前十名持有人(fund_top_ten_holder)

  85. 上市型基金每日份额表(TQ_FD_EXCHSHARE) --> 上市基金每日份额(fund_listed_trading_share)

  86. 基金公司高管资料表(TQ_FD_COMPMGINFO) --> 基金公司管理层(fund_com_management_info)

  87. 基金持有人大会应用表(TQ_FD_HMEETINGAPP) --> 基金持有人大会(fund_holder_meeting)

  88. 投资者持有超过20%份额基金(TQ_FD_FUNDSISM) --> 单一投资者持有基金份额(fund_single_investor_hold_share)

  89. 基金经理统计(TQ_FD_MANAGERSTA) --> 基金经理统计(fund_manager_stat)

  90. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理经营业绩表(fund_manager_perf)

  91. 基金衍生表(TQ_FD_DERIVEDN) --> 基金净值回报(fund_nav_return)

  92. 个人档案(TQ_COMP_PERSONRECORD)(基金公司高管) --> 人物信息表(peo_basic_info)

  93. 基金业绩比较基准日收益率表(TQ_FD_BENCHYIELD) --> 基金业绩基准收益(fund_benchmark_yield)

  94. 证券板块表新增场内场外基金分类(sec_basic_info) --> 基金所属板块(sec_plate_info)

  95. 个人档案(TQ_COMP_PERSONRECORD)(基金公司股东) --> 人物信息表(peo_basic_info)

以下为非导表程序,修改状态为定时任务,删除脚本需谨慎使用

  1. 修改中心库(data_center)基金业务表的记录状态值,推送至产品库

  2. 基金净值表数据删除(TQ_QT_FDNAV-->fund_nav),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date)

  3. 货币式基金净值表数据删除(TQ_QT_FDNAVCUR --> fund_nav_cur),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date)

  4. 本地处理临时方案(com_logo),上传阿里云图片,并生成SQL(or 处理沪深业务,更新peo_leader并上传图片)

(二)基金衍生计算业务

项目及其分支: EDBSpider/fund_service

  1. 基金管理人持股(fund_keeper_hold_stk)衍生计算

(三)EDB清洗(临时方案)####

项目及其分支: EDBSpider/fund_service

  1. EDB国家,地区,来源链接等字段清洗

(四)沪深业务

项目及其分支: EDBSpider/fund_service

  1. (中心库data_center--沪深业务)证券基本信息(sec_basic_info),更新AB股(含三板)及其港股的证券英文名及证券全称数据从大智慧库(dzh)抽取

  2. (中心库data_center--沪深业务)根据变动表触发sec_basic_info相关字段更新

  3. (中心库data_center--沪深业务/基金) 定时变动表触发sec_basic_info.sec_id字段更新

空文件

简介

大智慧数据清洗 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
1
https://gitee.com/Tomorrow-Lxz/check.git
git@gitee.com:Tomorrow-Lxz/check.git
Tomorrow-Lxz
check
check
master

搜索帮助