1 Star 0 Fork 2

abc-edb-fund / check

Create your Gitee Account
Explore and code with more than 12 million developers,Free private repositories !:)
Sign up
This repository doesn't specify license. Please pay attention to the specific project description and its upstream code dependency when using it.
Clone or Download
contribute
Sync branch
Cancel
Notice: Creating folder will generate an empty file .keep, because not support in Git
Loading...
README

本项目为基金ETL业务

(一)ETL业务(基金业务数据从大智慧库(dzh)抽取数据到中心库)

项目及其分支: EDBSpider/fund_service

  1. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券)

  2. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券回购)

  3. 公募基金公司:机构资料表(TQ_COMP_INFO) --> 机构信息表(org_basic_info)

  4. 募基金产品:证券内码表(TQ_OA_STCODE) --> 机构信息表(org_basic_info)

  5. 券内码表(TQ_OA_STCODE) --> 证券基本信息表(sec_basic_info)

  6. 金发行与上市(TQ_FD_ISSUE)/基金基本信息(TQ_FD_BASICINFO) --> 基金基本信息表(fund_basic_info)

  7. 金业绩比较基准(TQ_FD_BENCHMARK) --> 基金业绩比较基准(fund_benchmark)

  8. 基金费率变动(TQ_FD_RATECHG) --> 基金费率(fund_rate_info)

  9. 基金发行与上市(TQ_FD_ISSUE) --> 封闭基金基本信息表(fund_closed_basic_info)

  10. 基金当事人(TQ_FD_PARTY)/基金费率变动(TQ_FD_RATECHG) --> 保本基金基本信息表(fund_guaranteed_basic_info)

  11. 基金特殊日期主表(TQ_FD_FUNDSDATE) --> 基金保本周期表(fund_guaranteed_cycle)

  12. 基金基本信息(TQ_FD_BASICINFO)(ETF) --> ETF基本资料(fund_etf_basic_info)

  13. 基金基本信息(TQ_FD_BASICINFO)(LOF) --> LOF基本资料(fund_lof_basic_info)

  14. 基金基本信息(TQ_FD_BASICINFO) --> 货币基金基本资料(fund_money_market_basic_info)

  15. 个人档案(TQ_COMP_PERSONRECORD)(基金经理) --> 人物信息表(peo_basic_info)

  16. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理基本信息(fund_manager_basic_info)

  17. 公司概况变动表(TQ_COMP_INFOCHG) --> 机构信息变动表(org_basic_info_chg)

  18. 基金基本资料变动(TQ_FD_BASICINFOCHG) --> 证券基本信息变动表(sec_basic_info_chg)

  19. 基金公司股东(TQ_FD_COMPOWNER) --> 基金公司股东(fund_com_holder)

  20. 证券代码对应表(TQ_OA_SECURITYMAP) --> 基金编码表(fund_code)

  21. (中心库data_center)证券代码对应表(sec_basic_info) --> 基金编码表(fund_code)

  22. ETF申赎概况汇总表(TQ_FD_ETFSRSUMM) --> ETF申购赎回清单信息(fund_etf_sub_redem_list)

  23. ETF申赎成份券汇总表(TQ_FD_ETFSRCOMPSUMM) --> ETF申购赎回成份信息(fund_etf_sub_redem_components)

  24. 分级基金概况(TQ_FD_CLASSINFO) --> 分级基金基本资料(structured_fund_basic_info)

  25. 分级基金约定收益率(TQ_FD_CLASSARRETURN) --> 分级基金约定收益(structured_fund_predicted_return)

  26. 分级基金配比(TQ_FD_CLASSRATIO) --> 分级基金份额配比(structured_fund_share_matching)

  27. 分级基金阀值表(TQ_FD_CLASSTHRESHOLD) --> 分级基金阈值(structured_fund_threshold)

  28. 基金申赎状态从表(TQ_FD_SUBREDSTATUSSUB) --> 基金申赎状态(fund_sub_redem_status)

  29. 基金获奖情况表(TQ_FD_PRIZESTATE) --> 基金获奖情况(fund_prize)

  30. 基金封转开信息表(TQ_FD_CLOSETOOPEN) --> 基金封转开信息(fund_close_to_open)

  31. 基金固有资产投资(TQ_FD_INHINVESTMENT) --> 基金固有资金投资(fund_inherent_investment)

  32. 基金从业人员资格统计(TQ_FD_FUNDPQUAL)--> 基金从业人员资格(fund_practice_person_qualification)

  33. 基金除权因子表(TQ_FD_XDRFACTOR) --> 基金除权因子表(fund_xr_factor)

  34. 基金标准券折算率(TQ_FD_STANDDISRATE) --> 基金标准券折算率(fund_std_dis_rate)

  35. 基金净值(TQ_QT_FDNAV) --> 基金净值(fund_nav)

  36. 货币式基金净值(TQ_QT_FDNAVCUR) --> 货币式基金净值(fund_nav_cur)

  37. 净值增长率与基准比较(TQ_FD_NAVBENMARK) --> 净值增长率与基准比较(fund_nav_benchmark)

  38. 基金分类(TQ_FD_TYPE) --> 基金所属板块(sec_plate_info)

  39. 基金分红(TQ_FD_BONUS) --> 基金分红(fund_dividend)

  40. 货币式基金收益支付(TQ_FD_MDHISTORY) --> 货币式基金分红(fund_money_market_dividend)

  41. 基金拆分(TQ_FD_SPLIT) --> 基金拆分折算(fund_split_conversion)

  42. 创新型基金折算表(TQ_FD_FUNDICONVERT) --> 创新型基金拆分折算(fund_innovate_split_conversion)

  43. 基金历史日交易(TQ_QT_FDQUOTE) --> 基金日行情(fund_price_day)

  44. 基金历史周交易(TQ_QT_FDWQUOTE) --> 基金周行情(fund_price_week)

  45. 基金历史月交易(TQ_QT_FDMQUOTE) --> 基金月行情(fund_price_month)

  46. 基金历史年交易(TQ_QT_FDYQUOTE) --> 基金年行情(fund_price_year)

  47. 基金资产组合(TQ_FD_ASSETPORTFOLIO)/基金资产组合附表(TQ_FD_ASSETPORTFOLIOSUB) --> 基金资产配置表(fund_asset_allocation)

  48. 基金投资组合(按行业)(TQ_FD_INVPORTFOLIO) --> 基金投资行业配置(fund_invest_industry)

  49. 沪深港通行业投资组合(TQ_FD_HSHKIPORT) --> 沪深港通基金行业配置(fund_hshk_industry)

  50. 基金投资股票明细(TQ_FD_SKDETAIL) --> 基金投资明细(fund_invest_detail)

  51. 基金投资债券明细(TQ_FD_BDDETAIL) --> 基金投资明细(fund_invest_detail)

  52. 基金投资基金明细(TQ_FD_FDDETAIL) --> 基金投资明细(fund_invest_detail)'

  53. QDII股票投资组合重大变化(TQ_FD_QDIISKPCHG) --> 基金投资组合重大变动(fund_portfolio_change)

  54. 股票组合重大变化(TQ_FD_STCHG) --> 基金投资组合重大变动(fund_portfolio_change)

  55. 股票投资组合(按国家&地区)(TQ_FD_QDIISKP) --> QDII投资区域配置(fund_qdii_nation_allocation)

  56. QDII行业投资明细表(TQ_FD_QDIIPORT) --> QDII投资行业配置(fund_qdii_invest_industry)

  57. QDII期末按债券信用等级分类的债券投资组合(TQ_FD_QDIIBDCRATING) --> QDII信用等级分类债券投资组合(fund_qdii_rated_bond)

  58. QDII基金投资证券表(TQ_FD_QDIIINVEST) --> QDII基金投资明细(fund_qdii_invest_detail)

  59. 基金债券回购融资情况(TQ_FD_FUNDBREPOFIN) --> 货币基金专项指标(fund_money_market_index)

  60. 基金资产净值偏离(TQ_FD_FUNDASSDEV) --> 货币基金专项指标(fund_money_market_index)

  61. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金专项指标(fund_money_market_index) 仅同步2015年(含2015年)以后的数据

  62. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金平均剩余期限分布(fund_money_market_remain_maturity)

  63. 基金股票交易金额表(TQ_FD_SKTRADING) --> 基金股票交易金额(fund_stock_trading)

  64. 分资产交易统计(TQ_FD_ASSETTRADESTAT) --> 基金租用交易席位及交易状况(fund_trading_commission)

  65. 基金主要财务指标(TQ_FD_MAININDEX) --> 基金主要财务指标(fund_main_financial_index)

  66. 基金资产负债表(旧准则)(TQ_FD_BSHEET) --> 基金资产负债表(旧准则)(fund_balance_sheet)

  67. 基金资产负债表(新准则)(TQ_FD_BSHEETNEW) --> 基金资产负债表(新准则)(fund_balance_sheet_new)

  68. 基金利润表(旧准则)(TQ_FD_PROFIT) --> 基金利润表(旧准则)(fund_income_statement)

  69. 基金利润表(新准则)(TQ_FD_PROFITNEW) --> 基金利润表(新准则)(fund_income_statement_new)

  70. 基金净值变动表(旧准则)(TQ_FD_NAVCHG) --> 基金净值变动表(旧准则)(fund_nav_chg)

  71. 基金净值变动表(新准则)(TQ_FD_NAVCHGNEW) --> 基金净值变动表(新准则)(fund_nav_chg_new)

  72. 基金利润分配情况表(TQ_FD_FUNDDPROFIT) --> 基金利润分配情况表(fund_profit_dist)

  73. 基金未分配利润表(新准则)(TQ_FD_UNPROFITNEW) --> 基金未分配利润表(新准则)(fund_undist_profit_new)

  74. 基金财务附注表(TQ_FD_FUNDFINN) --> 基金财务附注(fund_financial_note)

  75. 基金市场规模表(TQ_FD_FPMTSCALE) --> 基金市场规模(fund_market_scale)

  76. 基金管理人管理基金情况(TQ_FD_KEEPERTRFD) --> 基金管理人管理基金情况(fund_keeper_fund)

  77. 基金杠杆表(TQ_FD_LEVERAGE) --> 基金杠杆(fund_leverage)

  78. 基金托管人管理基金情况(TQ_FD_TRUSTEETRFD) --> 基金托管人托管基金情况(fund_trustee_fund)

  79. 基金升贴水(TQ_FD_DISCOUNT) --> 基金升贴水(fund_discount)

  80. QDII基金基本资料(fund_qdii_basic_info) 从Excel导入

  81. 基金所属板块(sec_plate_info) 从Excel导入

  82. 基金份额(TQ_FD_SHARE) --> 基金份额变动(fund_share_change)

  83. 基金份额持有信息统计(TQ_FD_SHARESTAT) --> 基金份额持有人信息(fund_holder_info)

  84. 基金十大持有人(TQ_FD_HOLDERTOP10) --> 基金前十名持有人(fund_top_ten_holder)

  85. 上市型基金每日份额表(TQ_FD_EXCHSHARE) --> 上市基金每日份额(fund_listed_trading_share)

  86. 基金公司高管资料表(TQ_FD_COMPMGINFO) --> 基金公司管理层(fund_com_management_info)

  87. 基金持有人大会应用表(TQ_FD_HMEETINGAPP) --> 基金持有人大会(fund_holder_meeting)

  88. 投资者持有超过20%份额基金(TQ_FD_FUNDSISM) --> 单一投资者持有基金份额(fund_single_investor_hold_share)

  89. 基金经理统计(TQ_FD_MANAGERSTA) --> 基金经理统计(fund_manager_stat)

  90. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理经营业绩表(fund_manager_perf)

  91. 基金衍生表(TQ_FD_DERIVEDN) --> 基金净值回报(fund_nav_return)

  92. 个人档案(TQ_COMP_PERSONRECORD)(基金公司高管) --> 人物信息表(peo_basic_info)

  93. 基金业绩比较基准日收益率表(TQ_FD_BENCHYIELD) --> 基金业绩基准收益(fund_benchmark_yield)

  94. 证券板块表新增场内场外基金分类(sec_basic_info) --> 基金所属板块(sec_plate_info)

  95. 个人档案(TQ_COMP_PERSONRECORD)(基金公司股东) --> 人物信息表(peo_basic_info)

以下为非导表程序,修改状态为定时任务,删除脚本需谨慎使用

  1. 修改中心库(data_center)基金业务表的记录状态值,推送至产品库

  2. 基金净值表数据删除(TQ_QT_FDNAV-->fund_nav),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date)

  3. 货币式基金净值表数据删除(TQ_QT_FDNAVCUR --> fund_nav_cur),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date)

  4. 本地处理临时方案(com_logo),上传阿里云图片,并生成SQL(or 处理沪深业务,更新peo_leader并上传图片)

(二)基金衍生计算业务

项目及其分支: EDBSpider/fund_service

  1. 基金管理人持股(fund_keeper_hold_stk)衍生计算

(三)EDB清洗(临时方案)####

项目及其分支: EDBSpider/fund_service

  1. EDB国家,地区,来源链接等字段清洗

(四)沪深业务

项目及其分支: EDBSpider/fund_service

  1. (中心库data_center--沪深业务)证券基本信息(sec_basic_info),更新AB股(含三板)及其港股的证券英文名及证券全称数据从大智慧库(dzh)抽取

  2. (中心库data_center--沪深业务)根据变动表触发sec_basic_info相关字段更新

  3. (中心库data_center--沪深业务/基金) 定时变动表触发sec_basic_info.sec_id字段更新

Empty file

About

大智慧数据清洗 expand collapse
Cancel

Releases

No release

Contributors

All

Activities

Load More
can not load any more
1
https://gitee.com/edbmapping/check.git
git@gitee.com:edbmapping/check.git
edbmapping
check
check
master

Search