将来自各种服务的数据导出转换为单个SQLite数据库

2021-04-08 04:20:13

仿生是一种将数据从Web应用程序转换为单个SQLite数据库的工具。仿生目前支持Google,Apple Health,Spotify,Telegram,Rescuetime,Instagram,Twitter和Netflix的数据出口。

有趣:您可以使用仿生素来探索自己的数据并发现对您自己的见解。加入不同来源之间的表来创建报告,如"我在不同地点聆听的歌曲"或深入地进入一个来源来创建"每周电报消息数量如何随着时间的推移而改变。报告。

研究:如果您研究人类行为,主观指标可能会影响您的发现。如果您的受访者能够运行仿生并将您的数据发送汇总结果,您可以收集描述生命中重要部分的新目标数据集:运输,社交媒体,知识工作等。

开发:您可以使用仿生素作为Go包,以在您的应用中实现个人数据。

教育:您可以在文章,课程或书籍中包含仿生练习。学习处理个人记录数据比处理人工数据集更令人兴奋。

仿生导入[提供者] [下载目录或存档的路径] --db [sqlite db的路径]

如果数据库没有存在,仿生会创造一个新的。如果它已经存在,仿生会在需要时创建表并追加新行。

仿生导入谷歌/用户/ seva / gdpr_exports / takeout / --db db.sqlitebionic进口健康/用户/ seeva/gdpr_exports/apple-health.zip --db db.sqlitebionic import spotify / seva / gdpr_exports / mydata / - -db db.sqlite.

例如,Google_Searches是基于原始Google_activity表的视图,但仅过滤仅包含搜索查询并更改为列为列。

$ sqlite3 db.sqlite sqlite版本3.28.0 2019-04-15 14:49:49ENTER" .help"用于使用提示.Sqlite>选择*来自Netflix_playback_related_Events限制1; 1 | 2021-01-22 20:46:21.696934 + 03:00 | 20:46:21.696934 + 03:21.696934 + 03:00 || Seva |我如何遇见你的母亲:第1季:"来吧" | Apple iPhone XR | RU | 2020-12-30 20:14:21 + 00:00

或者,您可以使用DataSette构建Web UI以查看和查询数据:

$ DataSette Apon DB.SQLiteInfo:启动服务器流程[23975]信息:等待应用程序启动.info:应用程序启动完成.info:Uvicorn在http://127.0.0.1:8001运行(按Ctrl + C Quit)

导入Pandas作为PD导入SQLite3 Database_Path =' /Users/seva/db.sqlite' db_connection = sqlite3。 Connect(Database_Path)Messages_DF = PD。 READ_SQL('从电报中选择*;',con = db_connection)

google_activity,google_activity_details,google_activity_location_infos,google_activity_path_points,google_activity_products,google_activity_products_assoc,google_activity_segments,google_activity_subtitles,google_activity_type_candidates,google_candidate_locations,google_location_activity,google_location_activity_type_candidates,google_location_history,google_place_path_points,google_place_visits,google_transit_stops,google_waypoints

health_activity_summaries,health_beats_per_minutes,health_data_exports,health_devices,health_entries,health_entry_metadata,health_me_records,health_metadata_entries,health_workout_events,health_workout_metadata,health_workout_route_metadata,health_workout_route_track_points,health_workout_routes,health_workouts,health_activity_summaries,health_beats_per_minutes,health_data_exports,health_devices,health_entries,health_entry_metadata,health_me_records,health_metadata_entries,health_workout_events,health_workout_metadata,health_workout_route_metadata, health_workout_route_track_points,health_workout_routes,health_workouts

twitter_ad_impressions,twitter_ad_impressions_matched_targeting_criteria,twitter_advertisers,twitter_age_info_records,twitter_audience_and_advertiser_records,twitter_audience_and_advertisers,twitter_audience_and_lookalike_advertisers,twitter_conversations,twitter_device_infos,twitter_direct_message_reactions,twitter_direct_message_urls,twitter_direct_messages,twitter_email_address_changes,twitter_gender_info,twitter_hashtags,twitter_inferred_age_info_records,twitter_interest_records,twitter_language_records,twitter_likes,twitter_locations,twitter_login_ips,twitter_personalization_locations,twitter_personalization_records,twitter_personalization_shows,twitter_screen_name_changes, Twitter_shows,twitter_targeting_criTeria,Twitter_tweet_entities,Twitter_tweet_hashtags,Twitter_tweet_media,Twitter_tweet_URLS,Twitter_tweet_User_mentions,Twitter_tweets,Twitter_URLS,Twitter_Users

提供者。您可以创建新的数据源。使用新提供程序查看#新提供者问题和示例PR。许多现有提供者缺少一些数据:例如,Google提供程序只能降低Google导出的一小部分。随意改变它!我们还旨在测试所有提供商并添加测试(特别是您在数据中找到的异形角箱)可能是一个非常有用的贡献。

意见。视图是基于来自提供商的数据的其他SQL表。查看具有新视图的示例PR。

生态系统。根据仿生数据库创建和发布您自己的工具。认为Web UI可视化审阅报告生成器中的生命或自定义发现年份。

当贡献时,随意创建问题和讨论任何问题。我们承诺有用,善良!