8 个新的 SQL 工具将在 2020 年改变您的工作方式
说到使用 SQL,我们都追求同样的目标:速度和规模。除此之外,我们还希望操作简单,甚至充满乐趣。从数据收集到处理,再到分析,最终付诸实践;我们处理数据是为了达成目标,而不是因为我们喜欢解析 JSON、进行类型检查、检查日志和编写文档。正因如此,我们需要优秀的工具,尤其是那些能够随着我们不断变化的节奏和工作方式而不断改进的工具。这也是我今天想与大家分享这些工具的原因。
我从事 SQL 工作已有数年,担任过多个职位。时间足够长,足以让我理解这项工作,但又不会因为循规蹈矩而受制于过时的方法或系统。对我来说,这些工具反映了向现代 SQL 工作流的转变,以适应现代工作的节奏和灵活性。我欣赏这些工具的创新性,以及它们用于解决繁琐 SQL 任务的独创性。
这些工具涵盖了从将数据导入数据库、转换数据、分析数据,甚至分享数据发现的方方面面。好了,介绍就到这里,让我们开始了解 SQL 工具吧!
数据收集
如果数据库中没有数据,SQL 就完全没用。这些工具能帮你轻松地将杂乱的数据迁移到 SQL 数据库。
努米底亚皈依者
每个人都遇到过这样的问题:一个数据库中充满了有趣的数据,而另一个文件如果放在数据库中会更有趣。Numidian Convert可以非常轻松地将 JSON 和 CSV 文件中的数据导入数据库。您只需输入一个文件并定义转换,它就会为您提供 CREATE TABLE 和 INSERT 语句。
Numidian Convert 支持 Postgres、MySQL 和 SQLite。他们提供免费服务,可转换最大 10MB 的文件;此外,他们还提供付费 API,用于转换大量数据,费用为每月 20 美元。
帕诺普利
你知道问题所在。你所有的数据都来自各种各样的 API、电子表格和文件系统,你只想把它们集中到一个可以连接 SQL 工具的地方。Panoply是一个云数据仓库,拥有大量原生数据管道,包括 MySQL、MongoDB、Salesforce、Stripe、Google Analytics、Google Sheets 以及大量其他集成。
Panoply 构建于 AWS 基础架构之上,也可与 Azure 配合使用。它基本上继承了 Redshift 的强大功能,但设置、管理和扩展起来却简单 10 倍。他们提供功能齐全的免费试用版,让您在比喝完一杯咖啡更短的时间内即可开始查询所有数据。
数据探索
如果您曾经考虑过新的数据库,那么您可能不得不花费大量时间查询系统表,只是为了弄清楚好数据在哪里以及有多少数据。
架构资源管理器
Schema Explorer近期开源,它是一个友好的 UI 封装器,涵盖了所有用于熟悉新数据库的查询。这款工具的一大亮点是,如果您设置了外键约束,Schema Explorer 还能为您绘制数据库图表!
该软件相当精简(似乎是单人秀),但它支持 Mac 和 Windows,并且在 Github 上 100% 免费且开源。
数据转换
说到扩展,尤其是在整个组织范围内扩展数据的复杂性和应用时,你必须有一个良好的流程。这两款工具在简化复杂的数据转换工作流程方面确实令人印象深刻。
数据表
顺应免维护/低维护基础设施的趋势,Dataform将ELT 流程的整个转换环节整合到一个 SaaS 应用程序中。这使得为最终用户分析提供可靠的表格变得前所未有的简单。最棒的是:一切都可以通过 SQL 或精心设计的 UI 进行管理。
Dataform 可与 Redshift、BigQuery、Panoply、Azure SQL DW 和 Snowflake 数据仓库兼容。它还能在 UI 中通过 Github 无缝处理版本控制。而且,所有这些强大功能都无需维护任何基础设施!
DBT(数据构建工具)
对于那些喜欢完全掌控数据管道(并且不介意维护随之而来的基础设施)的人来说,DBT是适合您的转换工具。DBT 是我最喜欢的 Github 代码库之一,因为他们认真考虑了数据准备和转换的所有挑战,甚至包括动态生成文档!DBT 的出现早于 Dataform,因此DAG式的工作流程和模板设计与之类似,只是您可以控制部署的每个细节。
DBT 是一款命令行工具,支持 Postgres、Redshift、Bigquery、Panoply 和 Snowflake,并提供对 Microsoft SQL Server、Presto 和 Spark 的社区/部分支持。此外,他们的社区也非常令人印象深刻。拥有 Hubspot 和 Seatgeek 这样的“客户”,你就知道你身处一家实力雄厚的数据公司。
数据访问和共享
这可能是 SQL 领域中解决得最多的问题(甚至可以说是过度解决)。但随着我们工作流程的演变,我们的工具也应该随之发展。这两个工具之所以脱颖而出,是因为它们是现代协作工具 Slack 和 Google Sheets 的自然延伸。
SQLBot
如果你像我一样,已经把你用的每个应用都集成到 Slack 了。我可没开玩笑,我有个斜杠命令,专门用来跟查克·诺里斯开玩笑。所以,当我了解到 SQLBot 时,我兴奋不已,这应该不足为奇。我一直觉得,撇开安全性不谈,把 SQL 写进 Slack 就能得到结果,这很酷。SQLBot是下一个绝佳选择。它允许你设置斜杠命令来返回查询结果。你无需离开对话就能获得报告!
SQLBot 是一款由IndieHackers开发的新应用,虽然功能强大,但 Bootstrap 界面却相当简洁。它支持 Postgres、MySQL、SQLServer、Amazon Redshift 和 Panoply,并且允许你将变量添加到查询中,非常便捷。
SeekWell
虽然我坚信每个人都应该学习 SQL,但有些人太爱电子表格了,而且可能永远都会有人爱不释手。幸运的是,SeekWell在你的数据库和同事的电子表格之间架起了一座桥梁。该工具允许你编写 SQL 或通过 Jupyter Notebook 编写 Python 代码,并将数据直接导入 Google 电子表格和 Slack。你甚至可以同时从数据库和 Python Notebook 中调度查询。
SeekWell 支持 MySQL、Postgres、Redshift、Panoply、Microsoft SQL Server 和 Snowflake,他们的开发速度给我留下了深刻的印象。似乎每次我回顾他们的产品时,这款工具的体验都变得更加流畅。
文档
在“没人有时间”和“这太有用了”的交汇处,我们的老朋友文档就派上用场了。这里有一个新工具,可以很好地完成这项工作,而且相当轻松。
dbdiagram.io
当数据分析师熟悉新的数据库或数据仓库时,ER 图和数据字典是他们最好的朋友,但使用 Google Sheets 或 Google Drawings 从头开始构建这些内容既无趣又枯燥,并且不能利用代码来处理我们喜欢自动化的重复性任务。dbiagram.io采用了一种新颖的方法来解决这个问题,并将描述数据库及其关系的标记语言转换为显示数据库表的交互式图表。
这款免费工具是开源的,其使用的标记语言DBML也是开源的,由 Holistics 的优秀团队维护。如果您有一个需要绘制大型数据库的图表,我建议您访问 dbdiagram.io,了解如何以编程方式免费生成 ER 图!
我希望这些工具能为您 2020 年的 SQL 工作带来欢乐!
文章来源:https://dev.to/realtrevorfaux/8-new-sql-tools-that-will-change-how-you-work-in-2020-n63