Olá, Habr! Provavelmente, cada um de nós possui um arquivo onde escondemos algo útil e interessante para nós mesmos. Alguns links para artigos, livros, repositórios, manuais. Podem ser marcadores do navegador ou até mesmo guias abertas deixadas para mais tarde. Com o tempo, tudo isso aumenta, os links param de abrir e a maioria dos materiais simplesmente fica desatualizada.
E se compartilharmos essa bondade com a comunidade e postarmos esse arquivo no GitHub? Então seu trabalho poderá ser útil para outra pessoa, e vocês poderão manter a relevância juntos, aceitando atualizações de quem desejar através dos bons e velhos PR's. É exatamente para isso que o projeto foi pensado. . Ele está incluído no TOP 10 dos repositórios GitHub, tem 138 mil estrelas e um link para seus trabalhos pode aparecer diretamente em seu README raiz, o que atrairá um grande público para seu trabalho. É verdade que isso exigirá um pouco de esforço. Quero compartilhar minha experiência de tais esforços com você.
Meu nome é Maxim Gramin. Na CROC faço desenvolvimento Java e pesquisa de banco de dados. Neste post vou contar o que são listas incríveis e como fazer seu próprio repositório oficial incrível.
O que são listas incríveis
Quando tenho que descobrir alguma nova tecnologia ou linguagem de programação, a primeira coisa que faço é ir aqui - encontro a seção certa e há folhas adequadas nela. E a julgar pela quantidade de estrelas e pelo seu crescimento constante, não sou só eu quem faz isso.
Na verdade, este é um readme.md plano comum, que fica em um separado , ocupa o 8º lugar entre todos os repositórios GitHub e inclui links para outras planilhas dedicadas a qualquer tópico. Por exemplo, na seção Linguagens de Programação você pode encontrar planilhas sobre Awesome Python e Awesome Go, e o Front-End Development possui uma enorme quantidade de recursos sobre desenvolvimento WEB. E, claro, - seção (Voltaremos a isso um pouco mais tarde). E sim, tudo isso não se limita a temas técnicos. Por exemplo, nas seções Entretenimento e Jogos você também pode encontrar muitas coisas interessantes (fiquei pessoalmente satisfeito ).
A principal característica é que todas essas fichas são mantidas não pelo autor pessoalmente, mas pela comunidade e são compiladas de acordo com um procedimento especial e muito rigoroso. . Cada uma dessas planilhas é uma comunidade independente de especialistas, vive sua própria vida e está aberta às suas solicitações de pull que a tornarão ainda melhor. E também qualquer pessoa pode fazer sua própria planilha caso algum tema ainda não tenha sido abordado.
O autor da ideia e coordenador de todo este empreendimento é o lendário Sindre Sorhus, , autor mais , e é ele quem receberá seus PRs.
Como entrar na lista incrível
Se de repente você não encontrou uma planilha adequada sobre um tema que lhe interessa, então este é o primeiro sinal de que você precisa fazer você mesmo!
Vou te contar usando o exemplo da minha ideia. — De projeto em projeto tenho que trabalhar com vários bancos de dados, por isso criei um arquivo no qual coletei ferramentas úteis para trabalhar com eles, todos os tipos de migradores de banco de dados, IDEs, painéis de administração, ferramentas de monitoramento e todo tipo de coisas diversas. Ferramentas que já usei ou que pretendo começar a usar. Compartilhei este arquivo com colegas do CROC e de outros lugares. Isso ajudou muita gente e foi interessante. Por isso, queria mais fama quando um dia percebi que na seção Bancos de Dados não havia nenhuma planilha sobre esse assunto. E decidi adicionar o meu lá.
O que você precisa?
- Registramos um repositório GitHub regular com um nome como incrível, tanto faz. No meu caso, foram ferramentas de banco de dados incríveis
- Trazemos nossa planilha para um formato incrível, isso vai nos ajudar , que irá gerar todos os arquivos necessários no formato requerido
- Configurando um CI real. e travis ci nos ajudará a controlar nossa planilha
- Esperamos 30 dias
- Analisamos pelo menos 2 relações públicas de outras pessoas
- E finalmente fazemos um PR para o repositório principal, onde adicionamos um link para o nosso repositório. Aqui você precisa ler tudo com atenção e cumprir com atenção todos os inúmeros requisitos da nova planilha e do próprio PR.
Minha primeira panqueca
Mas passou um pouco de tempo, juntei ainda mais material, trabalhei nos erros e ousei .
Mas esqueci de uma coisa muito importante, que me foi gentilmente insinuada:
Não tomei muito cuidado e não adicionei um unicórnio para confirmar que todas as condições foram atendidas
Depois passou um pouco mais de tempo, mais algumas edições baseadas em comentários e o tão esperado que meu PR foi aceito.
Então me tornei autor da minha primeira planilha, e eles começaram a receber da comunidade para adicionar novas ferramentas. E muitos deles já estão incluídos em . Se você está com preguiça de seguir o link,
aqui está a seleção atual no momento da publicação do post
Ferramentas de banco de dados incríveis
Lista de ferramentas de banco de dados dirigida pela comunidade
Aqui iremos coletar informações sobre ferramentas experimentais úteis e incríveis que simplificam com bancos de dados para DBA, DevOps, desenvolvedores e meros mortais.
Sinta-se à vontade para adicionar informações sobre suas próprias ferramentas de banco de dados ou suas ferramentas de banco de dados favoritas de terceiros.
Conteúdo
IDE
- — Ferramenta administrativa multifuncional de primeira linha para gerenciamento, controle e desenvolvimento de banco de dados.
- — Aqua Data Studio é um software de produtividade para desenvolvedores de banco de dados, DBAs e analistas.
- — Ferramenta de gerenciamento de vários bancos de dados com suporte para mais de 20 bancos de dados.
- — IDE multiplataforma para bancos de dados e SQL da JetBrains.
- — Gerenciador de banco de dados universal gratuito e cliente SQL.
- — IDE universal para desenvolvimento, gerenciamento e administração de bancos de dados MySQL e MariaDB.
- — IDE poderoso para gerenciamento, administração e desenvolvimento Oracle.
- — Ferramenta GUI para gerenciamento e desenvolvimento de bancos de dados e objetos.
- — Poderoso ambiente de desenvolvimento integrado para desenvolvimento, gerenciamento, administração, análise de dados e relatórios do SQL Server.
- — Moderno (framework JavaScript/Electron), IDE de código aberto para MongoDB. Possui recursos para suportar desenvolvimento, administração e ajuste de desempenho em bancos de dados MongoDB.
- — Ferramenta GUI abrangente para Firebird e InterBase.
- — Um cliente leve para gerenciamento de MySQL, MSSQL e PostgreSQL, escrito em Delphi.
- — MySQL Workbench é uma ferramenta visual unificada para arquitetos de banco de dados, desenvolvedores e DBAs.
- — Uma ferramenta de desenvolvimento de banco de dados que permite conectar-se simultaneamente a bancos de dados MySQL, MariaDB, SQL Server, Oracle, PostgreSQL e SQLite a partir de um único aplicativo.
- — Oracle SQL Developer é um ambiente de desenvolvimento gratuito e integrado que simplifica o desenvolvimento e o gerenciamento do Oracle Database em implantações tradicionais e em nuvem.
- — A plataforma de administração e desenvolvimento de código aberto mais popular e rica em recursos para PostgreSQL, o banco de dados de código aberto mais avançado do mundo.
- - Suporte de longo prazo para pgAdmin3.
- — IDE voltado especificamente para o desenvolvimento de unidades de programas armazenados para bancos de dados Oracle.
- — Ferramenta completa e poderosa de gerenciamento, administração e desenvolvimento de banco de dados para PostgreSQL.
- — Toad é a principal solução de banco de dados para desenvolvedores, administradores e analistas de dados. Gerencie alterações complexas de banco de dados com uma única ferramenta de gerenciamento de banco de dados.
- — Ferramenta simplificada de desenvolvimento de banco de dados para MySQL e Postgres.
- — TOra é um IDE SQL de código aberto para bancos de dados Oracle, MySQL e PostgreSQL.
- — Crie, administre, consulte e explore bancos de dados Valentina DB, MySQL, MariaDB, PostgreSQL e SQLite GRATUITAMENTE.
Gerentes/clientes da GUI
- — Gerenciamento de banco de dados em um único arquivo PHP.
- — Ferramenta universal de banco de dados para desenvolvedores, DBAs e analistas.
- - Enterprise ClickHouse Ops UI para você executar consultas, monitorar a integridade do ClickHouse e fazer muitos outros pensarem.
- — Acesso SQL direto a todos os seus dados, não importa onde eles estejam.
- — Ferramenta web para gerenciamento de banco de dados.
- — Navegador de banco de dados baseado na Web para PostgreSQL, escrito em Go e funciona em máquinas macOS, Linux e Windows.
- — Ferramenta de administração de banco de dados SQLite baseada na Web escrita em PHP com suporte para SQLite3 e SQLite2.
- — Uma interface web para MySQL e MariaDB.
- — PSequel fornece uma interface limpa e simples para você executar tarefas comuns do PostgreSQL rapidamente.
- — Editor SQL moderno e colaborativo para sua equipe.
- - Um cliente PostgreSQL moderno para Mac.
- — Robo 3T (anteriormente Robomongo) é uma ferramenta de gerenciamento MongoDB multiplataforma centrada em shell.
- — Sequel Pro é um aplicativo de gerenciamento de banco de dados Mac rápido e fácil de usar para trabalhar com bancos de dados MySQL e MariaDB.
- — Uma ferramenta de gerenciamento de dados que permite trabalhar com SQL Server, Azure SQL DB e SQL DW em Windows, macOS e Linux.
- — A interface gráfica suporta todos os recursos do SQLite.
- — Editor SQL baseado na Web executado em sua própria nuvem privada.
- — Um gerenciador Postgres simples e poderoso para macOS.
- — Cliente SQL gráfico escrito em Java que permitirá visualizar a estrutura de um banco de dados compatível com JDBC, navegar pelos dados em tabelas, emitir comandos SQL etc.
- — Gerenciamento de banco de dados para VSCode.
- — A GUI MySQL mais completa e fácil de usar.
- - Editor SQL e inteligência de negócios simples de código aberto para Clickhouse.
- — Ferramenta GUI moderna, nativa e amigável para bancos de dados relacionais: MySQL, PostgreSQL, SQLite e muito mais.
- — GUI de administração da Web PostgreSQL — use seus bancos de dados PostgreSQL de qualquer lugar, com interface web AJAX rica e extremamente rápida.
Ferramentas CLI
- — Conecte-se a um banco de dados para emitir comandos SQL no IPython ou IPython Notebook.
- — Um Cli para Redis com preenchimento automático e realce de sintaxe.
- – Ferramenta de administração de primeira linha para PostgreSQL.
- - Aplicativo top para monitoramento de atividade do servidor PostgreSQL.
- - 'superior' para PostgreSQL.
- —Postgres Pager
- — Oracle SQL Developer Command Line (SQLcl) é uma interface de linha de comando gratuita para Oracle Database.
- — Uma interface de linha de comando universal para PostgreSQL, MySQL, Oracle Database, SQLite3, Microsoft SQL Server, incluindo bancos de dados NoSQL e não relacionais!
DBCLI
- — AthenaCLI é uma ferramenta CLI para o serviço AWS Athena que pode realizar preenchimento automático e realce de sintaxe.
- - CLI para bancos de dados SQLite com preenchimento automático e destaque de sintaxe.
- — Um cliente de linha de comando para SQL Server com preenchimento automático e realce de sintaxe.
- — Um cliente de terminal para MySQL com preenchimento automático e realce de sintaxe.
- - Postgres CLI com preenchimento automático e destaque de sintaxe.
- — Vertica CLI com preenchimento automático e destaque de sintaxe.
Navegação e visualização do esquema de banco de dados
- — Ferramenta rápida e simples para ajudá-lo a desenhar diagramas de relacionamento de banco de dados e fluir rapidamente usando linguagem DSL simples.
- — Ferramenta de geração de Diagramas de Relacionamento entre Entidades.
- — Uma ferramenta gratuita de descoberta e compreensão de esquema de banco de dados.
- — Gerando seu banco de dados para documentação HTML, incluindo diagramas de Entidade-Relacionamento.
- — Ferramenta CI-Friendly para documentar um banco de dados, escrita em Go.
Modeladores
- — Uma ferramenta de design de banco de dados poderosa e econômica que ajuda a construir modelos de dados conceituais, lógicos e físicos de alta qualidade.
- — Oracle SQL Developer Data Modeler é uma ferramenta gráfica gratuita que aumenta a produtividade e simplifica as tarefas de modelagem de dados.
- — Ferramenta de modelagem de dados projetada para PostgreSQL.
Ferramentas de migração
- — Ferramenta de configuração de banco de dados como código que utiliza o conceito de scripts DDL idempotentes.
- - Ferramenta de migração de banco de dados.
- — Migração de esquema online para MySQL.
- — Biblioteca independente de banco de dados para rastrear, gerenciar e aplicar alterações no esquema do banco de dados.
- — Como diff, mas para esquemas PostgreSQL.
- — Gerenciamento de migração de banco de dados Node.js desenvolvido exclusivamente para postgres. (Mas também pode ser usado para outros bancos de dados em conformidade com o padrão SQL - por exemplo, CockroachDB.)
- — Fornece utilitários para descrever um esquema de banco de dados PostgreSQL como YAML.
- — Um operador Kubernetes para gerenciamento de esquema de banco de dados declarativo (gitops para esquemas de banco de dados).
- — Gerenciamento sensato de alterações nativas de banco de dados para desenvolvimento sem estrutura e implantação confiável.
- - Mais uma ferramenta de versionamento e migração de esquema feita com .NET Core 3.0+ nativo e, esperançosamente, melhor.
Ferramentas de geração de código
- — Infere SQL DDL (linguagem de definição de dados) a partir de dados da tabela.
- - Utilitário de linha de comando para exportar o esquema Oracle para um conjunto de scripts de inicialização ddl com capacidade de filtrar informações indesejáveis, separar DDL em arquivos diferentes, saída em formato bonito.
Wrappers
- — Um back-end de API REST de código aberto para aplicativos móveis, web e IoT.
- — APIs GraphQL extremamente rápidas e instantâneas em tempo real no Postgres com controle de acesso refinado, também acionam webhooks em eventos de banco de dados.
- - SQL para fluxos JSON e CSV.
- — Wrapper de dados externos PostgreSQL para MySQL.
- — Um aplicativo Java de nível intermediário, ORDS mapeia verbos HTTP(S) (GET, POST, PUT, DELETE, etc.) para transações de banco de dados e retorna quaisquer resultados formatados usando JSON.
- — Prisma transforma seu banco de dados em uma API GraphQL em tempo real.
- - API REST para qualquer banco de dados Postgres.
- — É uma forma de servir uma API RESTful a partir de qualquer banco de dados escrito em Go.
- — Gerador SQL com APIs Java e HTTP, usa uma API HTTP RESTful simples com serialização XML ou JSON.
- — Converta facilmente seu banco de dados SQL em uma API REST.
- — Gere automaticamente um serviço de API RESTful para seu banco de dados legado.
- — REST avançado e wrapper UI para suas consultas SQL.
Ferramentas de backup
- - Backup e restauração confiável do PostgreSQL.
- — Gerenciador de backup e recuperação para PostgreSQL.
Operação de replicação/dados
- — Uma ferramenta para explorar e publicar dados.
- — Serviço de transferência distribuída de dados para MySQL.
- - Sincronize dados Postgres entre bancos de dados.
- — Sistema de réplica MySQL para PostgreSQL escrito em Python 3. O sistema usa a biblioteca mysql-replication para extrair as imagens de linha do MySQL que são armazenadas no PostgreSQL como JSONB.
- — Um servidor web Golang para transmitir alterações do Postgres pelo menos uma vez em websockets, usando o recurso de decodificação lógica do Postgres.
- — O gerenciador de replicação mais popular para PostgreSQL.
Scripts
- — Uma coleção de pequenos scripts úteis para análise e administração de banco de dados, criados por nossa equipe PostgreSQL Experts.
- — Consultas para medir o inchaço estatístico em índices e tabelas para PostgreSQL.
- — Teste SQL que verifica se seu banco de dados segue as regras de .
- — Utilitários úteis do PostgreSQL.
- — Scripts e comandos SQL úteis por .
- — O conjunto de ferramentas úteis que faltava para DBAs Postgres e todos os engenheiros.
- - Consultas e comandos úteis do PostgreSQL.
- — Esses scripts sqlplus são para otimização e solução de problemas de desempenho do banco de dados Oracle.
Monitoramento/Estatísticas/Desempenho
- — Fornece uma visualização gráfica dos dados do histórico de sessões ativas no banco de dados Oracle e PostgreSQL.
- — Ferramenta de monitoramento MySQL sem agente e econômica.
- — Monitore o desempenho do seu SQL Server no Linux usando collectd, InfluxDB e Grafana.
- — Uma ferramenta de monitoramento de servidor remoto segura, simples e sem agente, repleta de recursos poderosos para tornar seu monitoramento o mais eficaz possível.
- — Plataforma de código aberto para gerenciamento e monitoramento de desempenho de MySQL e MongoDB.
- — Coletor de estatísticas Pganalyze para coletar métricas e dados de log do PostgreSQL.
- — Ferramenta de diagnóstico de nova geração que permite aos usuários fazer uma análise profunda da integridade dos bancos de dados Postgres.
- — Exportador Prometheus para métricas de servidor PostgreSQL.
- — Meça e rastreie todos os aspectos dos seus bancos de dados PostgreSQL.
- — Um painel de desempenho para Postgres — verificações de integridade, índices sugeridos e muito mais.
- — Colete e exiba informações e estatísticas de um servidor PostgreSQL em execução.
- — Uma interface de usuário para Postgres explica planos, além de dicas para melhorar o desempenho.
- — Coleta estatísticas do PostgreSQL e as salva em arquivos CSV ou imprime-as no stdout.
- — Solução de painel/monitoramento de métricas PostgreSQL independente e flexível.
- — Fornece métricas para seu banco de dados postgres.
Zabbix
- — Agente de monitoramento para PostgreSQL.
- — Orabbix é um plugin projetado para funcionar com o Zabbix Enterprise Monitor para fornecer monitoramento em várias camadas, relatórios e medições de desempenho e disponibilidade para bancos de dados Oracle, juntamente com métricas de desempenho do servidor.
- — Este é o modelo de monitoramento Zabbix para banco de dados PostgreSQL.
- — Script Python para monitorar bancos de dados Oracle.
- - ZabbixDBA é um plugin rápido, flexível e em desenvolvimento contínuo para monitorar seu RDBMS.
ensaio
- — Uma estrutura de teste de banco de dados que oferece suporte ao desenvolvimento fácil e orientado a testes do código do seu banco de dados.
- — Teste de regressão em suas consultas SQL.
Gerador de dados
- — É uma estrutura para gerar dados de teste de alto volume realistas e válidos para o sistema em teste (evitando o antipadrão Datalite).
- — Poderosa ferramenta GUI para criar grandes volumes de dados de teste realistas.
- — Ferramenta GUI pequena, mas poderosa, para preencher esquemas Oracle com toneladas de dados de teste realistas.
- — Poderosa ferramenta GUI para geração rápida de dados de teste significativos para bancos de dados.
Áreas de Suporte
- - Um rápido analisador de log PostgreSQL.
- — Gerenciar funções, associações de funções, propriedade de esquema e privilégios de um cluster Postgres.
- — Particionamento do Postgres tão fácil quanto uma torta.
HA/Failover/Fragmentação
- — Extensão Postgres que distribui seus dados e consultas em vários nós.
- — Um modelo para alta disponibilidade do PostgreSQL com ZooKeeper, etcd ou Consul.
- — Uma solução de alta escalabilidade para clustering MySQL e alta disponibilidade.
- — Gerenciador PostgreSQL nativo da nuvem para alta disponibilidade do PostgreSQL.
- — Extensão e serviço Postgres para failover automatizado e alta disponibilidade.
- — Monitoramento de replicação PostgreSQL e daemon de failover.
- — Alta disponibilidade para Postgres, com base nas referências do setor Pacemaker e Corosync.
- — Cluster de alta disponibilidade PostgreSQL (baseado em "Patroni" e "DCS(etcd)"). Automatizando a implantação com Ansible.
- — Sistema de clustering de banco de dados para escalonamento horizontal do MySQL por meio de fragmentação generalizada.
Kubernetes
- — Facilitando a execução de bancos de dados de nível de produção no Kubernetes.
- — O Operador Postgres permite clusters PostgreSQL altamente disponíveis em Kubernetes (K8s) desenvolvidos pela Patroni.
- - Clusters HA PostgreSQL com Docker.
- — Full Stack PostgreSQL de nível empresarial no Kubernetes.
Ajuste de configuração
- — Script escrito em Perl que permite revisar rapidamente uma instalação do MySQL e fazer ajustes para aumentar o desempenho e a estabilidade.
- — Ferramenta online gratuita para gerar um otimizado
postgresql.conf. - — Assistente de configuração do PostgreSQL.
- — Script simples para analisar a configuração do seu banco de dados PostgreSQL e fornecer conselhos de ajuste.
DevOps
- — O DBmaestro acelera os ciclos de lançamento e oferece agilidade em todo o ecossistema de TI.
- — O Toad DevOps Toolkit executa funções importantes de desenvolvimento de banco de dados dentro do seu fluxo de trabalho DevOps — sem comprometer a qualidade, o desempenho ou a confiabilidade.
Amostras de esquema
- - Esquemas de amostra do banco de dados Oracle.
Relatórios
- — Um aplicativo de relatórios SQL fácil de usar, desenvolvido para amantes de SQL.
Distribuições
- — Ferramenta que implanta facilmente servidores de banco de dados MySQL.
- - Módulo PowerShell que você pode considerar como um SQL Server Management Studio de linha de comando.
- — Instalação completa do PostgreSQL empacotada como um aplicativo Mac padrão.
- — Uma distribuição do Postgres amigável ao desenvolvedor.
- — Front-end de gerenciamento PostgreSQL baseado na Web que reúne vários utilitários e aplicativos para uso com PostgreSQL.
Segurança
- — Conjunto de segurança de banco de dados. Proxy de banco de dados com criptografia em nível de campo, pesquisa em dados criptografados, prevenção de injeções SQL, detecção de intrusões, honeypots. Suporta criptografia do lado do cliente e do lado do proxy ("transparente"). SQL, NoSQL.
Formatadores de código
- — Impressão bonita independente de linguagem por meio de aprendizado de máquina.
Contribuindo
- Suas contribuições são sempre bem-vindas! Por favor leia o em primeiro lugar.
Se você tiver alguma descoberta para o banco de dados, compartilhe. Também ficarei feliz em receber feedback - relações públicas e estrelas. Se você tiver alguma dúvida sobre como criar suas próprias planilhas, escreva-as também.
Fonte: habr.com