Artigo de convidado: este artigo foi publicado originalmente no HackerNoon por Shawn Gordon e é republicado aqui com a autorização do autor.
Eu havia explorado a pergunta "Afinal, o que é dbc?", o que levou a uma conversa com Philip Moore, ex-integrante da Voltron Data. Moore fundou a GizmoData, onde trabalha em projetos como GizmoEdge e GizmoSQL. Este artigo explica o que o GizmoSQL faz, por que ele é interessante e suas aplicações práticas.
Contexto
O GizmoSQL é um mecanismo de banco de dados SQL de código aberto baseado em DuckDB e Apache Arrow Flight SQL. O DuckDB é "um mecanismo de banco analítico de código aberto, executado dentro do processo e projetado para cargas OLAP", que executa consultas diretamente nas aplicações sem exigir servidores separados.
O Apache Arrow Flight SQL é "um protocolo sobre Arrow Flight RPC que permite a clientes executar consultas SQL padrão em servidores de banco remotos", transmitindo os resultados no eficiente formato colunar Arrow. O ecossistema Apache Arrow oferece uma plataforma de análise em memória para várias linguagens, com formato colunar padronizado que permite leituras sem cópia e compartilhamento eficiente de dados entre sistemas.
O que é GizmoSQL?
Em essência, o GizmoSQL é um pequeno servidor que executa DuckDB envolvido pelo protocolo Arrow Flight SQL, permitindo usá-lo remotamente. Enquanto o DuckDB lida com bilhões de linhas em um notebook, sua execução em VMs na nuvem com recursos computacionais maiores permite processar trilhões de linhas.
Segundo a GizmoData, eles concluíram o desafio de um trilhão de linhas em 2 minutos, por apenas 9 centavos de dólar!
Explorando na prática
Uma demonstração gratuita oferece o conjunto de dados TPC-H com consultas prontas. A interface mostra o histórico de consultas com seus tempos de execução, e clicar em uma consulta do histórico a recarrega sem precisar copiar e colar.
No teste da tabela de clientes de 1,5 milhão de linhas, uma consulta contando registros em que c_nationkey é igual a 15 retornou 60.000 resultados em 154 milissegundos.
A consulta 22 (Global Sales Opportunity) executou em menos de um segundo, com bastante processamento.
A consulta 2 terminou em aproximadamente meio segundo.
Resumo
A GizmoData combinou tecnologias existentes com inovação para criar um produto simples, com velocidade e usabilidade excepcionais. O serviço oferece suporte a todas as principais plataformas de nuvem, incluindo OCI. Embora semelhante ao MotherDuck, diferencia-se pela integração com Arrow Flight SQL. A plataforma oferece integrações e adaptadores para ampliar sua funcionalidade.
Vejo grande potencial dessa solução no trabalho, especialmente para acelerar operações de banco que antes levavam muito tempo.
Este artigo foi publicado originalmente no HackerNoon por Shawn Gordon e é republicado aqui com autorização.