Blog da GizmoData

O GizmoData Cloud está disponível para todos. É o GizmoSQL totalmente gerenciado: clusters Arrow Flight SQL com DuckDB, catálogos DuckLake e consultas federadas na AWS, no Google Cloud e no Azure, em um único plano de controle. Cadastre-se em app.gizmodata.com. Os primeiros 20 cadastros com nosso código de lançamento recebem US$ 25 em crédito, sem cartão de crédito.

Ninguém executou uma consulta desde sexta-feira, mas na segunda-feira de manhã o servidor GizmoSQL está com 80% da memória ocupada. As consultas foram embora; as conexões ficaram. O autor convidado Emmanuel Sibanda explica as duas opções que resolvem isso: --max-sessions limita o número de sessões, e --session-idle-timeout encerra as ociosas, com um relógio reiniciado apenas por SQL real do usuário, incluindo a transmissão de resultados.

Escalar computação sem estado é fácil. O desafio da análise de dados é escalar nós independentes que precisam dos mesmos dados mutáveis. Com o catálogo transacional no DuckLake e os arquivos Parquet em armazenamento de objetos, um cluster GizmoSQL pode crescer de um para cinco nós e voltar, sem copiar dados, reconstruir metadados ou reconciliar estado. O consultor estratégico Chris Wones explica por que o catálogo simplifica esse escalonamento.

Artigo convidado do grupo de pesquisa Daisy, da Universidade de Aalborg. O Seagull apresenta 18,7 bilhões de registros AIS de 126.400 navios em camadas de mapa ao vivo, com cada bloco vetorial calculado sob demanda pelo DuckDB. O PostgreSQL exigia muitas tabelas pré-agregadas; o DuckDB era rápido, mas permitia um único processo de gravação. O GizmoSQL o transformou em um banco centralizado, compartilhado por Airflow, MapLibre Martin e pela aplicação web via Arrow Flight SQL.

Executamos nosso benchmark TPC-H de 1 TB e 22 consultas em uma das primeiras instâncias AWS Graviton5, uma r9gd.24xlarge: 80,5 segundos por US$ 0,17 de computação. Na mesma tarde, com o mesmo DuckDB, uma Graviton4 r8gd.24xlarge levou 89,8 segundos e uma Azure Cobalt 100 E96pds_v6 levou 106,8. O Graviton5 foi 10% mais rápido que o Graviton4 e 25% mais rápido que o Cobalt 100, vencendo nas 22 consultas. Veja a metodologia completa e os tempos de cada consulta nas três execuções.

Lançamos um servidor MCP e uma extensão Claude Desktop para o GizmoSQL. Claude Desktop, Claude Code e qualquer cliente Model Context Protocol podem explorar seu esquema e executar SQL em um servidor GizmoSQL, com acesso somente de leitura por padrão, limites de linhas e de tempo impostos pelo servidor e credenciais que permanecem na sua máquina.

Criamos drivers ADBC em Go puro, instaláveis por pip, para Oracle (sem Instant Client), IBM Db2 (sem CLI/JCC) e Quack do DuckDB, ao lado do nosso principal driver GizmoSQL. Como todos são nativos Arrow, mover uma tabela de Oracle ou Db2 para GizmoSQL exige poucas linhas de Python ou uma instrução SQL no DuckDB, nas duas direções.

O GizmoSQL v1.37.0 deixou de converter manualmente cada célula Arrow ao entrar no DuckDB e passou a transmitir o lote inteiro pelo arrow_scan do próprio DuckDB: cargas em massa 7,2 vezes mais rápidas, decimais exatos e colunas de geometria que finalmente chegam como GEOMETRY. Veja a análise do commit e um repositório executável para reproduzir os resultados.

O driver ADBC do GizmoSQL foi refeito do zero em Go, com uma camada Python fina que mantém a compatibilidade com a versão 1.x. Um único driver nativo agora oferece OAuth/SSO, detecção automática de DDL/DML e os demais recursos do GizmoSQL em Python, Go, R, Rust, C#, C/C++ e JavaScript.

A DuckDB Labs anunciou o Quack, um protocolo cliente-servidor nativo para DuckDB. Agradecemos à equipe pelo reconhecimento e analisamos o lugar do GizmoSQL em um mundo com vários protocolos de servidor DuckDB.

Uma análise inspirada em Matrix sobre como construir uma arquitetura pronta para agentes de IA com GizmoSQL, DuckDB e Claude. O projeto simula um milhão de pessoas, altera seus dados com agentes automatizados e monitora anomalias com uma IA autônoma, tudo pelo Arrow Flight SQL.

Uma análise do GizmoSQL: um pequeno servidor que executa DuckDB envolvido pelo protocolo Arrow Flight SQL, permitindo usá-lo remotamente. Publicado originalmente no HackerNoon.

Anunciamos o GizmoSQL Kubernetes Operator, uma ferramenta para reduzir o custo operacional de consultas SQL em larga escala, com economia relatada de 90% em relação a mecanismos de dados concorrentes na nuvem.

O novo driver Python ADBC Flight SQL 1.10.0 traz ingestão em massa para servidores Arrow Flight SQL como o GizmoSQL. Carregue milhões de linhas diretamente de Python ou DuckDB, com inferência automática de esquema.

O que acontece quando um mecanismo SQL distribuído recebe um conjunto de um trilhão de linhas? O GizmoEdge superou o desafio da Coiled com um cluster de 1.000 workers no Azure.

O GizmoSQL concluiu o desafio de 1 trilhão de linhas! Saiba como processamos conjuntos de dados enormes usando DuckDB e Apache Arrow Flight SQL.

O adbc-replicate é nossa nova ferramenta de código aberto para copiar esquemas inteiros do Snowflake, Oracle, PostgreSQL ou DuckDB para o GizmoSQL. Os dados fluem como Arrow de ponta a ponta, as máscaras são aplicadas na origem e cada execução copia somente o que mudou. Dois clientes — um com Snowflake e outro com Oracle — executam a ferramenta a cada hora para o GizmoData Cloud, e seus agentes de IA consultam a cópia via MCP durante todo o dia sem tocar na origem.

Colocamos seis clusters GizmoSQL de 64 vCPUs para competir na AWS, no Google Cloud e no Azure com 1 TB de TPC-H, em NVMe local e no DuckLake, usando DuckDB 1.5.6 e a versão alpha do DuckDB 2.0. O AWS Graviton5 fez a volta mais rápida (79 segundos para as 22 consultas, por US$ 0,30), o Google Cloud levou quatro das seis medalhas de ouro e o DuckDB 2.0 superou a versão 1.5.6 em todas as categorias. Foram 12 resultados e 792 execuções, todas com custo registrado, em 38 minutos e por cerca de US$ 37 no GizmoData Cloud.