Ja fa més de 3 anys que vam presentar l’arquitectura utilitzada a Coopdevs per a donar servei de Business Intelligence a l’Economia Social i Solidària (https://odoo.coopdevs.coop/blog/el-blog-de-coopdevs-1/business-intelligence-per-a-leconomia-social-i-solidaria-12 ). Durant aquests 3 anys hem anat fent millores a l’arquitectura, tant per actualitzar versions, com per afegir noves funcionalitats, com per millorar el rendiment, com per flexibilitzar i facilitar el desplegament afegint noves variables. Utilitzant, com sempre, eines de programari lliure.
En aquest post us fem un resum de les principals novetats:
BI All in one
Pensat per a integrar aplicacions en Django a l’ecosistema de Business Intelligence. Les seves funcionalitats principals són la creació de formularis complexos i flexibles per a la introducció de dades (ex. projecte OVIM), la creació de gràfics personalitzats a partir de les dades dels formularis o la integració en una sola plataforma dels dashboards de Superset i analítica web amb plausible.
Nocodb
Integració de l’eina Nocodb (https://nocodb.com/) per a la creació de formularis àgils i senzills per a la introducció de dades que posteriorment seran llegides pel sistema de Business Intelligence. Permet tant la creació de formularis públics com privats
Deploy React
Pensat per a pàgines web fetes amb React (vegeu post: https://coopdevs.coop/blog/el-blog-de-coopdevs-1/business-intelligence-nou-servei-de-grafics-web-personalitzables-48 ) que permeten la creació de gràfics personalitzats i de pàgines d'StoryTelling.
Integració amb Duckdb
Integrem la base de dades Duckdb (https://duckdb.org/ tant a Airflow com a Superset.
Duckdb és una base de dades analítica que té motor propi, però que també pot llegir de fitxers parquet i de PostgreSQL. Duckdb ens permet crear consultes agregades de taules amb diversos cententars de milions de files amb un rendiment molt millor que si les tenim directament en PostgreSQL.
Integrem també a través de FDW (https://github.com/adjust/parquet_fdw ) la lectura de fitxers parquet.
Amb aquest component de FDW podem llegir tant fitxers parquet des de PostgreSQL com directament des de superset a través de duckdb.
Integració Superset – Keycloak
Integrem el SSO Keycloak amb Superset per a tenir només una entrada de login. Tota la gestió d’usuaris es traspassa al Keycloak.
Totes aquestes funcionalitats estan integrades al nostre provisionador amb Ansible, que, com sempre, podeu trobar el codi al nostre Gitlab (https://git.coopdevs.org/coopdevs/bi/bi-provisioning).