Mempercepat pengembangan aplikasi ML: Integrasi Airflow siap produksi dengan alat AI yang penting

AI generatif dan pembelajaran mesin operasional memainkan peran penting dalam lanskap data modern dengan memungkinkan organisasi memanfaatkan data mereka untuk mendukung produk baru dan meningkatkan kepuasan pelanggan. Teknologi ini digunakan untuk asisten virtual, sistem rekomendasi, pembuatan konten, dan banyak lagi. Mereka membantu organisasi membangun keunggulan kompetitif melalui pengambilan keputusan berdasarkan data, otomatisasi, peningkatan proses bisnis, dan pengalaman pelanggan.

Apache Airflow adalah inti dari operasi ML banyak tim, dan dengan integrasi baru untuk Model Bahasa Besar (LLM), Airflow memungkinkan tim ini membangun aplikasi berkualitas produksi dengan kemajuan terbaru dalam ML dan AI.
Menyederhanakan Pengembangan ML

Seringkali, model pembelajaran mesin dan analisis prediktif dibuat secara terpisah, jauh dari sistem produksi dan aplikasi. Organisasi menghadapi tantangan terus-menerus untuk mengubah buku catatan ilmuwan data menjadi aplikasi siap produksi dengan stabilitas, penskalaan, kepatuhan, dll.

Namun, organisasi yang melakukan standarisasi pada satu platform untuk mengatur alur kerja DataOps dan MLOps mereka mampu mengurangi tidak hanya hambatan dalam pengembangan end-to-end tetapi juga biaya infrastruktur dan penyebaran TI. Meskipun mungkin tampak berlawanan dengan intuisi, tim-tim ini juga mendapat manfaat dari lebih banyak pilihan. Ketika platform orkestrasi terpusat, seperti Apache Airflow, bersifat open-source dan mencakup integrasi ke hampir semua alat dan platform data, tim data dan ML dapat memilih alat yang paling sesuai dengan kebutuhan mereka sambil menikmati manfaat standardisasi, tata kelola, dan pemecahan masalah yang disederhanakan. , dan dapat digunakan kembali.

Apache Airflow dan Astro (platform orkestrasi Airflow yang dikelola sepenuhnya oleh Astronom) adalah tempat bertemunya teknisi data dan teknisi ML untuk menciptakan nilai bisnis dari operasional ML. Dengan banyaknya pipeline rekayasa data yang berjalan di Airflow setiap hari di setiap industri dan sektor, ini adalah tulang punggung operasi data modern, dan tim ML dapat mendukung fondasi ini tidak hanya untuk inferensi model tetapi juga pelatihan, evaluasi, dan pemantauan. .
Mengoptimalkan Aliran Udara untuk Peningkatan Aplikasi ML

Ketika organisasi terus menemukan cara untuk memanfaatkan model bahasa besar, Airflow semakin menjadi yang terdepan dalam operasionalisasi hal-hal seperti pemrosesan data tidak terstruktur, Retrieval Augmented Generation (RAG), pemrosesan umpan balik, dan penyempurnaan model dasar. Untuk mendukung kasus penggunaan baru ini dan memberikan titik awal bagi pengguna Airflow, Astronomer telah bekerja sama dengan Komunitas Airflow untuk membuat Ask Astro—sebagai implementasi referensi publik RAG dengan Airflow untuk AI percakapan.

Secara lebih luas, Astronomer telah memimpin pengembangan integrasi baru dengan database vektor dan penyedia LLM untuk mendukung aplikasi generasi baru ini dan saluran yang diperlukan untuk menjaganya tetap aman, segar, dan mudah dikelola.
Terhubung ke Layanan LLM dan Database Vektor yang Paling Banyak Digunakan

Apache Airflow, dikombinasikan dengan beberapa database vektor yang paling banyak digunakan (Weaviate, Pinecone, OpenSearch, pgvector) dan penyedia pemrosesan bahasa alami (NLP) (OpenAI, Cohere), menawarkan ekstensibilitas melalui pengembangan sumber terbuka terkini. Bersama-sama, keduanya memungkinkan pengalaman kelas satu dalam pengembangan RAG untuk aplikasi seperti AI percakapan, chatbots, analisis penipuan, dan banyak lagi.

OpenAI

OpenAI adalah perusahaan penelitian dan penerapan AI yang menyediakan API untuk mengakses model canggih seperti GPT-4 dan DALL·E 3. Penyedia OpenAI Airflow menawarkan modul untuk mengintegrasikan OpenAI dengan Airflow dengan mudah. Pengguna dapat membuat penyematan untuk data, sebuah langkah dasar dalam NLP dengan aplikasi yang didukung LLM.

Lihat tutorial → Atur operasi OpenAI dengan Apache Airflow

Berpadu

Cohere adalah platform NLP yang menyediakan API untuk mengakses LLM mutakhir. Penyedia Cohere Airflow menawarkan modul untuk mengintegrasikan Cohere dengan Airflow dengan mudah. Pengguna dapat memanfaatkan LLM yang berfokus pada perusahaan ini untuk dengan mudah membuat aplikasi NLP menggunakan data mereka sendiri.

Lihat tutorial → Atur Cohere LLM dengan Apache Airflow

lemah

Weaviate adalah database vektor sumber terbuka, yang menyimpan penyematan objek berdimensi tinggi seperti teks, gambar, audio, atau video. Penyedia Weaviate Airflow menawarkan modul untuk mengintegrasikan Weaviate dengan Airflow dengan mudah. Pengguna dapat memproses penyematan vektor berdimensi tinggi menggunakan database vektor sumber terbuka, yang menyediakan serangkaian fitur yang kaya, skalabilitas yang luar biasa, dan keandalan.

Lihat tutorial → Atur operasi Weaviate dengan Apache Airflow

vektor pg

pgvector adalah ekstensi sumber terbuka untuk database PostgreSQL yang menambahkan kemampuan untuk menyimpan dan menanyakan penyematan objek berdimensi tinggi. Penyedia pgvector Airflow menawarkan modul untuk mengintegrasikan pgvector dengan Airflow dengan mudah. Pengguna dapat membuka fungsionalitas canggih untuk bekerja dengan vektor dalam ruang berdimensi tinggi dengan ekstensi sumber terbuka ini untuk database PostgreSQL mereka.