McKinsey menyumbangkan alat pipa pembelajaran mesin Kedro ke Linux Foundation

Biarkan buletin OSS Enterprise memandu perjalanan sumber terbuka Anda! Daftar .

Linux Foundation, konsorsium nirlaba yang menyediakan hub vendor-netral untuk proyek sumber terbuka. hari ini mengumumkan bahwa McKinsey’s QuantumBlack akan menyumbangkan Kedro, alat saluran pembelajaran mesin, ke komunitas sumber terbuka. Linux Foundation akan mengelola Kedro di bawah Linux Foundation AI & Data (LF AI & Data), sebuah organisasi payung yang didirikan pada tahun 2018 untuk meningkatkan inovasi dalam AI dengan mendukung proyek teknis, komunitas pengembang, dan perusahaan.

“Kami sangat senang menyambut proyek Kedro ke dalam LF AI & Data. Ini menjawab banyak tantangan yang ada dalam menciptakan produk pembelajaran mesin saat ini dan ini merupakan pelengkap yang fantastis untuk portofolio proyek teknis yang kami selenggarakan,” Ibrahim Haddad, direktur eksekutif LF AI & Data, mengatakan. “Kami berharap dapat bekerja sama dengan komunitas untuk menumbuhkan jejak proyek dan menciptakan peluang kolaborasi baru dengan anggota kami, proyek yang dihosting, dan komunitas sumber terbuka yang lebih besar.”

Pentingnya jaringan pipa

Pipeline pembelajaran mesin adalah konstruksi yang mengatur aliran data ke — dan dari — model pembelajaran mesin. Pipeline mencakup data mentah, pemrosesan data, prediksi, dan variabel yang menyempurnakan perilaku model dengan tujuan mengkodifikasi alur kerja sehingga dapat dibagikan ke seluruh organisasi.

Ada banyak alat pembuatan saluran pembelajaran mesin, tetapi Kedro relatif baru di dunia. Diluncurkan pada tahun 2019 oleh McKinsey, ini adalah kerangka kerja yang ditulis dengan Python yang meminjam konsep dari rekayasa perangkat lunak dan membawanya ke dunia ilmu data, meletakkan dasar untuk mengambil proyek dari ide menjadi produk jadi.

Menurut Yetunde Dada, pemimpin produk di Kedro, Kedro dikembangkan untuk mengatasi kekurangan utama dari skrip satu kali dan “kode lem” dengan berfokus pada pembuatan kode ilmu data yang dapat dipelihara dan efisien. Dengan membangun modularitas, salah satu tujuannya adalah untuk menginspirasi pembuatan kode analitik yang dapat digunakan kembali dan meningkatkan kolaborasi tim.

Dalam dua setengah tahun Kedro telah telah tersedia di GitHub, komunitas dan basis pengguna telah berkembang menjadi lebih dari 200.000 unduhan bulanan dan lebih dari 100 kontributor. Telkomsel, penyedia jaringan nirkabel terbesar di Indonesia, menggunakan Kedro sebagai standar di seluruh organisasi ilmu datanya.

“Ini satu-satunya cara dapat tumbuh pada titik ini – jika ditingkatkan oleh orang-orang terbaik di seluruh dunia,” kata Dada dalam sebuah pernyataan. “Tim lintas disiplin kami yang terdiri dari 15 orang mendapatkan peningkatan pengembangan dan validasi Kedro dengan tonggak sejarah ini. Ini juga merupakan tanda validasi yang signifikan untuk Kedro sebagai alat industri de-facto, bergabung dengan kumpulan proyek sumber terbuka mutakhir lainnya seperti Kubernetes yang disumbangkan oleh Google, GraphQL oleh Facebook atau MLFlow dan Delta Lake oleh Databricks.”

Penggunaan di masa mendatang

Perangkat lunak open source telah ada di mana-mana di perusahaan, di mana sekarang digunakan bahkan dalam pengaturan mission-critical. Sementara integritas perangkat lunak dipertanyakan — terutama mengingat kejadian baru-baru ini — tujuh puluh sembilan persen perusahaan berharap bahwa penggunaan perangkat lunak sumber terbuka mereka untuk teknologi baru akan meningkat selama dua tahun ke depan, menurut survei Red Hat tahun 2021.

Menurut Schwarzmann, setelah open-source, Kedro akan terus menjadi fondasi proyek analitik di McKinsey. “Ide dan pagar pembatas yang ada di Kedro adalah cerminan dari pengalaman itu dan dirancang untuk membantu pengembang menghindari jebakan umum dan mengikuti praktik terbaik,” kata manajer produk Joel Schwarzmann dalam sebuah posting blog.

Seorang juru bicara menambahkan melalui email: “Kedro akan fokus untuk mengejar API yang stabil, atau versi 1.0, integrasi formal dengan alat pengembang dan platform cloud dan terus bekerja pada fungsi pelacakan eksperimen kami. Kami ingin pengguna kami juga memiliki kepastian bahwa mudah untuk meningkatkan versi Kedro dan mendapatkan manfaat dari fitur-fitur baru. Saat ini, Kedro mendukung integrasi dasar dengan penyedia cloud yang berbeda, dan kami ingin bekerja dengan penyedia cloud untuk membuat integrasi yang mulus. Pelacakan eksperimen, cara bagi ilmuwan data untuk melacak eksperimen ilmu data, telah membuka jalan bagi pengguna untuk menemukan dan mempromosikan model produksi. Kami akan memperluas fungsionalitas ini dengan lebih banyak fitur sesuai dengan masalah pengguna.”

Kedro bergabung dengan alat saluran pipa sumber terbuka lainnya yang dirilis oleh Microsoft pada bulan November: SynapseML. Dengan SynapseML, seperti halnya Kedro, pengembang dapat membangun sistem untuk memecahkan tantangan di seluruh domain termasuk analisis teks, terjemahan, dan pemrosesan ucapan.

VentureBeat

Misi VentureBeat adalah menjadi alun-alun kota digital bagi para pengambil keputusan teknis untuk mendapatkan pengetahuan tentang teknologi dan transaksi transformatif. Situs kami memberikan informasi penting tentang teknologi data dan strategi untuk memandu Anda saat Anda memimpin organisasi Anda. Kami mengundang Anda untuk menjadi anggota komunitas kami, untuk mengakses:

informasi terkini tentang topik yang Anda minati

buletin kami

konten pemimpin pemikiran yang terjaga keamanannya dan akses diskon ke acara berharga kami, seperti Transformasi 2021: Pelajari Lebih Lanjut

fitur jaringan, dan banyak lagi

Menjadi anggota