#153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten

Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes mit Data Science Deep Dive.Im Engineering Kiosk Adventskalender 2024 sprechen befreundete Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz & knackig innerhalb von wenigen Minuten über ein interessantes Tech-Thema.Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partnersDas schnelle Feedback zur Episode:👍 (top) 👎 (geht so)LinksData Science Deep Dive Podcast: https://inwt.podbean.com/In Numbers We Trust: https://www.inwt-statistics.de/Kubernetes: https://kubernetes.io/Hugging Face: https://huggingface.co/Databricks: https://www.databricks.com/deTabby: https://github.com/TabbyML/tabbyGradio: https://www.gradio.app/Ollama: https://ollama.com/vLLM: https://github.com/vllm-project/vllmNVIDIA device plugin for Kubernetes: https://github.com/NVIDIA/k8s-device-plugin#quick-startSprungmarken(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes?HostsWolfgang Gassler (https://mastodon.social/@woolf)Andy Grunwald (https://andygrunwald.com/)FeedbackEngKiosk Community: https://engineeringkiosk.dev/join-discord Buy us a coffee: https://engineeringkiosk.dev/kaffeeEmail: [email protected]: https://www.linkedin.com/company/engineering-kiosk/Mastodon: https://podcasts.social/@engkioskBluesky: https://bsky.app/profile/engineeringkiosk.bsky.socialTwitter: https://twitter.com/EngKiosk