course/pr_1069/fr/_app/immutable/nodes/41.e8100b77.js

import{s as Je,n as Le,o as Re}from"../chunks/scheduler.37c15a92.js";import{S as Ge,i as Ie,g as B,s as a,r as u,A as De,h as F,f as s,c as r,j as Te,u as i,x as we,k as Pe,y as Qe,a as n,v as l,d as o,t as p,w as d}from"../chunks/index.2bf4358c.js";import{C as Me}from"../chunks/CodeBlock.4e987730.js";import{C as Ee}from"../chunks/CourseFloatingBanner.6add7356.js";import{Q as c}from"../chunks/Question.668688bc.js";import{H as m,E as He}from"../chunks/getInferenceSnippets.24b50994.js";function Ze(ze){let $,Y,N,X,f,V,g,W,h,Ce="Ce chapitre a couvert beaucoup de terrain ! Ne vous inquiétez pas si vous n’avez pas saisi tous les détails, les chapitres suivants vous aideront à comprendre comment les choses fonctionnent sous le capot.",A,q,Ue="Avant de poursuivre, testons ce que vous avez appris dans ce chapitre.",O,v,K,x,ee,j,te,b,se,y,_e="Laquelle des commandes suivantes produira un échantillon aléatoire de 50 éléments à partir de <code>dataset</code> ?",ne,w,ae,z,re,C,ue,U,ie,_,le,T,oe,P,pe,M,de,J,me,L,ce,R,$e,G,fe,I,ge,D,he,Q,qe,E,ve,H,xe,Z,je,k,be,S,ye;return f=new m({props:{title:"Quiz de fin de chapitre",local:"quiz-de-fin-de-chapitre",headingTag:"h1"}}),g=new Ee({props:{chapter:5,classNames:"absolute z-10 right-0 top-0"}}),v=new m({props:{title:"1. La fonction load_dataset() dans 🤗 Datasets vous permet de charger un jeu de données depuis lequel des emplacements suivants ?",local:"1-la-fonction-loaddataset-dans--datasets-vous-permet-de-charger-un-jeu-de-données-depuis-lequel-des-emplacements-suivants-",headingTag:"h3"}}),x=new c({props:{choices:[{text:"Localement, par exemple depuis son ordinateur portable.",explain:"Vous pouvez passer les chemins des fichiers locaux à l'argument <code>data_files</code> de <code>load_dataset()</code> pour charger les jeux de données locaux.",correct:!0},{text:"Le <i>Hub</i> d’Hugging Face.",explain:"Vous pouvez charger des jeux de données sur le <i>Hub</i>  en fournissant l'ID du jeu de données. Par exemple : <code>load_dataset('emotion')</code>.",correct:!0},{text:"Un serveur distant.",explain:"Vous pouvez passer des URLs à l'argument <code>data_files</code> de <code>load_dataset()</code> pour charger des fichiers distants.",correct:!0}]}}),j=new m({props:{title:"2. Supposons que vous chargiez l’une des tâches du jeu de données GLUE comme suit :",local:"2-supposons-que-vous-chargiez-lune-des-tâches-du-jeu-de-données-glue-comme-suit-",headingTag:"h3"}}),b=new Me({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJnbHVlJTIyJTJDJTIwJTIybXJwYyUyMiUyQyUyMHNwbGl0JTNEJTIydHJhaW4lMjIp",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

dataset = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)`,wrap:!1}}),w=new c({props:{choices:[{text:"<code>dataset.sample(50)</code>",explain:"Il n'y a pas de méthode <code>Dataset.sample()</code>."},{text:"<code>dataset.shuffle().select(range(50))</code>",explain:"Comme vous l'avez vu dans ce chapitre, vous mélangez d'abord le jeu de données puis sélectionnez les échantillons à partir de celui-ci.",correct:!0},{text:"<code>dataset.select(range(50)).shuffle()</code>",explain:"Bien que le code s'exécute, il ne mélange que les 50 premiers éléments du jeu de données."}]}}),z=new m({props:{title:"3. Supposons que vous disposiez d’un jeu de données sur les animaux domestiques appelé pets_dataset qui comporte une colonne name indiquant le nom de chaque animal. Parmi les approches suivantes, laquelle vous permettrait de filtrer le jeu de données pour tous les animaux dont le nom commence par la lettre « L » ?",local:"3-supposons-que-vous-disposiez-dun-jeu-de-données-sur-les-animaux-domestiques-appelé-petsdataset-qui-comporte-une-colonne-name-indiquant-le-nom-de-chaque-animal-parmi-les-approches-suivantes-laquelle-vous-permettrait-de-filtrer-le-jeu-de-données-pour-tous-les-animaux-dont-le-nom-commence-par-la-lettre--l--",headingTag:"h3"}}),C=new c({props:{choices:[{text:"<code>pets_dataset.filter(lambda x : x['name'].startswith('L'))</code>",explain:"L'utilisation d'une fonction Python lambda pour ces filtres rapides est une excellente idée. Pouvez-vous penser à une autre solution ?",correct:!0},{text:"<code>pets_dataset.filter(lambda x['name'].startswith('L'))</code>",explain:"Une fonction lambda prend la forme générale <code>lambda *arguments* : *expression*</code>, vous devez donc fournir des arguments dans ce cas."},{text:"Créer une fonction comme <code>def filter_names(x): return x['name'].startswith('L')</code> et exécuter <code>pets_dataset.filter(filter_names)</code>.",explain:"Tout comme avec <code>Dataset.map()</code>, vous pouvez passer des fonctions explicites à <code>Dataset.filter()</code>. Ceci est utile lorsque vous avez une logique complexe qui ne convient pas à une fonction lambda courte. Parmi les autres solutions, laquelle fonctionnerait ?",correct:!0}]}}),U=new m({props:{title:"4. Qu’est-ce que le memory mapping ?",local:"4-quest-ce-que-le-memory-mapping-",headingTag:"h3"}}),_=new c({props:{choices:[{text:"Un <i>mapping</i> entre la RAM CPU et GPU.",explain:"Ce n'est pas ça, réessayez !"},{text:"Un <i>mapping</i> entre la RAM et le stockage du système de fichiers.",explain:"🤗 <i>Datasets</i> traite chaque jeu de données comme un fichier mappé en mémoire. Cela permet à la bibliothèque d'accéder et d'opérer sur des éléments du jeu de données sans avoir à le charger complètement en mémoire.",correct:!0},{text:"Un <i>mapping</i> entre deux fichiers dans le cache 🤗 <i>Datasets</i>.",explain:"Ce n'est pas ça, réessayez !"}]}}),T=new m({props:{title:"5. Parmi les éléments suivants, lesquels sont les principaux avantages du memory mapping ?",local:"5-parmi-les-éléments-suivants-lesquels-sont-les-principaux-avantages-du-memory-mapping-",headingTag:"h3"}}),P=new c({props:{choices:[{text:"L'accès aux fichiers mappés en mémoire est plus rapide que la lecture ou l'écriture sur le disque.",explain:"Cela permet à 🤗 <i>Datasets</i> d'être extrêmement rapide. Ce n'est cependant pas le seul avantage.",correct:!0},{text:"Les applications peuvent accéder à des segments de données dans un fichier extrêmement volumineux sans avoir à lire tout le fichier dans la RAM au préalable.",explain:"Cela permet à 🤗 <i>Datasets</i> de charger des jeux de données de plusieurs Go sur votre ordinateur portable sans faire exploser votre CPU. Quel autre avantage cette technique offre-t-elle ?",correct:!0},{text:"Cela consomme moins d'énergie, donc votre batterie dure plus longtemps.",explain:"Ce n'est pas ça, réessayez !"}]}}),M=new m({props:{title:"6. Pourquoi le code suivant échoue-t-il ?",local:"6-pourquoi-le-code-suivant-échoue-t-il-",headingTag:"h3"}}),J=new Me({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJhbGxvY2luZSUyMiUyQyUyMHN0cmVhbWluZyUzRFRydWUlMkMlMjBzcGxpdCUzRCUyMnRyYWluJTIyKSUwQWRhdGFzZXQlNUIwJTVE",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

dataset = load_dataset(<span class="hljs-string">&quot;allocine&quot;</span>, streaming=<span class="hljs-literal">True</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
dataset[<span class="hljs-number">0</span>]`,wrap:!1}}),L=new c({props:{choices:[{text:"Il essaie de streamer un jeu de données trop volumineux pour tenir dans la RAM.",explain:"Les jeux de données streamés sont décompressés à la volée et vous pouvez en traiter de données de la taille d'un To avec très peu de RAM !"},{text:"Il essaie d'accéder à un <code>IterableDataset</code>.",explain:"Un <code>IterableDataset</code> est un générateur, pas un conteneur. Vous devez donc accéder à ses éléments en utilisant <code>next(iter(dataset))</code>.",correct:!0},{text:"Le jeu de données <code>allocine</code> n'a pas d’échantillon <code>train</code>.",explain:"Consultez le jeu de données <code>allocine</code> sur le <i>Hub</i> (https://huggingface.co/datasets/allocine) pour voir quels échantillons il contient."}]}}),R=new m({props:{title:"7. Parmi les avantages suivants, lesquels sont les principaux pour la création d’une fiche pour les jeux de données ?",local:"7-parmi-les-avantages-suivants-lesquels-sont-les-principaux-pour-la-création-dune-fiche-pour-les-jeux-de-données-",headingTag:"h3"}}),G=new c({props:{choices:[{text:"Elle fournit des informations sur l'utilisation prévue ainsi que les tâches prises en charge de jeu de données. Le but est que d'autres membres de la communauté puissent prendre une décision éclairée quant à son utilisation.",explain:"Les jeux de données non documentés peuvent être utilisés pour entraîner des modèles pouvant ne pas refléter les intentions des créateurs du jeu de données ou peuvent produire des modèles dont le statut juridique est trouble s'ils sont entraînés sur des données qui violent la confidentialité ou les restrictions de licence. Cependant ce n'est pas le seul avantage !",correct:!0},{text:"Elle permet d'attirer l'attention sur les biais présents dans un corpus.",explain:"Presque tous les jeux de données présentent une forme de biais, ce qui peut avoir des conséquences négatives en aval. En être conscient aide les constructeurs de modèles à comprendre comment traiter les biais inhérents. À quoi d'autre les fiches sont-elles utiles ?",correct:!0},{text:"Cela augmente les chances que d'autres membres de la communauté utilisent mon jeu de données.",explain:"Une carte de jeu de données bien rédigée aura tendance à conduire à une utilisation accrue de votre jeu de données. Quels autres avantages offre-t-elle ?",correct:!0}]}}),I=new m({props:{title:"8. Qu’est-ce que la recherche sémantique ?",local:"8-quest-ce-que-la-recherche-sémantique-",headingTag:"h3"}}),D=new c({props:{choices:[{text:"Un moyen de rechercher des correspondances exactes entre les mots d'une requête et les documents d'un corpus.",explain:"Ce type de recherche est appelé <i>recherche lexicale</i> et c'est ce que vous voyez généralement avec les moteurs de recherche traditionnels."},{text:"Un moyen de rechercher des documents correspondants en comprenant la signification contextuelle d'une requête.",explain:"La recherche sémantique utilise des vecteurs d’enchâssement pour représenter les requêtes et les documents. Elle utilise ensuite une métrique de similarité pour mesurer la quantité de chevauchement entre eux. Comment la décrire autrement ?",correct:!0},{text:"Un moyen d'améliorer la précision de la recherche.",explain:"Les moteurs de recherche sémantique peuvent capturer l'intention d'une requête bien mieux que la correspondance des mots clés et récupèrent généralement les documents avec une plus grande précision. Mais ce n'est pas la seule bonne réponse. Qu'est-ce que la recherche sémantique apporte d'autre ?",correct:!0}]}}),Q=new m({props:{title:"9. Pour la recherche sémantique asymétrique, vous avez généralement :",local:"9-pour-la-recherche-sémantique-asymétrique-vous-avez-généralement-",headingTag:"h3"}}),E=new c({props:{choices:[{text:"Une requête courte et un paragraphe plus long qui répond à la requête.",explain:"C'est ça !",correct:!0},{text:"Requêtes et paragraphes qui sont à peu près de la même longueur.",explain:"Il s'agit en fait d'un exemple de recherche sémantique symétrique. Réessayez !"},{text:"Une longue requête et un paragraphe plus court qui répond à la requête.",explain:"Réessayez !"}]}}),H=new m({props:{title:"10. Puis-je utiliser 🤗 Datasets pour charger des données à utiliser dans d’autres domaines, comme le traitement de la parole ?",local:"10-puis-je-utiliser--datasets-pour-charger-des-données-à-utiliser-dans-dautres-domaines-comme-le-traitement-de-la-parole-",headingTag:"h3"}}),Z=new c({props:{choices:[{text:"Non.",explain:"🤗 <i>Datasets</i> prend actuellement en charge les données tabulaires, l'audio et la vision par ordinateur. Consultez le jeu de données <a href='https://huggingface.co/datasets/mnist'>MNIST</a> sur le <i>Hub</i> pour un exemple de vision par ordinateur."},{text:"Oui.",explain:"Découvrez les développements passionnants concernant la parole et la vision dans la bibliothèque 🤗 <i>Transformers</i> pour voir comment 🤗 <i>Datasets</i> est utilisé dans ces domaines.",correct:!0}]}}),k=new He({props:{source:"https://github.com/huggingface/course/blob/main/chapters/fr/chapter5/8.mdx"}}),{c(){$=B("meta"),Y=a(),N=B("p"),X=a(),u(f.$$.fragment),V=a(),u(g.$$.fragment),W=a(),h=B("p"),h.textContent=Ce,A=a(),q=B("p"),q.textContent=Ue,O=a(),u(v.$$.fragment),K=a(),u(x.$$.fragment),ee=a(),u(j.$$.fragment),te=a(),u(b.$$.fragment),se=a(),y=B("p"),y.innerHTML=_e,ne=a(),u(w.$$.fragment),ae=a(),u(z.$$.fragment),re=a(),u(C.$$.fragment),ue=a(),u(U.$$.fragment),ie=a(),u(_.$$.fragment),le=a(),u(T.$$.fragment),oe=a(),u(P.$$.fragment),pe=a(),u(M.$$.fragment),de=a(),u(J.$$.fragment),me=a(),u(L.$$.fragment),ce=a(),u(R.$$.fragment),$e=a(),u(G.$$.fragment),fe=a(),u(I.$$.fragment),ge=a(),u(D.$$.fragment),he=a(),u(Q.$$.fragment),qe=a(),u(E.$$.fragment),ve=a(),u(H.$$.fragment),xe=a(),u(Z.$$.fragment),je=a(),u(k.$$.fragment),be=a(),S=B("p"),this.h()},l(e){const t=De("svelte-u9bgzb",document.head);$=F(t,"META",{name:!0,content:!0}),t.forEach(s),Y=r(e),N=F(e,"P",{}),Te(N).forEach(s),X=r(e),i(f.$$.fragment,e),V=r(e),i(g.$$.fragment,e),W=r(e),h=F(e,"P",{"data-svelte-h":!0}),we(h)!=="svelte-bwbvld"&&(h.textContent=Ce),A=r(e),q=F(e,"P",{"data-svelte-h":!0}),we(q)!=="svelte-13uv3pq"&&(q.textContent=Ue),O=r(e),i(v.$$.fragment,e),K=r(e),i(x.$$.fragment,e),ee=r(e),i(j.$$.fragment,e),te=r(e),i(b.$$.fragment,e),se=r(e),y=F(e,"P",{"data-svelte-h":!0}),we(y)!=="svelte-1qrwod4"&&(y.innerHTML=_e),ne=r(e),i(w.$$.fragment,e),ae=r(e),i(z.$$.fragment,e),re=r(e),i(C.$$.fragment,e),ue=r(e),i(U.$$.fragment,e),ie=r(e),i(_.$$.fragment,e),le=r(e),i(T.$$.fragment,e),oe=r(e),i(P.$$.fragment,e),pe=r(e),i(M.$$.fragment,e),de=r(e),i(J.$$.fragment,e),me=r(e),i(L.$$.fragment,e),ce=r(e),i(R.$$.fragment,e),$e=r(e),i(G.$$.fragment,e),fe=r(e),i(I.$$.fragment,e),ge=r(e),i(D.$$.fragment,e),he=r(e),i(Q.$$.fragment,e),qe=r(e),i(E.$$.fragment,e),ve=r(e),i(H.$$.fragment,e),xe=r(e),i(Z.$$.fragment,e),je=r(e),i(k.$$.fragment,e),be=r(e),S=F(e,"P",{}),Te(S).forEach(s),this.h()},h(){Pe($,"name","hf:doc:metadata"),Pe($,"content",ke)},m(e,t){Qe(document.head,$),n(e,Y,t),n(e,N,t),n(e,X,t),l(f,e,t),n(e,V,t),l(g,e,t),n(e,W,t),n(e,h,t),n(e,A,t),n(e,q,t),n(e,O,t),l(v,e,t),n(e,K,t),l(x,e,t),n(e,ee,t),l(j,e,t),n(e,te,t),l(b,e,t),n(e,se,t),n(e,y,t),n(e,ne,t),l(w,e,t),n(e,ae,t),l(z,e,t),n(e,re,t),l(C,e,t),n(e,ue,t),l(U,e,t),n(e,ie,t),l(_,e,t),n(e,le,t),l(T,e,t),n(e,oe,t),l(P,e,t),n(e,pe,t),l(M,e,t),n(e,de,t),l(J,e,t),n(e,me,t),l(L,e,t),n(e,ce,t),l(R,e,t),n(e,$e,t),l(G,e,t),n(e,fe,t),l(I,e,t),n(e,ge,t),l(D,e,t),n(e,he,t),l(Q,e,t),n(e,qe,t),l(E,e,t),n(e,ve,t),l(H,e,t),n(e,xe,t),l(Z,e,t),n(e,je,t),l(k,e,t),n(e,be,t),n(e,S,t),ye=!0},p:Le,i(e){ye||(o(f.$$.fragment,e),o(g.$$.fragment,e),o(v.$$.fragment,e),o(x.$$.fragment,e),o(j.$$.fragment,e),o(b.$$.fragment,e),o(w.$$.fragment,e),o(z.$$.fragment,e),o(C.$$.fragment,e),o(U.$$.fragment,e),o(_.$$.fragment,e),o(T.$$.fragment,e),o(P.$$.fragment,e),o(M.$$.fragment,e),o(J.$$.fragment,e),o(L.$$.fragment,e),o(R.$$.fragment,e),o(G.$$.fragment,e),o(I.$$.fragment,e),o(D.$$.fragment,e),o(Q.$$.fragment,e),o(E.$$.fragment,e),o(H.$$.fragment,e),o(Z.$$.fragment,e),o(k.$$.fragment,e),ye=!0)},o(e){p(f.$$.fragment,e),p(g.$$.fragment,e),p(v.$$.fragment,e),p(x.$$.fragment,e),p(j.$$.fragment,e),p(b.$$.fragment,e),p(w.$$.fragment,e),p(z.$$.fragment,e),p(C.$$.fragment,e),p(U.$$.fragment,e),p(_.$$.fragment,e),p(T.$$.fragment,e),p(P.$$.fragment,e),p(M.$$.fragment,e),p(J.$$.fragment,e),p(L.$$.fragment,e),p(R.$$.fragment,e),p(G.$$.fragment,e),p(I.$$.fragment,e),p(D.$$.fragment,e),p(Q.$$.fragment,e),p(E.$$.fragment,e),p(H.$$.fragment,e),p(Z.$$.fragment,e),p(k.$$.fragment,e),ye=!1},d(e){e&&(s(Y),s(N),s(X),s(V),s(W),s(h),s(A),s(q),s(O),s(K),s(ee),s(te),s(se),s(y),s(ne),s(ae),s(re),s(ue),s(ie),s(le),s(oe),s(pe),s(de),s(me),s(ce),s($e),s(fe),s(ge),s(he),s(qe),s(ve),s(xe),s(je),s(be),s(S)),s($),d(f,e),d(g,e),d(v,e),d(x,e),d(j,e),d(b,e),d(w,e),d(z,e),d(C,e),d(U,e),d(_,e),d(T,e),d(P,e),d(M,e),d(J,e),d(L,e),d(R,e),d(G,e),d(I,e),d(D,e),d(Q,e),d(E,e),d(H,e),d(Z,e),d(k,e)}}}const ke='{"title":"Quiz de fin de chapitre","local":"quiz-de-fin-de-chapitre","sections":[{"title":"1. La fonction load_dataset() dans 🤗 Datasets vous permet de charger un jeu de données depuis lequel des emplacements suivants ?","local":"1-la-fonction-loaddataset-dans--datasets-vous-permet-de-charger-un-jeu-de-données-depuis-lequel-des-emplacements-suivants-","sections":[],"depth":3},{"title":"2. Supposons que vous chargiez l’une des tâches du jeu de données GLUE comme suit :","local":"2-supposons-que-vous-chargiez-lune-des-tâches-du-jeu-de-données-glue-comme-suit-","sections":[],"depth":3},{"title":"3. Supposons que vous disposiez d’un jeu de données sur les animaux domestiques appelé pets_dataset qui comporte une colonne name indiquant le nom de chaque animal. Parmi les approches suivantes, laquelle vous permettrait de filtrer le jeu de données pour tous les animaux dont le nom commence par la lettre « L » ?","local":"3-supposons-que-vous-disposiez-dun-jeu-de-données-sur-les-animaux-domestiques-appelé-petsdataset-qui-comporte-une-colonne-name-indiquant-le-nom-de-chaque-animal-parmi-les-approches-suivantes-laquelle-vous-permettrait-de-filtrer-le-jeu-de-données-pour-tous-les-animaux-dont-le-nom-commence-par-la-lettre--l--","sections":[],"depth":3},{"title":"4. Qu’est-ce que le memory mapping ?","local":"4-quest-ce-que-le-memory-mapping-","sections":[],"depth":3},{"title":"5. Parmi les éléments suivants, lesquels sont les principaux avantages du memory mapping ?","local":"5-parmi-les-éléments-suivants-lesquels-sont-les-principaux-avantages-du-memory-mapping-","sections":[],"depth":3},{"title":"6. Pourquoi le code suivant échoue-t-il ?","local":"6-pourquoi-le-code-suivant-échoue-t-il-","sections":[],"depth":3},{"title":"7. Parmi les avantages suivants, lesquels sont les principaux pour la création d’une fiche pour les jeux de données ?","local":"7-parmi-les-avantages-suivants-lesquels-sont-les-principaux-pour-la-création-dune-fiche-pour-les-jeux-de-données-","sections":[],"depth":3},{"title":"8. Qu’est-ce que la recherche sémantique ?","local":"8-quest-ce-que-la-recherche-sémantique-","sections":[],"depth":3},{"title":"9. Pour la recherche sémantique asymétrique, vous avez généralement :","local":"9-pour-la-recherche-sémantique-asymétrique-vous-avez-généralement-","sections":[],"depth":3},{"title":"10. Puis-je utiliser 🤗 Datasets pour charger des données à utiliser dans d’autres domaines, comme le traitement de la parole ?","local":"10-puis-je-utiliser--datasets-pour-charger-des-données-à-utiliser-dans-dautres-domaines-comme-le-traitement-de-la-parole-","sections":[],"depth":3}],"depth":1}';function Be(ze){return Re(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class We extends Ge{constructor($){super(),Ie(this,$,Be,Ze,Je,{})}}export{We as component};